LSTM 아이디어1 LSTM의 배경 및 구조, 핵심 아이디어 LSTM(Long Short-Term Memory)의 아키텍처를 처음 봤을 때 ‘이런 복잡한 아키텍처도 있나?!’ 하는 생각을 했습니다. 각각의 기능들은 또 무슨 의미이지 궁금했었죠. 하지만 각각의 의미를 알고 나니 기발한 수학적 발상이었다는 것이 느껴지더라고요. 그리고 시계열 데이터의 장기 기억에 대한 기존 RNN의 한계를 극복하도록 설계되었다는 사실을 알게 됐죠. 그러면 LSTM 모델의 왜 등장했는지 배경부터 살펴볼까요? LSTM 배경 1. RNN의 문제점 RNN은 시계열 데이터에서 주로 사용된다는 것을 배웠습니다. 그런데 시간이 지남에 따라(long term) 기울기가 극도로 작어져 과거 시간 단계의 정보를 잊어버리는 문제가 있었습니다. 바로 기울기 소실(Vanishing Gradient) 문제로 .. 2024. 4. 15. 이전 1 다음
