RNN 학습1 순환신경망(RNN) 학습, Truncate BPTT 순환 신경망(RNN)을 언어 모델에 사용한 이유는 고정된 데이터가 아니라 순차 데이터를 처리하도록 설계된 인공 신경망이기 때문이었습니다. 이는 자연어 처리외에도 시계열 예측, 음성 인식과 같은 작업에 유용한 네트워크 구조인데요. 이번 글에서는 RNN의 학습 프로세스에 대해 설명해 보도록 하겠습니다. BPTT란 RNN의 학습은 쉽게 생각해 순환 구조를 펼친 후 한다고 생각하면 됩니다. 그 다음엔 일반적인 오차역전파법을 적용하면 되는거죠. 우선 순전파를 수행하고, 이어서 역전파를 수행하여 원하는 기울기를 구합니다. 단지 순환구조라는 것만 다릅니다. 이런 구조 때문에 RNN에서 오차역전파법은 '시간 방향으로 펼친 신경망의 오차역전파법' 이라고 말합니다. 영어로 BPTT (Backpropagation Throu.. 2024. 4. 1. 이전 1 다음
