rmsprop1 신경망 매개변수 갱신: 옵티마이저 이번 포스팅은 신경망의 매개변수 갱신하는 최적화 방법인 옵티마이저에 대해 알아보도록 하겠습니다. 이 부분에 대해 가장 잘 정리된 '밑바닥부터 시작하는 딥러닝' 저서를 기반으로 작성했습니다. 확률적 경사 하강법(SGD, Stochastic Gradient Descent) 최적의 매개변수 값을 찾는 단서로 매개변수의 기울기(미분)을 이용하는 방법입니다. 매개변수의 기울기를 통해 매개변수 값을 경신하면서 최적의 값에 다가갑니다. 수식 : $ 𝑊⟵𝑊 −𝜂 \dfrac{𝜕𝐿}{𝜕𝑊} $ , 𝜂(에타)는 학습률을 의미(0.01, 0.001로 미리 정의) 이 방법은 기울어진 방향으로 일정 거리(학습률)만큼 갱신한는 단순한 방법입니다. 장점 : 단순하고 구현이 쉬움 단점 비등방형 함수에서는 탐색 경로가 비효율적 비등방.. 2024. 1. 29. 이전 1 다음
