학습률2 신경망 모델 최적화는 어떻게? 기울기, 학습률, 로컬 미니멈 우리가 신경망(딥러닝) 모델을 최적화를 말하자면 매개변수 갱신에 대해 이야기하게 됩니다. 매개변수 갱신을 위해서는 기울기와 학습률이라는 개념을 알아야 되죠. 매개변수 갱신을 하다 보면 로컬 미니멈과 글로벌 미니멈이 있다는 것을 알게 되죠. 그리고 로컬 미니멈에 안 빠지게 하는 기법들로 옵티마이저라는 개념을 배우게 됩니다. 그럼 하나하나 이야기해보도록 하겠습니다. 매개변수 갱신이란? 신경망 매개변수 업데이트는 훈련 단계에서 신경망의 매개변수(가중치 및 편향)를 조정하는 프로세스를 말합니다. 이 매개변수를 효과적으로 갱신하기 위해서 옵티마이저를 사용합니다. 옵티마이저는 손실 함수 값을 최저로 하는 매개변수를 찾기 위한 문제를 푸는 역할을 합니다. 딥러닝의 특성상 매개변수 수가 엄청나게 많아 쉽게 찾기는 어려.. 2024. 1. 30. [머신러닝] 선형 회귀 - 옵티마이저와 학습률(Learning Rate) 이번 포스팅에서는 옵티마이저와 학습률에 대해 다루려고 합니다. 사실 옵티마이저와 학습률은 선형 회귀 알고르즘에만 해당 되는 것은 아닙니다. 모든 알고리즘에 해당 되는 개념입니다. 가장 기본이 되는 이론이라 처음부터 알고 가는 것이 좋습니다. 최적화 알고리즘(Optimizer) 선형 회귀를 포함한 수많은 머신 러닝, 딥 러닝의 학습은 결국 비용 함수를 최소화하는 매개 변수인 w와 b를 찾기 위한 작업을 수행해야 합니다. 이때 사용되는 알고리즘을 옵티마이저(Optimizer) 또는 최적화 알고리즘이라 합니다. 이 옵티마이저를 통해 가장 적합한 w와 b를 찾아내는 과정을 머신 러닝에서 훈련(training) 또는 학습(learning)이라 합니다. 가장 기본적인 옵티마이저 알고리즘인 ‘경사하강법(Gradien.. 2023. 9. 10. 이전 1 다음
