learning rate1 [머신러닝] 선형 회귀 - 옵티마이저와 학습률(Learning Rate) 이번 포스팅에서는 옵티마이저와 학습률에 대해 다루려고 합니다. 사실 옵티마이저와 학습률은 선형 회귀 알고르즘에만 해당 되는 것은 아닙니다. 모든 알고리즘에 해당 되는 개념입니다. 가장 기본이 되는 이론이라 처음부터 알고 가는 것이 좋습니다. 최적화 알고리즘(Optimizer) 선형 회귀를 포함한 수많은 머신 러닝, 딥 러닝의 학습은 결국 비용 함수를 최소화하는 매개 변수인 w와 b를 찾기 위한 작업을 수행해야 합니다. 이때 사용되는 알고리즘을 옵티마이저(Optimizer) 또는 최적화 알고리즘이라 합니다. 이 옵티마이저를 통해 가장 적합한 w와 b를 찾아내는 과정을 머신 러닝에서 훈련(training) 또는 학습(learning)이라 합니다. 가장 기본적인 옵티마이저 알고리즘인 ‘경사하강법(Gradien.. 2023. 9. 10. 이전 1 다음
