가중치 감소1 가중치 감소(weight decay) 딥러닝에서 오버피팅 발생하게 되는 조건은 매개변수가 많고 표현력이 높은 모델(복잡한 모델)에서 발생하게 됩니다. 또 훈련 데이터 너무 적어 충분한 데이터 확보가 되지 않았을때도 발생하죠. 오버피팅을 방지하는 방법 중 이번 글에서 weight decay라는 방법에 대해 설명하도록 하겠습니다. 가중치 감소(weight decay)란 가중치 매개변수의 값이 커서 과적합이 발생하는 경우를 막기 위해 적용하는 기술 입니다. 가중치 감소(weight decay)는 학습과정에서 큰 가중치에 대해서는 그에 상응하는 큰 패널티를 부과하여 오버피팅을 억제합니다. L2 정규화 또는 가중치 정규화라고도 합니다. 모델이 큰 가중치를 사용하지 못하도록 손실 함수에 페널티 항을 추가하는 방법입니다. 다시말해, 가중치의 제곱 Nor.. 2024. 2. 7. 이전 1 다음
