xavier1 딥러닝 가중치 초기화: Xavier, He 왜 하는걸까? 딥러닝에서는 모델 코드에서 초기에 가중치 초기화를 해 줍니다. 이 가중치 초기화의 어떤 의미가 있을까요? 이 글에서는 가중치 초기화의 의미와 가중치 초가화 기법들에 대해 살펴보겠습니다. 가중치 초기화 기법은 '밑바닥부터 시작하는 딥러닝' 저서를 참고하였습니다. 왜 가중치 초기화를 할까? 딥러닝에서 각 뉴런(neuron)의 가중치를 기반으로 손실(error)를 결정하게 됩니다. 결국 가중치는 손실(error)을 계산하는데 영향을 준다는 이야기가 됩니다. 예를 들어, 가중치를 어떻게 설정에 따라 기울기 소실 문제(Gradient 폭발 및 소멸 문제)를 해결할 수 있습니다. 가중치 초기화는 Overfitting-Underfitting 문제가 발생해 제대로 학습이 되지 않는 경우에도 도움이 되고요. 또 지역 최.. 2024. 2. 3. 이전 1 다음
