vanishing gradient1 딥러닝의 암흑기 원인: 기울기 소실(Vanishing Gradient) 이번 포스팅에서는 딥러닝의 역사에서 왜 암흑기가 생겼는지 알아보도록 하겠습니다. 이전 포스팅에 MLP의 한계로 학습을 시킬 수 없다는 점 때문에 1차 암흑기로 들어갔다고 이야기 했습니다. 그 후 역전파를 통해 신경망을 학습시킬 수 있다는 희망을 가지게 됩니다. 그런데 다시 2차 암흑기가 시작됩니다. 그 이유를 이번 글에서 다루도록 하겠습니다. 2차 암흑기는 왜 생겼나?층이 깊어질 수록 기울기 소실(Vanishing Gradient) 문제로 인하여 딥러닝의 학습의 한계가 보이기 시작합니다. 그리고 학습 데이터에만 최적화되어버리는 Overfitting 문제가 발생합니다. 새로운 다른 데이터가 들어왔을 때 높은 정확도를 보장 못하게 되죠. 그 밖에도 Label 된 데이터의 부족도 한몫했습니다. 딥러닝 특성상 .. 2024. 1. 3. 이전 1 다음
