오차역전파 알고리즘: ReLU, Sigmoid, Affine, Softmax 계산
이전 오차역전파를 이용한 계산에 이어 ReLU, Sigmoid, Affine, Softmax 는 역전파에서 어떻게 동작하는지에 대해 알아보겠습니다. 연쇄법칙을 이용한는 것을 기본공식으로 해서 각각의 특징적인 노드별로 계산법을 알아두면 딥러닝의 계산은 간단하게 정리됩니다. ReLU 계층 계산 그래프 ReLU의 수식인 $ 𝑦= \begin{cases} 𝑥, 𝑥>0 \\ 0, 𝑥≤0 \end{cases} $ 을 미분하면 $ dfrac{𝜕𝑦}{𝜕𝑥}= \begin{cases} 1, 𝑥>0 \\ 0, 𝑥≤0 \end{cases} $ 이 됩니다. 순전파에서 입력이 x > 0이면 역전파에서 upstream 값을 그대로 downstrem으로 보냄(1을 곱하는 효과) 반면, 입력이 x
2024. 1. 26.
