[스터디/밑시딥3] 제 1고지 미분 자동 계산_5.역전파 이론

5.1 연쇄법칙

- 합성 함수(두 개 이상의 함수가 결합된 함수)의 도함수(미분계수)를 찾을 때 사용

- 합성 함수의 미분은 구성 함수 각각을 미분한 후 곱한 것과 같음

- 딥러닝 모델을 학습시킬 때, 손실 함수(=비용 함수)를 최소화하기 위해 파라미터를 업데이트하는데

이때, 그래디언트(미분값)를 계산하여 파라미터를 업데이트하고 이 그래디언트를 계산할 때 연쇄법칙이 사용됨

- 딥러닝 모델인 신경망은 입력층부터 출력층까지 다양한 함수와 연산을 포함하는데 전체 모델을 많은 함수들의 '합성함수'로 볼 수 있음 => 이 복잡한 합성함수의 미분을 계산하기 위해 연쇄 법칙이 필요함

 

5.2 역전파 원리 도출

- 신경망은 입력층, 여러 개의 은닉층, 그리고 출력층으로 구성되어있고 각 레이어는 여러 뉴런으로 이루어져 있으며,

이 뉴런들은 가중치와 편향을 가지고 있음

- 신경망을 학습시키기 위해서는 각 가중치와 편향이 손실에 얼마나 영향을 주는지 알아야 함=> 그래디언트(미분값)를 계산하고 파라미터를 어떻게 조정해야 하는지의 방향과 크기를 알려줌

 

*(추가) 순전파 & 역전파의 과정

1. 순전파: 입력 데이터가 입력층 > 출력층까지 순서대로 전파되고 각 뉴런의 출력 값들이 계산됨

2. 손실 계산: 신경망의 예측 출력과 실제 레이블을 비교하여 손실을 계산(예: MSE, Cross Entropy Loss)

3. 역방향 전파: 추력층에서 시작하여 입력층까지 그래디언트를 계산하여 역방향으로 전파됨

4. 가중치 업데이트: 계산된 그래디언트를 사용해 가중치와 편향을 업데이트 함(예: GD, SGD, Adam, RMSprop)

 

해당 과정을 여러 데이터와 에폭에 걸쳐 반복하면, 신경망의 가중치와 편향은 점차 최적화되어 학습 데이터에 대한 예측 성능이 향상됨