역전파를 이해하기에 앞서 먼저 인공 신경망의 학습 절차를 이해할 필요가 있어요. 학습은 크게 순전파(Feed Forward), 손실계산(Loss Calculation), 역전파(Backpropagation) 3 단계로 구성됩니다. 이 3개의 단계를 반복하여 수행하고, 이 과정에서 최적의 파라미터를 찾아가는 과정을 우리는 학습(training) 또는 최적화 (optimization) 을 이행한다 말하기도 합니다. 이는 반복적 파라미터 갱신을 통해 모델의 예측값과 실제값 간 오차를 줄이는 절차로, 대부분의 기계학습 알고리즘이 따르는 핵심 메커니즘입니다. 먼저, Feed-Forward : Feed-Forward 단계에서는 입력층의 특성값이 가중치 w 와 편향 b 를 통해 다음 층으로 전달됩니다.그 다음 단계에..
