손실함수와 경사하강법의 관계

손실함수와 경사하강법의 관계

손실 함수란?
손실 함수는 쉽게 말해 예상한 값과 실제 타깃 값의 차이를 함수로 정의한 것이다

 

제곱 오차?
제곱 오차는 타깃값과 예측값을 뺀 다음 제곱한 것이다.

SE = (y - y_hat)^2

 

제곱 오차가 최소가 되면 산점도 그래프를 가장 잘 표현한 직선이 그려진다.

제곱 오차 함수의 최솟값을 알아내려면 기울기에 따라 함수의 값이 낮은 쪽으로 이동해야한다.

기울기를 구하려면 제곱 오차를 가중치나 절편에 대해 미분하면 된다.