AI_CNN_Stanford CS231n강의_2

[ Loss function & Optimizer ] 

 

loss : 예측값과 실제값의 차이

loss function : loss 구하는 함수 

 

SVM loss 와 soft max loss등의 예시를 들어주면서 설명해줌 

[ svm loss function은 정답을 정확히 예측하면 loss 0, score에 의미가 없음 ] 

[ soft max loss function은 정답을 예측하더라도 정답 label의 score는 높아지는 방향으로 다른 label의 score는 낮아지는 방향으로 작동 ] 

 

- training dataset에 맞게 overfitting은 좋지 않다. 정규화가 필요하다 

위 그림으로 살펴보면 파란색 training set을 모두 맞추는 방향으로 loss값을 맞추며 진행했다.

하지만 초록색 testset이 등장하면 이 값에 맞지 않음을 볼 수 있다. 정규화를 통해 초록색 직선으로 classifier를 둔다면 더 좋은 classifierr가 될것이다.

(정규화에 대해서는 따로 추가적으로 공부해보자)

 

-- Optimizer 

Optimizer란 loss함수에서 구한 loss값이 작아지는 방향으로 W(weight)를 최적으로 구하는 알고리즘을 말한다.

SGD, ADAM등 다양한 Optimizer가 존재한다.