Regularization 4 - Early Stopping

마지막으로 공부해볼 regularization 방법

 

과적합을 막아주는 방법으로 validation set (development set) 과 training data error가 벌어지면 training을 멈추는 방법이다

 

 

training set error는 계속 줄어들 수 밖에 없다

하지만 과적합이 일어난다면 dev set error가 커지는 시점이 존재하는데 그림에서 $t_2$ 이후이다

training set error가 계속 줄어들도록 $t_3$까지 학습을 하지 않고 $t_2$에서 멈추는 것이 early stopping 이다

 

ITE4053 : Deep Lerarning ( Hanyang University )