fastai와 파이토치가 만나 꽃피운 딥러닝

85

1



딥러닝으로 떠나는 여행

1.8



앞서 이야기한 대로 모델의 목적은 데이터에 대한 예측을 수행하는 것입니다. 그러나 모델의

학습이 근본적으로 영리한 절차로 이루어지지는 않습니다. 모든 데이터로 모델을 학습시킨 다

음 똑같은 데이터로 모델을 평가한다면, 미래에 보지 못한 데이터에서 모델이 얼마나 예측을

잘 수행할지를 알 길이 없습니다. 모델의 학습을 안내해줄 귀중한 정보가 없다면, 주어진 데이

터에서만 예측을 잘 수행하고 새로운 데이터에서는 그렇지 못할 가능성이 큽니다.

이를 방지하려면 우선 데이터셋을



(학습 시 사용 )과



(평가 시

사용.



이라고도 함 )으로 분할해야 합니다. 이를 사용해 학습용 데이터셋에서

배운 내용이 새로운 데이터로 간주되는 검증용 데이터셋에서 얼마나 일반화가 잘 되는지를 확

인할 수 있죠.

우리는 ‘속임수 (엿보기 )’를 사용해 일시적으로 좋은 결과를 얻길 원하지 않습니다. 특정 데이

터에 대한 정확한 예측은 해당 데이터 유형의 특성을 학습한 결과에서 비롯되어야 하며,





에 꼭 들어맞도록 모델의 모양이 형성되어서는 안 됩니다.

검증용 데이터셋을 분리한다는 말은 모델이 학습 중에 볼 수 없도록 데이터를 따로 보관한다는

의미입니다. 따라서 해당 데이터를 엿보는 게 불가능하죠.

그러나 반드시 그렇지는 않으며, 상황이 좀 더 미묘할 수 있습니다. 현실적인 시나리오에서는

단 한 번만의 학습만으로 모델의 파라미터를 찾을 때가 거의 없기 ...