실무로 통하는 LLM 애플리케이션 설계

221

6

장

파인 튜닝

연습 문제 ●●●

절제 연구

ablation

study

는 머신러닝 실험에서 중요한 부분입니다. 이는 하나의 구성 요소를 제거하고

실험을 다시 수행해 그 요소가 미치는 영향을 분석하는 방식입니다. 파인 튜닝 예제에서는 노이

즈 임베딩이 최종 성능에 어떤 영향을 주는지를 확인해 봅니다. 노이즈 임베딩을 활성화한 상태

로

5

회, 비활성화한 상태로

5

회 파인 튜닝을 수행하고, 나머지 하이퍼파라미터는 동일하게 유지

합니다. 테스트셋에서 오류 분석을 수행하고 노이즈 임베딩이 모델 성능에 어떤 영향을 미치는

지 확인하세요. 전체적으로 긍정적인 영향을 미치나요?

6.3

파인 튜닝 데이터셋

앞선 파인 튜닝 예제에서는 이미 구성된 데이터셋을 직접 불러와 파인 튜닝 과정 자체에 집중

했습니다. 이제는 데이터셋 자체를 집중적으로 살펴보며 데이터셋을 만드는 기법을 이해해 보

겠습니다.

먼저, 파인 튜닝 예제에서 사용한 데이터셋을 살펴봅니다.

from datasets import load_dataset

tune_data = load_dataset(“csv”, data_files=’/path/to/finetune_data.csv’)

print(tune_data[:2])

출력은 다음과 같습니다.

Input: We will support women and children and give ...