실무로 통하는 LLM 애플리케이션 설계

78

1

부

LLM의 구성 요소

split=”train”)

for i, example in enumerate(realnewslike):

if “Iceland” in example[“text”]:

print(example)

if i == 10000: # 예제 확인을 위해 최대 10,000회 반복

break

이 코드를 사용하면

C4

데이터셋의 하위 집합에서 ‘

Iceland

’가 언급된 모든 사례를 확인할 수

있습니다.

연습 문제 ●●●

C4

의

realnewslike

하위 집합을 사용해 단어 빈도 카운터를 만들고 데이터셋에서 각 단어가

등장하는 횟수를 세어보세요. 간단하게 단어는 공백으로 구분된 연속된 문자열로 정의하세요.

‘

the

’, ‘

is

’처럼 자주 사용되는 기능어

function

word

(자연어 처리에서 불용어

stop

word

라고 함)를 분석에

서 제외하세요. 어떤 주제들이 데이터셋에서 과소/과대 표현되는지 확인해 보세요.

2.4

합성 사전 훈련 데이터

최근 등장한 추세는

LLM

을 사용해 다른

LLM

의 사전 훈련에 활용할 수 있는 합성 데이터를 생

성하는 것입니다. 상당량의 합성 데이터를 포함한 데이터셋으로

LLM

을 훈련시킨 초기 성공 사

례로는 마이크로소프트의

phi

시리즈 모델

37

이 있습니다. 마이크로소프트는

20

,

000

개의 시

드 주제와 실제 웹 데이터셋의 ...