실무로 통하는 LLM 애플리케이션 설계

197

5

장

사용 목적에 맞게 LLM 활용하기

5.6

구조화된 출력

LLM

의 출력을 다른 시스템이 손쉽게 활용할 수 있도록 구조화된 형식으로 받기를 원하는 경우

도 많습니다. 하지만 현실적으로는 이 작업이 그리 간단하지 않습니다. 현재의

LLM

들은 기대

만큼 정밀하게 제어하기 어렵기 때문입니다. 예를 들어 ‘예/아니오로만 대답하세요’라고 요청

하더라도 ‘이 질문에 대한 답은 ‘예’입니다’처럼 과하게 설명하는 경우가 흔합니다.

이러한 문제를 해결할 때 사용할 수 있는 한 가지 방법은

JSON

스키마를 정의하고 이 스키마

를

LLM

에 제공한 뒤, 해당 구조를 따르도록 프롬프트를 작성하는 것입니다. 대규모 모델에서

는 이 방법이 대부분 잘 작동하며 간혹 발생하는 스키마 오류도 감지해 쉽게 처리할 수 있습

니다.

소규모 모델을 사용할 경우에는

Jsonformer

52

와 같은 라이브러리를 활용할 수 있습니다. 이

라이브러리는 토큰 생성 자체는

LLM

에 맡기되, 출력 형식은

JSON

구조에 맞춰 자동으로 조

립해 줍니다.

Jsonformer

는 허깅 페이스 생태계를 기반으로 구축되었으며 허깅 페이스가 지

원하는 거의 모든 모델과 호환됩니다.

연습 문제 ●●●

배우 앤드류 가필드

Andrew

Garfield

의 위키백과 페이지

53

에서 경력 섹션의 텍스트를 추출해 보세요.

그리고 공동 출연자, ...