실무로 통하는 LLM 애플리케이션 설계

62

1

부

LLM의 구성 요소

if __name__ == “__main__”:

app.launch()

이제 챗봇 애플리케이션이 준비되었습니다.

NOTE

_

PDF

전체를 청크로 나누고 관련 정보만 검색하는 대신

PDF

전체를

LLM

에 입력할 수는 없을까요?

이는

LLM

이 지원하는 최대 유효 컨텍스트 길이에 따라 달라집니다. 한 번에 입력으로 받을 수 있는 크기를 제한

하는 길이죠. 더 큰 모델은 여러

PDF

를 입력에 맞출 수 있을 만큼 긴 컨텍스트 길이를 지원하므로 청킹이나 임

베딩 과정이 전혀 필요하지 않을 수도 있습니다.

1.9

프로토타입에서 제품화까지

LLM

애플리케이션을 만드는 일이 정말 이렇게 쉬울까요? 안타깝게도 그렇지 않습니다. 앞에

서 꽤 괜찮은 수준의 프로토타입을 만들었습니다. 비핵심적인 사용 사례에서는 이 정도 성능

으로도 충분할 때가 많습니다. 하지만 더 많은 실제 사례에서는 이런 애플리케이션이 충족하지

못하는 정확성과 신뢰성을 요구합니다. 이 책은 바로 그 프로토타입과 프로덕션 사이의 틈을

메우는 것을 목표로 합니다.

프로토타입 튜토리얼에서는

LLM

을 일종의 블랙박스로 다뤘습니다. 하지만

LLM

을 활용해 본

격적인 애플리케이션을 만들려면, 직접

LLM

을 훈련시키지 않더라도 내부에서 어떤 일이 벌어

지는지를 이해해야 합니다. 그래서

2

,

3

,