실무로 통하는 LLM 애플리케이션 설계

354

3

부

LLM 애플리케이션 활용 패러다임

까요? 문서 중간에서 규칙이 재정의된다면 어떨까요? 모든 문서에 완벽한 시각적 단서나 구조

가 있는 것은 아닙니다. 모든 문서가 섹션, 하위 섹션, 단락으로 잘 구조화되어 있지도 않습니

다. 이런 문제는 아직 해결되지 않았으며

RAG

실패 사례의 상당 부분을 차지하는 원인이 됩

니다.

11.7.5

지연 청킹

텍스트에서 장거리 의존성을 지원하는 한 가지 방법은 지나

AI

에서 도입한 방법인 지연 청킹

late

chunking

51

을 사용하는 것입니다. 이 장의 앞부분에 설명했듯이, 임베딩은 일반적으로 기반 언어

모델의 마지막 층에서 벡터를 풀링함으로써 생성됩니다.

단일 입력에서 전체 긴 문서를 받아들일 수 있는 긴 컨텍스트 언어 모델에 접근할 수 있다는 점

을 고려하면, 임베딩 생성을 위한 기반 모델로 그런 긴 컨텍스트 모델을 사용할 수 있습니다.

전체 문서 (또는 모델이 처리할 수 있는 만큼 큰 부분 )를 긴 컨텍스트 모델에 입력해 각 입력 토

큰에 대해 벡터가 생성되게 합니다.

4

장에서 설명했듯이, 각 토큰 벡터는 시퀀스의 다른 모든

토큰과의 관계를 기반으로 그 의미를 캡슐화합니다. 이를 통해 긴 컨텍스트 의존성을 포착할

수 있습니다.

임베딩을 추출하는 풀링 연산은 입력의 더 작은 세그먼트에서 수행되며, 세그먼트 ...