파이토치로 배우는 LLM & AI

445

18

장

RAG 소개

RAG

소개

CHAPTER

18

챗

GPT

와 같은

LLM

과 처음 채팅하던 순간을 기억하나요? 예상하지 못했던 놀라운 통찰력은

무엇이었나요? 필자는 챗

GPT

가 출시되기 전에

LLM

으로 수행했던 프로젝트에서 그 가능성에

이미 놀랐습니다. 구글

CEO

가 명왕성과 대화했던 유명한 발표를 기억하시나요?

1

AI

의 가능

성에 대한 근본적인 사고의 전환이었으며 여전히 발전해가면서 가능성을 탐구하고 있습니다.

훌륭하지만 한계가 있으며

LLM

을 사용할수록 더 많은 한계에 부딪혔습니다.

15

장에서 설명

한 트랜스포머 기반 구조는 텍스트 데이터에서 쿼리, 키, 값 매핑을 만들어 텍스트의 의미를 이

해하는 방법을 학습했습니다. 하지만 많은 양의 텍스트를 사용해 이런 매핑을 학습했음에도 불

구하고 사각지대인 개인 데이터가 있습니다. 특히 모델이 훈련되지 않은 데이터를 다룰 때 환

각

hallucination

의 위험이 큽니다.

이 사각지대를 완화하는 기술을 배우는 것이 소프트웨어 개발자로 할 수 있는 가장 가치 있는

일이 될 수 있습니다.

이 장에서

AI

모델, 특히

LLM

과 같은 대규모 생성 모델을 다르게 생각해 보겠습니다. 지능과

지식이 풍부한 모델로 보지 말고 데이터를 잘 분석하는 데 도움이 되는 유틸리티로 바라보는

것입니다. 모델이 학습한 것이 훈련 데이터 ...