RAG with Python 쿡북 (Korean Edition)

서문

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

2017년, 구글 연구진은 “Attention Is All You Need”라는 논문을 발표하고 현대 AI의 판도를 바꾼 획기적인 기술인 트랜스포머(Transformer) 아키텍처를 소개했습니다. 그 후 몇 년 동안 대규모 파운데이션 모델들은 이러한 아이디어를 확장 적용했을 때 어떤 결과가 나오는지 보여주었습니다. 모델들은 일관성 있는 텍스트를 작성하고, 복잡한 질문에 답하며, 실행 가능한 코드를 생성하기 시작했습니다. 소프트웨어 시스템이 연구 데모에서 인상적인 모습을 보이는 데 그치지 않고, 실제 응용 분야에서 폭넓게 유용하게 느껴지는 방식으로 언어와 상호작용할 수 있게 된 것은 이번이 처음이었습니다.

하지만 이러한 모델에는 중요한 한계가 있었습니다. 모델은 강력했지만 고립되어 있었으며, 허위 정보를 생성하기 쉬웠고, 최신 정보에 접근할 수 없었으며, 기업의 비공개 데이터를 처리할 수 없었습니다. 검색 강화 생성(RAG)은 언어 모델과 외부 지식 소스를 결합함으로써 이러한 격차를 해소합니다. 저는 RAG와 에이전트형 RAG를 인간의 문제 해결 방식을 모방하는 AI 시스템으로 나아가는 핵심 단계로 봅니다. 이들은 능동적으로 새로운 정보를 수집하고, 맥락에 맞춰 해석하며, 발견한 내용을 바탕으로 다음 단계를 지속적으로 계획합니다. 파운데이션 모델을 외부 지식 소스와 연결함으로써, RAG는 모델의 출력을 검증 가능한 데이터에 기반을 두게 하고, 시스템이 복잡한 작업을 처리할 때 신뢰할 수 있는 정보를 바탕으로 추론할 수 있도록 합니다.

이 책은 실제 운영에 바로 적용 가능한 RAG 시스템을 구축하는 방법을 다룹니다. 각 레시피는 프로토타입에서 신뢰할 수 있는 애플리케이션으로 발전하는 과정에서 발생하는 구체적인 엔지니어링 과제에 초점을 맞추며, 주요 설계 결정의 배경에 있는 장단점을 설명합니다. 파이프라인 설계, 검색 전략 선정, 시스템 품질 평가, 대규모 RAG 시스템 운영 방법을 배우게 될 것입니다. 이 책의 목표는 정확하고 확장 가능하며 유지 보수성이 높은 솔루션을 구축하도록 돕는 것입니다. 즉, 데모 환경뿐만 아니라 실제 환경에서도 안정적으로 작동하는 시스템을 만드는 것입니다.

이 책의 대상 독자

이 책은 실용적인 생성형 AI 애플리케이션을 구축하고자 하는 개발자와 데이터 과학자를 위해 쓰였습니다. Python을 능숙하게 다룰 수 있어야 하며, API, 데이터 처리, 일반적인 소프트웨어 개발에 익숙해야 합니다. 심층적인 머신러닝 배경 지식은 필요하지 않습니다. 필요한 개념들은 등장하는 대로 소개되지만, 학습 과정에서 코드를 작성하고 실행하며 디버깅할 준비가 되어 있어야 합니다.

배울 내용과 책의 구성

11개의 챕터는 핵심 개념부터 실제 배포에 이르기까지 RAG 시스템을 구축하는 자연스러운 과정을 따라 구성됩니다:

• 1장과 2장에서는 기초 내용을 다룹니다. 고부가가치 사용 사례를 파악하고, ...