book

핸즈온 LLM

Name: 핸즈온 LLM
ISBN: 9791169213516

by 제이 알아마르, 마르턴 흐루턴도르스트, 박해선

June 2025

Beginner to intermediate

460 pages

11h 46m

Korean

Hanbit Media, Inc.

Read now

Unlock full access

지은이 소개
옮긴이 소개
추천사
옮긴이의 말
지은이의 말
이 책에 대하여
목차 (1/2)
목차 (2/2)
1부 언어 모델 이해하기
1장 대규모 언어 모델 소개

1.1 언어 AI란?
1.2 언어 AI의 최근 역사 (1/4)
1.2.1 BoW로 언어 표현하기1.2.2 밀집 벡터 임베딩으로 더 나은 표현 만들기
1.2 언어 AI의 최근 역사 (2/4)
1.2.3 임베딩의 종류1.2.4 어텐션을 사용한 문맥 인코딩과 디코딩
1.2 언어 AI의 최근 역사 (3/4)
1.2.5 Attention Is All You Need1.2.6 표현 모델: 인코더 기반 모델
1.2 언어 AI의 최근 역사 (4/4)
1.2.7 생성 모델: 디코더 기반 모델1.2.8 생성 AI의 해
1.3 ‘대규모 언어 모델’의 정의
1.4 대규모 언어 모델의 훈련 패러다임
1.5 대규모 언어 모델 애플리케이션: 왜 유용한가요?
1.6 책임 있는 LLM 개발과 사용
1.7 자원이 부족해도 괜찮습니다
1.8 대규모 언어 모델 인터페이스
1.8.1 독점 및 비공개 모델1.8.2 오픈 모델1.8.3 오픈 소스 프레임워크
1.9 첫 번째 텍스트 생성하기
1.10 요약
2장 토큰과 임베딩
2.1 LLM 토큰화 (1/4)
2.1.1 토크나이저가 언어 모델의 입력을 준비하는 방법2.1.2 LLM 다운로드하고 실행하기
2.1 LLM 토큰화 (2/4)
2.1.3 토크나이저가 텍스트를 분할하는 방법2.1.4 단어 토큰, 부분단어 토큰, 문자 토큰, 바이트 토큰2.1.5 훈련된 LLM 토크나이저 비교하기
2.1 LLM 토큰화 (3/4)
2.1 LLM 토큰화 (4/4)
2.1.6 토크나이저 속성
2.2 토큰 임베딩
2.2.1 토크나이저의 어휘사전에 대한 임베딩을 내장한 언어 모델2.2.2 언어 모델로 문맥을 고려한 단어 임베딩 만들기
2.3 텍스트 임베딩(문장과 전체 문서)
2.4 LLM을 넘어 활용되는 단어 임베딩
2.4.1 사전 훈련된 단어 임베딩 다운로드하기2.4.2 word2vec 알고리즘과 대조 훈련
2.5 추천 시스템을 위한 임베딩
2.5.1 임베딩으로 노래 추천하기2.5.2 노래 임베딩 모델 훈련하기
2.6 요약
3장 대규모 언어 모델 자세히 살펴보기
3.1 트랜스포머 모델 개요 (1/5)
3.1.1 훈련된 트랜스포머 LLM의 입력과 출력3.1.2 정방향 계산의 구성 요소
3.1 트랜스포머 모델 개요 (2/5)
3.1.3 확률 분포로부터 하나의 토큰 선택하기(샘플링/디코딩)3.1.4 병렬 토큰 처리와 문맥 크기
3.1 트랜스포머 모델 개요 (3/5)
3.1.5 키와 값을 캐싱하여 생성 속도 높이기3.1.6 트랜스포머 블록 내부
3.1 트랜스포머 모델 개요 (4/5)
3.1 트랜스포머 모델 개요 (5/5)
3.2 트랜스포머 아키텍처의 최근 발전 사항 (1/2)
3.2.1 효율적인 어텐션
3.2 트랜스포머 아키텍처의 최근 발전 사항 (2/2)
3.2.2 트랜스포머 블록3.2.3 위치 임베딩(RoPE)3.2.4 그 외 실험적 구조와 개선 사항
3.3 요약
2부 사전 훈련된언어 모델 사용하기
4장 텍스트 분류
4.1 영화 리뷰 데이터셋
4.2 표현 모델로 텍스트 분류하기
4.3 모델 선택
4.4 작업에 특화된 모델 사용하기
4.5 임베딩을 활용하여 분류 작업 수행하기 (1/2)
4.5.1 지도 학습 분류4.5.2 데이터에 레이블이 없는 경우
4.5 임베딩을 활용하여 분류 작업 수행하기 (2/2)
4.6 생성 모델로 텍스트 분류하기 (1/2)
4.6.1 T5 모델 사용하기
4.6 생성 모델로 텍스트 분류하기 (2/2)
4.6.2 ChatGPT로 분류하기
4.7 요약
5장 텍스트 클러스터링과 토픽 모델링
5.1 아카이브 논문: 계산 및 언어
5.2 텍스트 클러스터링을 위한 파이프라인5.2.1 문서 임베딩5.2.2 임베딩 차원 축소하기5.2.3 축소된 임베딩 클러스터링
5.2.4 클러스터 조사
5.3 텍스트 클러스터링에서 토픽 모델링으로 (1/5)
5.3.1 BERTopic: 모듈화된 토픽 모델링 프레임워크
5.3 텍스트 클러스터링에서 토픽 모델링으로 (2/5)
5.3 텍스트 클러스터링에서 토픽 모델링으로 (3/5)
5.3.2 특수 레고 블록 추가하기
5.3 텍스트 클러스터링에서 토픽 모델링으로 (4/5)
5.3.3 텍스트 생성 레고 블록
5.3 텍스트 클러스터링에서 토픽 모델링으로 (5/5)
5.4 요약
6장 프롬프트 엔지니어링
6.1 텍스트 생성 모델 사용하기6.1.1 텍스트 생성 모델 선택하기6.1.2 텍스트 생성 모델 로드하기6.1.3 모델 출력 제어하기
6.2 프롬프트 엔지니어링 소개
6.2.1 프롬프트의 기본 구성 요소6.2.2 지시 기반 프롬프트
6.3 고급 프롬프트 엔지니어링 (1/2)
6.3.1 프롬프트의 잠재적 복잡성6.3.2 문맥 내 학습: 예시 제공
6.3 고급 프롬프트 엔지니어링 (2/2)
6.3.3 프롬프트 체인: 문제 쪼개기
6.4 생성 모델을 사용한 추론 (1/2)
6.4.1 CoT: 답변하기 전에 생각하기6.4.2 자기 일관성: 출력 샘플링
6.4 생성 모델을 사용한 추론 (2/2)
6.4.3 ToT: 중간 단계 탐색
6.5 출력 검증 (1/2)
6.5.1 예시 제공6.5.2 문법: 제약 샘플링
6.5 출력 검증 (2/2)
6.6 요약
7장 고급 텍스트 생성 기술과 도구
7.1 모델 I/O: 랭체인으로 양자화된 모델 로드하기
7.2 체인: LLM의 능력 확장하기 (1/2)
7.2.1 단일 체인: 프롬프트 템플릿7.2.2 여러 템플릿을 가진 체인
7.2 체인: LLM의 능력 확장하기 (2/2)
7.3 메모리: 대화를 기억하도록 LLM 돕기 (1/2)
7.3.1 대화 버퍼7.3.2 윈도 대화 버퍼
7.3 메모리: 대화를 기억하도록 LLM 돕기 (2/2)
7.3.3 대화 요약
7.4 에이전트: LLM 시스템 구축하기 (1/2)
7.4.1 에이전트 이면의 원동력: 단계별 추론7.4.2 랭체인의 ReAct
7.4 에이전트: LLM 시스템 구축하기 (2/2)
7.5 요약
8장 시맨틱 검색과 RAG
8.1 시맨틱 검색과 RAG 소개
8.2 언어 모델을 사용한 시맨틱 검색 (1/5)
8.2.1 밀집 검색
8.2 언어 모델을 사용한 시맨틱 검색 (2/5)
8.2 언어 모델을 사용한 시맨틱 검색 (3/5)
8.2.2 리랭킹
8.2 언어 모델을 사용한 시맨틱 검색 (4/5)
8.2.3 검색 평가 지표
8.2 언어 모델을 사용한 시맨틱 검색 (5/5)
8.3 RAG (1/2)
8.3.1 검색에서 RAG로8.3.2 예: LLM API를 사용한 근거 기반 생성8.3.3 예: 로컬 모델을 사용한 RAG
8.3 RAG (2/2)
8.3.4 고급 RAG 기술8.3.5 RAG 평가
8.4 요약
9장 멀티모달 대규모 언어 모델
9.1 비전 트랜스포머
9.2 멀티모달 임베딩 모델 (1/3)
9.2.1 CLIP: 텍스트와 이미지 연결9.2.2 CLIP이 멀티모달 임베딩을 생성하는 방법
9.2 멀티모달 임베딩 모델 (2/3)
9.2.3 OpenCLIP
9.2 멀티모달 임베딩 모델 (3/3)
9.3 텍스트 생성 모델을 멀티모달로 만들기 (1/3)
9.3.1 BLIP-2: 모달리티 간극 메꾸기
9.3 텍스트 생성 모델을 멀티모달로 만들기 (2/3)
9.3.2 멀티모달 입력 전처리9.3.3 사용 사례 1: 이미지 캡셔닝
9.3 텍스트 생성 모델을 멀티모달로 만들기 (3/3)
9.3.4 사용 사례 2: 채팅 기반 멀티모달 프롬프트
9.4 요약
3부 언어 모델 훈련 및미세 튜닝
10장 텍스트 임베딩 모델 만들기
10.1 임베딩 모델
10.2 대조 학습이란?
10.3 SBERT
10.4 임베딩 모델 만들기 (1/3)
10.4.1 대조 샘플 생성하기10.4.2 모델 훈련
10.4 임베딩 모델 만들기 (2/3)
10.4.3 심층 평가10.4.4 손실 함수
10.4 임베딩 모델 만들기 (3/3)
10.5 임베딩 모델 미세 튜닝 (1/2)
10.5.1 지도 학습 방법10.5.2 증식 SBERT
10.5 임베딩 모델 미세 튜닝 (2/2)
10.6 비지도 학습 (1/2)
10.6.1 TSDAE
10.6 비지도 학습 (2/2)
10.6.2 TSDAE를 사용한 도메인 적응
10.7 요약
11장 분류용 표현 모델 미세 튜닝하기
11.1 지도 분류11.1.1 사전 훈련된 BERT 모델 미세 튜닝하기
11.1.2 층 동결하기
11.2 퓨샷 분류 (1/2)
11.2.1 SetFit: 소량의 샘플로 효율적인 미세 튜닝하기
11.2 퓨샷 분류 (2/2)
11.2.2 퓨샷 분류를 위한 미세 튜닝
11.3 마스크드 언어 모델링으로 미세 튜닝 계속하기 (1/2)
11.3 마스크드 언어 모델링으로 미세 튜닝 계속하기 (2/2)
11.4 개체명 인식 (1/2)
11.4.1 개체명 인식을 위해 데이터 준비하기
11.4 개체명 인식 (2/2)
11.4.2 개체명 인식을 위해 미세 튜닝하기
11.5 요약
12장 생성 모델 미세 튜닝하기
12.1 LLM 훈련의 세 단계12.1.1 언어 모델링12.1.2 미세 튜닝 1(지도 학습 미세 튜닝)
12.1.3 미세 튜닝 2(선호도 튜닝)
12.2 지도 학습 미세 튜닝 (1/3)12.2.1 전체 미세 튜닝12.2.2 파라미터 효율적인 미세 튜닝
12.2 지도 학습 미세 튜닝 (2/3)
12.2 지도 학습 미세 튜닝 (3/3)
12.3 QLoRA를 사용한 지시 기반 튜닝 (1/2)
12.3.1 지시 데이터 템플릿12.3.2 모델 양자화12.3.3 LoRA 설정12.3.4 훈련 설정
12.3 QLoRA를 사용한 지시 기반 튜닝 (2/2)
12.3.5 훈련12.3.6 가중치 병합
12.4 생성 모델 평가 (1/2)
12.4.1 단어 수준 지표12.4.2 벤치마크12.4.3 리더보드12.4.4 자동 평가12.4.5 사람 평가
12.4 생성 모델 평가 (2/2)
12.5 선호도 튜닝/정렬/RLHF
12.6 보상 모델을 사용한 선호도 평가 자동화 (1/2)
12.6.1 보상 모델의 입력과 출력12.6.2 보상 모델 훈련
12.6 보상 모델을 사용한 선호도 평가 자동화 (2/2)
12.6.3 비보상 모델 훈련
12.7 DPO를 사용한 선호도 튜닝
12.7.1 정렬 데이터에 템플릿 적용하기12.7.2 모델 양자화12.7.3 훈련 설정12.7.4 훈련
12.8 요약
찾아보기 (1/3)
찾아보기 (2/3)
찾아보기 (3/3)

Content preview from 핸즈온 LLM

263

장

시맨틱 검색과 RAG

산업계에 가장 먼저 널리 적용된 언어 모델 애플리케이션 중 하나는 검색입니다.

BERT

논문

(

https

://

oreil

5NRQi

)이 발표되고 몇 달 후부터 구글은 이 기술을 구글 검색에 사용했으

며 “검색 역사에서 가장 큰 도약의 하나”라고 발표했습니다 (

https

://

oreil

Bbnrd

). 이에

뒤질세라 마이크로소프트 빙

Bing

도 “올

월부터 대규모 트랜스포머 모델을 사용해 지난

년 동

안 빙의 사용자를 위해 품질을 가장 크게 개선했다”고 밝혔습니다 (

https

://

oreil

Tpylo

이는 이런 모델의 성능과 유용성을 보여 주는 명확한 증거입니다. 이런 기술을 적용해 전 세계

수십억 명의 사람들이 사용하며 가장 성숙하고 오래 유지된 시스템을 지체 없이 극적으로 개선

하고 있습니다. 이런 시스템이 추가한 기술은

시맨틱 검색

semantic

이라고 하며 키워드 매칭

keyword

matching

이 아니라 의미를 사용해 검색할 수 있습니다.

이와는 별개로, 텍스트 생성 모델이 빠르게 대중화되면서 많은 사람들이 모델에게 질문하고 사

실적인 답변을 기대합니다. 모델이 유창하고 확신에 차서 답변할 수 있지만 항상 올바르거나

최신의 답을 내는 것은 아닙니다. 이 문제를 ‘환각’이라고 합니다. 이를 줄이는 ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Publisher Resources

ISBN: 9791169213516

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills

핸즈온 LLM

by 제이 알아마르, 마르턴 흐루턴도르스트, 박해선

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

More than 5,000 organizations count on O’Reilly

Julian F.

Addison B.

Amir M.

Mark W.

You might also like

LLMOps

딥러닝의 정석(2판)

FastAPI

AI 엔지니어링

Publisher Resources