book

핸즈온 LLM

Name: 핸즈온 LLM
ISBN: 9791169213516

by 제이 알아마르, 마르턴 흐루턴도르스트, 박해선

June 2025

Beginner to intermediate

460 pages

11h 46m

Korean

Hanbit Media, Inc.

Read now

Unlock full access

지은이 소개
옮긴이 소개
추천사
옮긴이의 말
지은이의 말
이 책에 대하여
목차 (1/2)
목차 (2/2)
1부 언어 모델 이해하기
1장 대규모 언어 모델 소개

1.1 언어 AI란?
1.2 언어 AI의 최근 역사 (1/4)
1.2.1 BoW로 언어 표현하기1.2.2 밀집 벡터 임베딩으로 더 나은 표현 만들기
1.2 언어 AI의 최근 역사 (2/4)
1.2.3 임베딩의 종류1.2.4 어텐션을 사용한 문맥 인코딩과 디코딩
1.2 언어 AI의 최근 역사 (3/4)
1.2.5 Attention Is All You Need1.2.6 표현 모델: 인코더 기반 모델
1.2 언어 AI의 최근 역사 (4/4)
1.2.7 생성 모델: 디코더 기반 모델1.2.8 생성 AI의 해
1.3 ‘대규모 언어 모델’의 정의
1.4 대규모 언어 모델의 훈련 패러다임
1.5 대규모 언어 모델 애플리케이션: 왜 유용한가요?
1.6 책임 있는 LLM 개발과 사용
1.7 자원이 부족해도 괜찮습니다
1.8 대규모 언어 모델 인터페이스
1.8.1 독점 및 비공개 모델1.8.2 오픈 모델1.8.3 오픈 소스 프레임워크
1.9 첫 번째 텍스트 생성하기
1.10 요약
2장 토큰과 임베딩
2.1 LLM 토큰화 (1/4)
2.1.1 토크나이저가 언어 모델의 입력을 준비하는 방법2.1.2 LLM 다운로드하고 실행하기
2.1 LLM 토큰화 (2/4)
2.1.3 토크나이저가 텍스트를 분할하는 방법2.1.4 단어 토큰, 부분단어 토큰, 문자 토큰, 바이트 토큰2.1.5 훈련된 LLM 토크나이저 비교하기
2.1 LLM 토큰화 (3/4)
2.1 LLM 토큰화 (4/4)
2.1.6 토크나이저 속성
2.2 토큰 임베딩
2.2.1 토크나이저의 어휘사전에 대한 임베딩을 내장한 언어 모델2.2.2 언어 모델로 문맥을 고려한 단어 임베딩 만들기
2.3 텍스트 임베딩(문장과 전체 문서)
2.4 LLM을 넘어 활용되는 단어 임베딩
2.4.1 사전 훈련된 단어 임베딩 다운로드하기2.4.2 word2vec 알고리즘과 대조 훈련
2.5 추천 시스템을 위한 임베딩
2.5.1 임베딩으로 노래 추천하기2.5.2 노래 임베딩 모델 훈련하기
2.6 요약
3장 대규모 언어 모델 자세히 살펴보기
3.1 트랜스포머 모델 개요 (1/5)
3.1.1 훈련된 트랜스포머 LLM의 입력과 출력3.1.2 정방향 계산의 구성 요소
3.1 트랜스포머 모델 개요 (2/5)
3.1.3 확률 분포로부터 하나의 토큰 선택하기(샘플링/디코딩)3.1.4 병렬 토큰 처리와 문맥 크기
3.1 트랜스포머 모델 개요 (3/5)
3.1.5 키와 값을 캐싱하여 생성 속도 높이기3.1.6 트랜스포머 블록 내부
3.1 트랜스포머 모델 개요 (4/5)
3.1 트랜스포머 모델 개요 (5/5)
3.2 트랜스포머 아키텍처의 최근 발전 사항 (1/2)
3.2.1 효율적인 어텐션
3.2 트랜스포머 아키텍처의 최근 발전 사항 (2/2)
3.2.2 트랜스포머 블록3.2.3 위치 임베딩(RoPE)3.2.4 그 외 실험적 구조와 개선 사항
3.3 요약
2부 사전 훈련된언어 모델 사용하기
4장 텍스트 분류
4.1 영화 리뷰 데이터셋
4.2 표현 모델로 텍스트 분류하기
4.3 모델 선택
4.4 작업에 특화된 모델 사용하기
4.5 임베딩을 활용하여 분류 작업 수행하기 (1/2)
4.5.1 지도 학습 분류4.5.2 데이터에 레이블이 없는 경우
4.5 임베딩을 활용하여 분류 작업 수행하기 (2/2)
4.6 생성 모델로 텍스트 분류하기 (1/2)
4.6.1 T5 모델 사용하기
4.6 생성 모델로 텍스트 분류하기 (2/2)
4.6.2 ChatGPT로 분류하기
4.7 요약
5장 텍스트 클러스터링과 토픽 모델링
5.1 아카이브 논문: 계산 및 언어
5.2 텍스트 클러스터링을 위한 파이프라인5.2.1 문서 임베딩5.2.2 임베딩 차원 축소하기5.2.3 축소된 임베딩 클러스터링
5.2.4 클러스터 조사
5.3 텍스트 클러스터링에서 토픽 모델링으로 (1/5)
5.3.1 BERTopic: 모듈화된 토픽 모델링 프레임워크
5.3 텍스트 클러스터링에서 토픽 모델링으로 (2/5)
5.3 텍스트 클러스터링에서 토픽 모델링으로 (3/5)
5.3.2 특수 레고 블록 추가하기
5.3 텍스트 클러스터링에서 토픽 모델링으로 (4/5)
5.3.3 텍스트 생성 레고 블록
5.3 텍스트 클러스터링에서 토픽 모델링으로 (5/5)
5.4 요약
6장 프롬프트 엔지니어링
6.1 텍스트 생성 모델 사용하기6.1.1 텍스트 생성 모델 선택하기6.1.2 텍스트 생성 모델 로드하기6.1.3 모델 출력 제어하기
6.2 프롬프트 엔지니어링 소개
6.2.1 프롬프트의 기본 구성 요소6.2.2 지시 기반 프롬프트
6.3 고급 프롬프트 엔지니어링 (1/2)
6.3.1 프롬프트의 잠재적 복잡성6.3.2 문맥 내 학습: 예시 제공
6.3 고급 프롬프트 엔지니어링 (2/2)
6.3.3 프롬프트 체인: 문제 쪼개기
6.4 생성 모델을 사용한 추론 (1/2)
6.4.1 CoT: 답변하기 전에 생각하기6.4.2 자기 일관성: 출력 샘플링
6.4 생성 모델을 사용한 추론 (2/2)
6.4.3 ToT: 중간 단계 탐색
6.5 출력 검증 (1/2)
6.5.1 예시 제공6.5.2 문법: 제약 샘플링
6.5 출력 검증 (2/2)
6.6 요약
7장 고급 텍스트 생성 기술과 도구
7.1 모델 I/O: 랭체인으로 양자화된 모델 로드하기
7.2 체인: LLM의 능력 확장하기 (1/2)
7.2.1 단일 체인: 프롬프트 템플릿7.2.2 여러 템플릿을 가진 체인
7.2 체인: LLM의 능력 확장하기 (2/2)
7.3 메모리: 대화를 기억하도록 LLM 돕기 (1/2)
7.3.1 대화 버퍼7.3.2 윈도 대화 버퍼
7.3 메모리: 대화를 기억하도록 LLM 돕기 (2/2)
7.3.3 대화 요약
7.4 에이전트: LLM 시스템 구축하기 (1/2)
7.4.1 에이전트 이면의 원동력: 단계별 추론7.4.2 랭체인의 ReAct
7.4 에이전트: LLM 시스템 구축하기 (2/2)
7.5 요약
8장 시맨틱 검색과 RAG
8.1 시맨틱 검색과 RAG 소개
8.2 언어 모델을 사용한 시맨틱 검색 (1/5)
8.2.1 밀집 검색
8.2 언어 모델을 사용한 시맨틱 검색 (2/5)
8.2 언어 모델을 사용한 시맨틱 검색 (3/5)
8.2.2 리랭킹
8.2 언어 모델을 사용한 시맨틱 검색 (4/5)
8.2.3 검색 평가 지표
8.2 언어 모델을 사용한 시맨틱 검색 (5/5)
8.3 RAG (1/2)
8.3.1 검색에서 RAG로8.3.2 예: LLM API를 사용한 근거 기반 생성8.3.3 예: 로컬 모델을 사용한 RAG
8.3 RAG (2/2)
8.3.4 고급 RAG 기술8.3.5 RAG 평가
8.4 요약
9장 멀티모달 대규모 언어 모델
9.1 비전 트랜스포머
9.2 멀티모달 임베딩 모델 (1/3)
9.2.1 CLIP: 텍스트와 이미지 연결9.2.2 CLIP이 멀티모달 임베딩을 생성하는 방법
9.2 멀티모달 임베딩 모델 (2/3)
9.2.3 OpenCLIP
9.2 멀티모달 임베딩 모델 (3/3)
9.3 텍스트 생성 모델을 멀티모달로 만들기 (1/3)
9.3.1 BLIP-2: 모달리티 간극 메꾸기
9.3 텍스트 생성 모델을 멀티모달로 만들기 (2/3)
9.3.2 멀티모달 입력 전처리9.3.3 사용 사례 1: 이미지 캡셔닝
9.3 텍스트 생성 모델을 멀티모달로 만들기 (3/3)
9.3.4 사용 사례 2: 채팅 기반 멀티모달 프롬프트
9.4 요약
3부 언어 모델 훈련 및미세 튜닝
10장 텍스트 임베딩 모델 만들기
10.1 임베딩 모델
10.2 대조 학습이란?
10.3 SBERT
10.4 임베딩 모델 만들기 (1/3)
10.4.1 대조 샘플 생성하기10.4.2 모델 훈련
10.4 임베딩 모델 만들기 (2/3)
10.4.3 심층 평가10.4.4 손실 함수
10.4 임베딩 모델 만들기 (3/3)
10.5 임베딩 모델 미세 튜닝 (1/2)
10.5.1 지도 학습 방법10.5.2 증식 SBERT
10.5 임베딩 모델 미세 튜닝 (2/2)
10.6 비지도 학습 (1/2)
10.6.1 TSDAE
10.6 비지도 학습 (2/2)
10.6.2 TSDAE를 사용한 도메인 적응
10.7 요약
11장 분류용 표현 모델 미세 튜닝하기
11.1 지도 분류11.1.1 사전 훈련된 BERT 모델 미세 튜닝하기
11.1.2 층 동결하기
11.2 퓨샷 분류 (1/2)
11.2.1 SetFit: 소량의 샘플로 효율적인 미세 튜닝하기
11.2 퓨샷 분류 (2/2)
11.2.2 퓨샷 분류를 위한 미세 튜닝
11.3 마스크드 언어 모델링으로 미세 튜닝 계속하기 (1/2)
11.3 마스크드 언어 모델링으로 미세 튜닝 계속하기 (2/2)
11.4 개체명 인식 (1/2)
11.4.1 개체명 인식을 위해 데이터 준비하기
11.4 개체명 인식 (2/2)
11.4.2 개체명 인식을 위해 미세 튜닝하기
11.5 요약
12장 생성 모델 미세 튜닝하기
12.1 LLM 훈련의 세 단계12.1.1 언어 모델링12.1.2 미세 튜닝 1(지도 학습 미세 튜닝)
12.1.3 미세 튜닝 2(선호도 튜닝)
12.2 지도 학습 미세 튜닝 (1/3)12.2.1 전체 미세 튜닝12.2.2 파라미터 효율적인 미세 튜닝
12.2 지도 학습 미세 튜닝 (2/3)
12.2 지도 학습 미세 튜닝 (3/3)
12.3 QLoRA를 사용한 지시 기반 튜닝 (1/2)
12.3.1 지시 데이터 템플릿12.3.2 모델 양자화12.3.3 LoRA 설정12.3.4 훈련 설정
12.3 QLoRA를 사용한 지시 기반 튜닝 (2/2)
12.3.5 훈련12.3.6 가중치 병합
12.4 생성 모델 평가 (1/2)
12.4.1 단어 수준 지표12.4.2 벤치마크12.4.3 리더보드12.4.4 자동 평가12.4.5 사람 평가
12.4 생성 모델 평가 (2/2)
12.5 선호도 튜닝/정렬/RLHF
12.6 보상 모델을 사용한 선호도 평가 자동화 (1/2)
12.6.1 보상 모델의 입력과 출력12.6.2 보상 모델 훈련
12.6 보상 모델을 사용한 선호도 평가 자동화 (2/2)
12.6.3 비보상 모델 훈련
12.7 DPO를 사용한 선호도 튜닝
12.7.1 정렬 데이터에 템플릿 적용하기12.7.2 모델 양자화12.7.3 훈련 설정12.7.4 훈련
12.8 요약
찾아보기 (1/3)
찾아보기 (2/3)
찾아보기 (3/3)

Content preview from 핸즈온 LLM

1부 언어 모델 이해하기

이 책의 목표는 독자들이

LLM

과 언어

분야의 기초를 확실히 이해하도록 돕는 것입니다. 이

장은 나머지 부분의 얼개 역할을 하며 다른 장에서 사용할 개념과 용어를 소개합니다.

이 장에서는 다음과 같은 질문의 답을 찾고자 합니다.

•

언어

는 무엇인가요?

•

대규모 언어 모델은 무엇인가요?

•

대규모 언어 모델을 사용하는 일반적인 사례와 애플리케이션에는 어떤 것이 있나요?

•

대규모 언어 모델을 어떻게 사용할 수 있나요?

1.1

언어

란?

인공 지능

artificial

intelligence

(

)이란 용어는 음성 인식, 언어 번역, 시각 인식과 같이 인간 지능에

가까운 작업을 수행하는 컴퓨터 시스템을 묘사하는 데 자주 사용됩니다. 즉 사람의 지능이 아

니라 소프트웨어 지능을 말합니다. 다음은 인공 지능 이론의 창시자 중 한 명인 존 매카시

John

McCarthy

가 내린 정의입니다.

[인공 지능은] 지능적인 기계, 특히 지능적인 컴퓨터 프로그램을 만드는 과학과 공학입니다. 인공

지능 분야는 컴퓨터를 활용해 인간 지능이 어떻게 작동하는지 이해하려고 연구합니다. 하지만

가 생물학적으로 관찰되는 방법에만 국한되지 않습니다.

- 존 매카시,

2007

가 계속 발전하는 덕분에 이 용어는 다양한 시스템을 설명하는 데 사용되었습니다. ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Publisher Resources

ISBN: 9791169213516

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills

핸즈온 LLM

by 제이 알아마르, 마르턴 흐루턴도르스트, 박해선

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

More than 5,000 organizations count on O’Reilly

Julian F.

Addison B.

Amir M.

Mark W.

You might also like

LLMOps

딥러닝의 정석(2판)

FastAPI

AI 엔지니어링

Publisher Resources