임베딩의 진정한 가치는 대규모 텍스트 코퍼스를 표현할 때 확인할 수 있습니다. 데이터를 나
타내는 벡터들은 임베딩 공간이라는 곳을 차지합니다. 유사한 텍스트들은 임베딩 공간에서 서
로 더 가깝습니다. 이런 특성 덕분에 유사도 측정법을 사용해 클러스터링이나 의미 검색 같은
의미 있는 작업을 수행할 수 있습니다. 의미 검색은 질의와 문서의 의미와 컨텍스트를 고려해
주어진 질의와 가장 관련성이 높은 문서를 식별하는 기법을 말합니다.
PCA
3
나
t
-
SNE
4
같은 차원 축소 기법으로 임베딩 공간을 시각화할 수 있습니다. [그림
11
-
1
]
은 노믹
AI
Nomic
AI
5
가 자사의 아틀라스
Atlas
도구를 사용해 만든 미국 의회 의원들의
X
(구 트위
터) 게시물 임베딩 시각화를 보여줍니다. 노믹의 블로그
6
에서 이 시각화의 자세한 버전을 볼
수 있습니다.
그림
11-1
임베딩 공간 시각화
3
https
://
oreil
.
ly
/
Rk1M9
4
https
://
oreil
.
ly
/
0xNrB
5
https
://
oreil
.
ly
/
XsXls
6
https
://
oreil
.
ly
/
AORpk
334
3
부
LLM 애플리케이션 활용 패러다임
임베딩을 의미 검색에 어떻게 사용하는지 살펴보겠습니다. 주어진 사용자 질의에 대해 질의
의 임베딩을 생성한 다음, 벡터 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.