실무로 통하는 LLM 애플리케이션 설계

357

11

장

표현 학습과 임베딩

11.9

임베딩 해석하기

임베딩은 텍스트의 어떤 특징을 학습할까요? 두 문장이 때때로 예상보다 임베딩 공간에서 서

로 더 가깝거나 더 멀리 있는 이유는 무엇일까요? 임베딩 벡터의 각 차원이 무엇을 나타내는지

알 수 있을까요?

전통적인 기법과 비교했을 때 임베딩 기반 검색의 주요 한계는 순위 결정에서 해석 가능성이

부족하다는 점입니다. 신경망,

LLM

, 임베딩의 해석 가능성을 높이기 위한 연구는 이미 방대한

양이 축적되어 있습니다.

5

장에서는 대규모 언어 모델을 이해하기 위한 몇 가지 해석 가능성

기법을 소개했습니다. 이 절에서는 특히 임베딩 해석 가능성에 초점을 맞출 것입니다. 임베딩

공간에 표현된 특징을 이해하면 그 지식을 활용해 목적에 맞게 임베딩을 조정할 수 있다는 장

점이 있습니다.

희소 오토인코더(

SAE

)는 해석 가능성을 부여하는 유망한 기법입니다.

SAE

가 무엇을 의미하

는지, 해석 가능성을 향상시키기 위해 어떻게 훈련되고 사용되는지 알아보겠습니다.

언어 모델은 수백만 개의 특징을 학습할 수 있지만, 주어진 입력에서 활성화되는 특징은 소수

입니다. 이것이 바로 희소성

sparsity

입니다. 많은 특징을 학습하더라도 임베딩 벡터에는 제한된

수의 차원만 있으므로 각 차원이 많은 특징에 기여하며 서로 간섭할 수 있습니다. ...