벡터 데이터베이스 (Korean Edition)

제3장. FAISS를 이용한유사도 검색

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

FAISS(Facebook AI Similarity Search)는 밀집 벡터의 유사도 검색 및 클러스터링을 효율적으로 수행하기 위해 Meta(구 Facebook)에서 개발한 오픈 소스 라이브러리입니다. 이 라이브러리의 발전은 개인화 추천, 콘텐츠 필터링, 이미지/동영상 검색 기능을 구동하는 방대한 데이터 세트를 처리하기 위한 확장 가능한 솔루션에 대한 Meta의 증가하는 필요성을 반영합니다.

이 장은 수학적 기초에 익숙하고 벡터 검색의 내부 작동 원리에 관심이 있는 개발자를 대상으로 합니다. 직접 벡터 데이터베이스를 작성하기보다는 애플리케이션 구축에 주된 관심이 있다면 이 장을 대략적으로 훑어보셔도 됩니다. 직접 벡터 데이터베이스를 만들어 보고 싶다면 FAISS는 시작하기에 아주 좋은 도구입니다. FAISS는 바로 사용할 수 있는 견고한 유사도 검색 엔진일 뿐만 아니라, 맞춤형 벡터 데이터베이스와 유사도 검색 엔진을 구축하기 위한 강력하고 유연한 툴킷이기도 합니다. 또한 다음 장에서 자세히 살펴볼 SQLite3용 벡터 검색 확장 기능인 sqlite-vss의 기능을 확장하는 데에도 유용할 것입니다. 우선 FAISS가 사용자 정의 검색 도구 세트에 포함하면 좋은 강력한 도구, 즉 '중무기'라는 점을 이해해 두시기 바랍니다. 이 장을 읽으면 벡터 검색 엔진이 어떻게 작동하는지에 대한 내부적인 통찰력을 얻을 수 있습니다.

FAISS는 GPU를 사용할 수 있지만, 이 책에서는 최대한 많은 독자가 코드를 이해할 수 있도록 CPU 버전만 사용할 것입니다.

기초

FAISS 개발의 핵심 동기는 Meta 플랫폼에서 생성되는 방대한 양과 차원의 데이터를 처리하는 기존 솔루션의 한계에서 비롯되었습니다. 무차별 대입 검색(brute-force search)과 같은 전통적인 접근 방식은 개념적으로는 단순하지만, 수백만 또는 수십억 개의 벡터가 존재할 경우 계산상 실현 불가능해집니다. 문제는 단순히 속도뿐만 아니라 자원 효율성이기도 했습니다. Meta는 메모리 사용량과 전력 소비를 최소화하면서 여러 대의 머신에 걸쳐 원활하게 확장될 수 있는 솔루션이 필요했습니다.

FAISS는 인덱싱 및 검색 알고리즘의 조합을 통해 이러한 과제를 해결합니다. 쿼리 벡터를 데이터셋의 모든 벡터와 비교하는 방식(무차별 대입) 대신, FAISS는 다양한 인덱싱 구조를 활용하여 검색 공간을 대폭 축소합니다. 이러한 구조는 벡터를 지능적으로 정리하여, FAISS가 관련 없는 후보를 신속하게 제거하고 가장 가까운 이웃이 포함될 가능성이 높은 더 작은 부분 집합에 집중할 수 있게 합니다.

FAISS의 효율성을 뒷받침하는 몇 가지 핵심 인덱싱 기법이 있으며, 이에 대해서도 이 장에서 다룰 것입니다. 제품 양자화(PQ) 및 스칼라 양자화(SQ)와 같은 양자화 기법은 벡터를 더 적은 비트로 표현함으로써 메모리 사용량을 줄입니다. ...