벡터 데이터베이스 (Korean Edition)

제1장. 벡터 데이터베이스소개

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

최근 생성형 AI(줄여서 GenAI)의 물결, 특히 자연어 처리 분야에서 이 기술이 주목받으면서 벡터 데이터베이스 기술도 개발자들의 관심사로 부상했습니다. 모델 훈련에 사용되는 비정형 데이터는 벡터화되며, 추론에 사용되는 데이터는 종종 벡터 데이터베이스에 저장됩니다. 하지만 일반적인 데이터베이스 애플리케이션 개발자들에게는 이 기술이 아직 잘 알려지지 않았거나 충분히 이해되지 않고 있습니다.

이 장에서는 벡터 데이터베이스에 대한 개괄적인 개요를 제공하며, 주요 구성 요소를 설명하고 앞으로 다룰 내용을 미리 살펴봅니다. 주로 이 기술이 무엇인지, 그리고 왜 필요한지에 대해 배우게 될 것입니다. 이 장을 마치면 벡터 데이터베이스를 사용하는 방법을 이해하게 될 것이며, 핵심 주제인 임베딩(embeddings)은 다음 장에서 다룰 예정입니다.

벡터 데이터베이스가 필요한 이유는 무엇일까요?

GenAI가 등장하기 전부터도 텍스트, 이미지, 오디오, 비디오와 같은 비정형 데이터를 관리하는 것은 어려웠습니다. 이러한 자산을 대규모로 관리하려면 전문적인 기술과 지식이 필요했습니다. 이러한 데이터에 대한 색인 생성 및 검색은 메타데이터 수준(예: 생성 날짜, 크기, 작성자 등)에서만 가능했습니다. 하지만 특정 이미지와 유사한 이미지를 찾거나, 특정 문단과 의미가 유사한 문단을 찾는 것은 SQL 데이터베이스로는 불가능했습니다. SQL 데이터베이스는 의미론이 아닌 구문적 일치에 사용되기 때문입니다.

이제 벡터 데이터베이스가 주류로 부상함에 따라, 비정형 데이터를 관리하고 데이터의 의미인' (의미론적) 의미'를기반으로 검색하는 것이 훨씬 쉬워졌습니다. 이것이 바로 벡터 데이터베이스의 세계로, 의미론적 검색이나 유사도 검색을 기반으로 한 애플리케이션에 새로운 가능성을 열어줍니다. 이는 단순히 키워드로 검색하는 것을 훨씬 뛰어넘는 것으로, 예를 들어 과일인 'apple'과 컴퓨터 회사인 'Apple'을 혼동하는 경우가 종종 발생하는 문제를 해결해 줍니다. 벡터 데이터베이스는 관계형 데이터베이스가 비즈니스 데이터의 기반 기술인 것처럼, 기업 내 AI의 기반 기술입니다. 현재 비즈니스 데이터와 텍스트, 이미지, 오디오, 비디오의 의미론을 결합하여 풍부하고 지능적이며 상호작용이 가능한 시스템을 구축하는 애플리케이션들이 개발되고 있습니다. 이러한 풍부한 애플리케이션을 만들기 위해서는 오늘날 널리 알려진 것보다 더 깊은 벡터 데이터베이스에 대한 이해가 필요합니다.

현재(2025년경) 전용 벡터 데이터베이스가 출시되어 있지만, 이들 모두는 서로 약간씩 다르며 데이터베이스별 전문 지식이 필요합니다. 이러한 벡터 데이터베이스 중 상당수는 Cloud에서 이용할 수 있어 전문적인 유지 관리가 훨씬 덜 필요하며, 벡터 기능이 강화된 Postgres와 같은 데이터베이스도 마찬가지로 이용 가능합니다.

이 책은 벡터 데이터베이스 ...