Prompt Engineering für generative KI

Kapitel 5. Vektordatenbanken mit FAISS und Pinecone

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In diesem Kapitel wird das Konzept der Einbettungen und der Vektordatenbanken vorgestellt und erörtert, wie sie genutzt werden können, um in Eingabeaufforderungen relevanten Kontext zu liefern.

Eine Vektordatenbank ist ein Tool, das am häufigsten verwendet wird, um Textdaten so zu speichern, dass sie auf der Grundlage von Ähnlichkeiten oder semantischen Bedeutungen abgefragt werden können. Diese Technologie wird eingesetzt, um Halluzinationen (bei denen sich das KI-Modell etwas ausdenkt) zu verringern, indem Daten herangezogen werden, auf die das Modell nicht trainiert wurde, was die Genauigkeit und Qualität der LLM-Antwort erheblich verbessert. Weitere Anwendungsfälle für Vektordatenbanken sind das Lesen von Dokumenten, das Empfehlen ähnlicher Produkte oder das Erinnern an vergangene Gespräche.

Vektoren sind Listen von Zahlen , die Text (oder Bilder) repräsentieren und die du dir als Koordinaten für einen Ort vorstellen kannst. Der Vektor für das Wort Maus mit dem OpenAI-Modell text-embedding-ada-002 ist eine Liste von 1.536 Zahlen, die jeweils den Wert für ein Merkmal darstellen, das das Einbettungsmodell beim Training gelernt hat:

[-0.011904156766831875,
 -0.0323905423283577,
 0.001950666424818337,
...]

Wenn diese Modelle trainiert werden, werden Texte, die in den Trainingsdaten zusammen vorkommen, ...