Praktische Anwendung von RAG für die Produktion (German Edition)

Vorwort von Sharon Zhou

Als ich zum ersten Mal sah, wie ein RAG-System in der Produktion fehlschlug, lag das daran, dass jemand seine Dokumente naiv an festen Zeichengrenzen in Blöcke zerlegt und eine Rechtsklausel in zwei Hälften geteilt hatte. Klausel A befand sich in einem Block zusammen mit einem Teil von Klausel B, der Rest von Klausel B in einem anderen. Das Problem war, dass der zweite Block eine nützliche, häufig vorkommende Ausnahme enthielt. Das RAG-System holte den ersten Block, aber nicht den zweiten, basierend auf der Frage des Nutzers, sodass das Modell die Frage des Nutzers leider mit dem Gegenteil dessen beantwortete, was im Vertrag stand. Stell dir mal vor: Wenn du durch eine Google-Suche unvollständiges oder fehlerhaftes Wissen erhalten hättest, hättest du auch Schwierigkeiten, die richtige Antwort zu geben.

Niemand, der das System entwickelt hat, hatte sich kritisch mit der Chunking-Strategie auseinandergesetzt. Sie waren damit beschäftigt, darüber zu diskutieren, welches LLM sie verwenden sollten. Deshalb ist ein Buch wie dieses so wichtig für diejenigen, die RAG mit LLMs und Agenten in der Produktion entwickeln.

RAG sieht täuschend einfach aus:

• Teile deine Dokumente in Chunks auf – ganz einfach, das ist eine String-Aufteilung.
• Deine Teile einbetten – ganz einfach, das ist ein leichter API-Aufruf in einer for-Schleife.
• Rufe die relevanten Teile ab – ganz einfach, das ist nur eine Suche, die es schon viel länger gibt als moderne KI, also sollte sie in gewisser ...