Praktische Anwendung von RAG für die Produktion (German Edition)

Kapitel 8. Multimodales RAG

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Bisher haben wir uns hauptsächlich auf textbasiertes RAG konzentriert, bei dem die wissensgestützten Antworten auf das beschränkt waren, was geschrieben werden konnte, und dabei das Wissen in anderen Formaten, darunter Tabellen, Bilder, Audio und Video, außer Acht gelassen.

In der Realität ist Unternehmenswissen in vielen verschiedenen Formen verfügbar – eine Gewinn- und Verlustrechnung (GuV) in einem Finanzbericht, die visuellen Anweisungen in einer Bedienungsanleitung oder die sprachlichen Nuancen in einem Kundendienstgespräch. Ohne die Möglichkeit, das Diagramm zu sehen, das Gespräch zu hören oder die Tabelle zu lesen, leidet die Genauigkeit des RAG-Systems: Es liefert zwar hochwertige Antworten, die auf textbasierten Dokumenten beruhen, gibt aber minderwertige oder erfundene Antworten, wenn die für eine genaue Antwort erforderlichen Informationen in einer Tabelle oder einem Bild enthalten sind.

In diesem Kapitel, „ “, untersuchen wir multimodales RAG und wie man Daten, die in anderen (nicht-textuellen) Modalitäten vorliegen, in RAG integriert. Wir werden uns mit den Kernstrategien zur Integration dieser anderen Modalitäten befassen und die damit verbundenen produktionstechnischen Herausforderungen untersuchen.

Um sich in dieser Landschaft zurechtzufinden, ist es hilfreich zu klären, wie „multimodal“ in einer Produktionsumgebung ...