Praktische Anwendung von RAG für die Produktion (German Edition)

Kapitel 6. Bewertung deiner RAG-Anwendung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Egal, ob du dein RAG selbst entwickelst (DIY) oder eine RAG-Plattform nutzt, du musst in der Lage sein, die Qualität der Antworten zu messen, die Nutzer sehen, wenn sie deine RAG-Anwendung verwenden. Dies wird als RAG-Bewertung bezeichnet, die misst, wie genau das System die richtigen Dokumente oder Textabschnitte findet (Retrieval Accuracy) und wie kohärent und korrekt es seine Antwort aus diesen Dokumenten oder Textabschnitten zusammenstellt (Generation Accuracy).

Bevor wir ins Detail gehen, ist es hilfreich, zwischen den beiden Arten der RAG- -Bewertung zu unterscheiden:

Offline-Bewertung

Wird während des Entwicklungszyklus durchgeführt. Dabei handelt es sich um tiefgehende, oft ressourcenintensive Bewertungen, die dazu dienen, deine Pipeline-Einstellungen vor der Bereitstellung in der Produktionsumgebung ( ) zu optimieren.

Online-Bewertung

Wird am Live-Traffic durchgeführt. Dies ermittelt, wie echte Nutzer mit dem System interagieren, erfordert jedoch einen ressourcenschonenden Ansatz, um eine Nutzererfahrung mit geringer Latenz zu gewährleisten.

In diesem Kapitel konzentrieren wir uns in erster Linie auf die Offline-RAG-Bewertung und erörtern, warum sie wichtig ist, welche Metriken du berücksichtigen solltest und wie du die einzelnen Metriken interpretierst. Anschließend gehen wir im Abschnitt ...