Capitolo 6. Valutazione della tua applicazione RAG
Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: translation-feedback@oreilly.com
Che tu crei il tuo RAG da solo (fai da te) o utilizzi una piattaforma RAG, devi essere in grado di misurare la qualità delle risposte che gli utenti vedono quando utilizzano la tua applicazione RAG. Questo processo è noto come valutazione RAG, che misura con quanta precisione il sistema trova i documenti o i frammenti giusti (precisione di recupero) e con quanta coerenza e correttezza costruisce la sua risposta a partire da quei documenti o frammenti (precisione di generazione).
Prima di entrare nei dettagli, è utile distinguere tra i due tipi di valutazione RAG:
- Valutazione offline
-
Eseguite durante il ciclo di sviluppo. Si tratta di valutazioni approfondite, spesso dispendiose in termini di risorse, utilizzate per ottimizzare le impostazioni della tua pipeline prima di una implementazion e.
- Valutazione online
-
Eseguite sul traffico live. Questo identifica come gli utenti reali interagiscono con il sistema, ma richiede un approccio leggero per mantenere un'esperienza utente a bassa latenza.
In questo capitolo ci concentreremo principalmente sulla valutazione RAG offline, discutendo perché è importante, quali metriche dovresti considerare e come interpretare ciascuna di esse. Poi, nella sezione "Valutazione RAG online", parleremo brevemente della valutazione online e forniremo alcune ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access