RAG pratique pour la production (French Edition)

Chapitre 6. Évaluation de ton application RAG

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Que tu développes ton RAG toi-même (DIY) ou que tu utilises une plateforme RAG, tu dois être capable de mesurer la qualité des réponses que les utilisateurs voient lorsqu’ils utilisent ton application RAG. C’est ce qu’on appelle l’évaluation RAG, qui mesure la précision avec laquelle le système trouve les bons documents ou extraits (précision de recherche) et la cohérence et l’exactitude avec lesquelles il élabore sa réponse à partir de ces documents ou extraits (précision de génération).

Avant d'entrer dans les détails, il est utile de distinguer les deux types d'évaluation de l'RAG :

Évaluation hors ligne

Réalisées pendant le cycle de développement. Il s’agit d’évaluations approfondies, souvent gourmandes en ressources, utilisées pour optimiser les paramètres de ton pipeline avant le déploiement de l’ .

Évaluation en ligne

Réalisées sur le trafic en direct. Elles permettent d’identifier comment les utilisateurs réels interagissent avec le système, mais nécessitent une approche légère pour maintenir une expérience utilisateur à faible latence.

Dans ce chapitre, on se concentre principalement sur l'évaluation RAG hors ligne, en expliquant pourquoi elle est importante, quels indicateurs tu dois prendre en compte et comment interpréter chaque indicateur. Ensuite, dans la section « Évaluation RAG en ...