RAG pratique pour la production (French Edition)

Avant-propos de Sharon Zhou

La première fois que j’ai vu un système RAG échouer en production, c’était parce que quelqu’un avait naïvement découpé ses documents en morceaux sur la base de limites de caractères fixes et avait coupé une clause juridique en deux. La clause A se trouvait dans un morceau avec une partie de la clause B, et le reste de la clause B dans un autre. Le problème, c’est que le deuxième morceau contenait une exception utile et courante. Le système RAG a récupéré le premier bloc mais pas le second en fonction de la question de l’utilisateur, donc malheureusement, le modèle a répondu à la question de l’utilisateur avec le contraire de ce que disait le contrat. Pense-y : si on te donnait des informations incomplètes ou erronées via une recherche Google, tu aurais aussi du mal à donner la bonne réponse.

Aucun des développeurs du système n’avait réfléchi à la stratégie de segmentation, du moins pas de manière critique. Ils étaient trop occupés à débattre du LLM à utiliser. C’est pourquoi un livre comme celui-ci est si important pour ceux qui développent des systèmes RAG avec des LLMs et des agents en production.

Le RAG semble d'une simplicité trompeuse :

• Segmente tes documents : c'est simple, il suffit de diviser une chaîne de caractères.
• Intègre tes segments : facile, c'est un simple appel d'API de modèle léger dans une boucle « for ».
• Récupère les morceaux pertinents — facile, c'est juste utiliser la recherche, qui existe depuis bien plus longtemps que l'IA ...