RAG pratique pour la production (French Edition)

Chapitre 8. RAGmultimodal

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Jusqu’à présent, on s’est surtout concentré sur le RAG textuel, où les réponses fondées sur les connaissances se limitaient à ce qui pouvait être écrit, en ignorant les connaissances représentées sous d’autres formats, comme les tableaux, les images, l’audio et la vidéo.

En réalité, les connaissances d'une entreprise sont disponibles sous de nombreuses formes : un tableau des pertes et profits (P&L) dans un rapport financier, les instructions visuelles d'un manuel d'utilisation ou les nuances verbales d'un appel au service client. Sans la possibilité de voir le graphique, d’écouter l’appel ou de lire le tableau, la précision du système RAG en pâtit : il fournira des réponses de haute qualité fondées sur des documents textuels, mais donnera des réponses de mauvaise qualité ou erronées lorsque les informations nécessaires à une réponse précise se trouvent dans un tableau ou une image.

Dans ce chapitre, , on explore le RAG multimodal et comment intégrer des données provenant d’autres modalités (non textuelles) dans le RAG. On va se plonger dans les stratégies clés pour intégrer ces autres modalités et examiner les défis de production qu’elles posent.

Pour s’y retrouver dans ce paysage, il est utile de clarifier ce que signifie « multimodal » dans un environnement de production. Si le rêve est un modèle multimodal unique et ...