RAG pratico per la produzione (Italian Edition)

Prefazione di Sharon Zhou

La prima volta che ho visto un sistema RAG fallire in produzione, è stato perché qualcuno aveva ingenuamente suddiviso i propri documenti in blocchi in base a limiti di caratteri fissi, tagliando a metà una clausola legale. La clausola A era in un blocco insieme a parte della clausola B, mentre il resto della clausola B era in un altro. Il problema era che il secondo blocco forniva un'eccezione utile e comune. Il sistema RAG ha recuperato il primo blocco ma non il secondo in base alla domanda dell'utente, quindi, sfortunatamente, il modello ha risposto alla domanda dell'utente con l'opposto di ciò che diceva il contratto. Pensaci: se ti venissero fornite informazioni incomplete o errate tramite una ricerca su Google, avresti anche tu difficoltà a dare la risposta giusta.

Nessuno di coloro che hanno sviluppato il sistema aveva pensato alla strategia di suddivisione in blocchi, almeno non in modo critico. Erano stati impegnati a discutere su quale LLM utilizzare. Ecco perché un libro come questo è così importante per chi sviluppa RAG con LLMs e agenti in produzione.

Il RAG sembra ingannevolmente semplice:

• Suddividi i tuoi documenti in blocchi: è facile, basta una divisione di stringa.
• Incorpora i segmenti: facile, basta una chiamata all'API del modello leggero in un ciclo for.
• Recupera i segmenti rilevanti: facile, basta usare la ricerca, che esiste da molto più tempo dell'IA moderna, quindi in un certo senso dovrebbe già avere delle best practice integrate. ...