Capitolo 2. Modellidi base
Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: translation-feedback@oreilly.com
I modelli di base, inclusi gli LLMs e i modelli multimodali, costituiscono la spina dorsale dei moderni sistemi RAG. Questi modelli vengono utilizzati sia per generare risposte per gli utenti sia per preparare i contenuti prima che vengano archiviati e recuperati.
Nella fase di generazione, i modelli di base analizzano il contesto recuperato e le domande degli utenti per produrre risposte fondate. Nella fase di preparazione, i modelli di base estraggono il testo dalle immagini, trascrivono l'audio, riassumono documenti lunghi e arricchiscono i contenuti con metadati che migliorano la qualità del recupero.
Questo capitolo si concentra sui modelli linguistici e sui modelli multimodali utilizzati sia nella fase di preparazione (chiamata anche fase di acquisizione), in cui i contenuti vengono elaborati, trasformati e preparati per l'archiviazione, sia nella fase di generazione, in cui i modelli analizzano le informazioni recuperate e generano risposte per gli utenti.
La Figura 2-1 mostra un tipico flusso di lavoro multimodale per l'elaborazione di contenuti video:
-
Usa un modello di visione per analizzare i fotogrammi video.
-
Usa la sintesi vocale per trascrivere l'audio.
-
Incorpora il testo risultante utilizzando un modello di embedding.
-
Recupera il contesto pertinente quando gli utenti fanno domande.
-
Genera ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access