Modelli di progettazione dell'IA generativa

Capitolo 3. Aggiungere conoscenze: Bass

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

I modelli fondazionali sono sistemi chiusi che sono limitati dai dati di addestramento. In molti casi, dovrai fornire a un modello fondazionale informazioni aggiuntive. Ad esempio, le informazioni potrebbero essere basate su eventi recenti che non si sono verificati al momento dell'addestramento del modello fondazionale, oppure le informazioni potrebbero essere private, riservate o comunque non disponibili ai formatori del modello fondazionale.

Non è pratico riqualificare un LLM di con conoscenze aggiuntive o addirittura eseguire una preformazione continua (CPT) su un modello fondazionale per aggiungervi conoscenze. Il costo di un singolo addestramento è significativo e le informazioni cambiano così velocemente che il CPT dovrebbe essere eseguito molto frequentemente. Questi costi possono arrivare a decine di milioni di dollari,¹ quindi in genere si preferisce utilizzare un modello di base così com'è e aggiungervi conoscenze in fase di runtime.

Il modello chiave utilizzato per fornire informazioni aggiuntive a un modello fondamentale in fase di runtime è stato introdotto da nel documento di riferimento "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" del 2020 dai ricercatori di Facebook AI Research (che ora fa parte di Meta). La Retrieval-Augmented Generation (RAG ) trasforma i modelli ...