book

Modelli linguistici di grandi dimensioni pratici

by Jay Alammar, Maarten Grootendorst

March 2025

Intermediate to advanced

428 pages

11h 23m

Italian

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Una filosofia basata sull'intuizionePrerequisitiStruttura del libroParte I: Comprendere i modelli linguisticiParte II: Utilizzo di modelli linguistici precostituitiParte III: Formazione e messa a punto dei modelli linguisticiRequisiti hardware e softwareChiavi APIConvenzioni utilizzate in questo libroUtilizzo di esempi di codiceFormazione online O'ReillyCome contattarciRingraziamenti
Cos'è l'intelligenza artificiale del linguaggio?Storia recente dell'intelligenza artificiale del linguaggioRappresentare il linguaggio come un bagaglio di paroleMigliori rappresentazioni con le incorporazioni vettoriali denseTipi di incorporazioniCodifica e decodifica del contesto con l'attenzioneL'attenzione è tutto ciò che serveModelli di rappresentazione: Modelli solo encoderModelli generativi: Modelli solo decodificatoriL'anno dell'intelligenza artificiale generativaLa definizione mobile di "modello linguistico di grandi dimensioni".Il paradigma di formazione dei modelli linguistici di grandi dimensioniApplicazioni di modelli linguistici di grandi dimensioni: Cosa le rende così utili?Sviluppo e utilizzo responsabile di LLMLe risorse limitate sono tutto ciò di cui hai bisognoInterfacciamento con modelli linguistici di grandi dimensioniModelli proprietari e privatiModelli apertiFramework Open SourceGenerare il tuo primo testoRiassunto
Tokenizzazione LLMCome i tokenizer preparano gli input al modello linguisticoScaricare ed eseguire un LLMCome fa il Tokenizer a scomporre il testo?Gettoni di parola o di sottoparola o di carattere o di byteConfronto tra tokenizzatori LLM addestratiProprietà del TokenizerIncorporamenti di tokenUn modello linguistico contiene embeddings per il vocabolario del suo TokenizerCreare incorporazioni di parole contestualizzate con i modelli linguisticiIncorporamenti di testo (per frasi e interi documenti)Incorporazione di parole oltre gli LLMsUtilizzo di Word Embeddings preaddestratiL'algoritmo Word2vec e la formazione contrastivaEmbeddings per i sistemi di raccomandazioneRaccomandare canzoni tramite embeddingsAddestramento del modello di incorporazione di una canzoneRiassunto
Una panoramica sui modelli di trasformatoriGli ingressi e le uscite di un LLM addestrato per i trasformatoriI componenti del passaggio in avantiScegliere un singolo token dalla distribuzione di probabilità (campionamento/decodifica)Elaborazione parallela dei token e dimensione del contestoVelocizzare la generazione con la cache di chiavi e valoriAll'interno del blocco del trasformatoreRecenti miglioramenti all'architettura dei trasformatoriAttenzione più efficienteIl blocco trasformatoreIncorporazioni posizionali (RoPE)Altri esperimenti e miglioramenti architettoniciRiassunto
Il sentimento delle recensioni dei filmClassificazione del testo con modelli di rappresentazioneSelezione del modelloUtilizzo di un modello specifico per il compitoCompiti di classificazione che sfruttano le incorporazioniClassificazione supervisionataE se non disponessimo di dati etichettati?Classificazione del testo con modelli generativiUtilizzare il trasformatore di trasferimento da testo a testoChatGPT per la classificazioneSommario
Articoli di ArXiv: Calcolo e linguaggioUna pipeline comune per la clusterizzazione del testoIncorporare documentiRidurre la dimensionalità delle incorporazioniRaggruppa le incorporazioni ridotteIspezione dei clusterDalla clusterizzazione del testo alla modellazione dei temiBERTopic: Una struttura modulare per la modellazione degli argomentiAggiungere un blocco Lego specialeIl blocco Lego della generazione del testoSommario
Utilizzo dei modelli di generazione del testoScegliere un modello di generazione del testoCaricare un modello di generazione del testoControllo dell'output del modelloIntroduzione all'ingegneria del promptGli ingredienti di base di un promptprompt basato sulle istruzioniIngegneria avanzata del promptLa potenziale complessità di un promptApprendimento nel contesto: Fornire esempiPrompt a catena: Scomposizione del problemaRagionare con i modelli generativiCatena del pensiero: Pensa prima di rispondereAutoconsistenza: Campionamento delle usciteAlbero del pensiero: Esplorare i passi intermediVerifica dell'uscitaFornire esempiGrammatica: Campionamento vincolatoRiassunto
I/O del modello: Caricare i modelli quantizzati con LangChainCatene: Estendere le capacità di LLMsUn singolo anello della catena: Modello di promptUna catena con più promptMemoria: Aiutare gli LLMs a ricordare le conversazioniBuffer di conversazioneBuffer di conversazione a finestraRiassunto della conversazioneAgenti: Creare un sistema di LLMsLa forza motrice degli agenti: Ragionamento passo dopo passoReact in LangChainRiassunto

Panoramica della ricerca semantica e del RAGRicerca semantica con modelli linguisticiRecupero densoRerankingMetriche di valutazione del recuperoGenerazione Aumentata dal Recupero (RAG)Dalla ricerca al RAGEsempio: Generazione fondata con un'API LLMEsempio: RAG con modelli localiTecniche avanzate di RAGValutazione RAGSommario
Trasformatori per la visioneModelli di incorporazione multimodaleCLIP: Collegamento tra testo e immaginiCome può CLIP generare incorporazioni multimodali?OpenCLIPRendere i modelli di generazione del testo multimodaliBLIP-2: Colmare il divario di modalitàPreelaborazione degli input multimodaliCaso d'uso 1: Didascalie di immaginiCaso d'uso 2: prompt multimodale basato sulla chatRiassunto
Modelli di incorporazioneCos'è l'apprendimento contrastivo?SBERTCreare un modello di incorporamentoGenerare esempi contrastiviModello di trenoValutazione approfonditaFunzioni di perditaMessa a punto di un modello di incorporazioneSupervisionatoSBERT aumentatoApprendimento non supervisionatoAutoencoder sequenziale di denoising basato su trasformatoriUtilizzo di TSDAE per l'adattamento al dominioSommario
Classificazione supervisionataMessa a punto di un modello BERT preaddestratoCongelamento degli stratiClassificazione a pochi colpiSetFit: Efficiente messa a punto con pochi esempi di addestramentoMessa a punto per la classificazione dei pochi scattiPre-addestramento continuo con la modellazione linguistica in mascheraRiconoscimento di un'entità nominataPreparazione dei dati per il riconoscimento di nomi ed entitàMessa a punto per il riconoscimento di nomi ed entitàRiassunto
Le tre fasi della formazione LLM: Pre-addestramento, messa a punto supervisionata e messa a punto delle preferenzeMessa a punto supervisionata (SFT)Messa a punto completaMessa a punto efficiente dei parametri (PEFT)Messa a punto delle istruzioni con QLoRATemplatura dei dati delle istruzioniQuantizzazione del modelloConfigurazione LoRAConfigurazione della formazioneFormazioneUnire i pesiValutazione dei modelli generativiMetriche a livello di parolaParametri di riferimentoClassificheValutazione automatizzataValutazione umanaSintonizzazione delle preferenze / Allineamento / RLHFAutomatizzare la valutazione delle preferenze con i modelli di ricompensaGli input e gli output di un modello di ricompensaFormazione di un modello di ricompensaModello di formazione senza ricompensaSintonizzazione delle preferenze con DPOTemplatura dei dati di allineamentoQuantizzazione del modelloConfigurazione della formazioneFormazioneRiassunto

Content preview from Modelli linguistici di grandi dimensioni pratici

Capitolo 6. Ingegneria prompt

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: translation-feedback@oreilly.com

In i primi capitoli di questo libro, abbiamo mosso i primi passi nel mondo dei grandi modelli linguistici (LLMs). Abbiamo approfondito diverse applicazioni, come la classificazione supervisionata e non supervisionata, utilizzando modelli che si concentrano sulla rappresentazione del testo, come BERT e i suoi derivati.

Man mano che procedevamo, abbiamo utilizzato modelli addestrati principalmente per la generazione di testo, modelli che vengono spesso indicati come generative pre-trained transformers (GPT). Questi modelli hanno la notevole capacità di generare testo in risposta ai prompt dell'utente. Grazie all'ingegneria dei prompt, possiamo progettare questi prompt in modo da migliorare la qualità del testo generato.

In questo capitolo esploreremo questi modelli generativi in modo più dettagliato e ci immergeremo nel regno del prompt engineering, del ragionamento con i modelli generativi, della verifica e della valutazione dei loro risultati.

Utilizzo dei modelli di generazione del testo

Prima di iniziare con i fondamenti dell'ingegneria del prompt, è essenziale esplorare le basi dell'utilizzo di un modello di generazione del testo. Come si sceglie il modello da utilizzare? Utilizziamo un modello proprietario o open source? Come possiamo controllare l'output generato? Queste domande ci serviranno come trampolino ...