book

Modelli linguistici di grandi dimensioni pratici

by Jay Alammar, Maarten Grootendorst

March 2025

Intermediate to advanced

428 pages

11h 23m

Italian

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Una filosofia basata sull'intuizionePrerequisitiStruttura del libroParte I: Comprendere i modelli linguisticiParte II: Utilizzo di modelli linguistici precostituitiParte III: Formazione e messa a punto dei modelli linguisticiRequisiti hardware e softwareChiavi APIConvenzioni utilizzate in questo libroUtilizzo di esempi di codiceFormazione online O'ReillyCome contattarciRingraziamenti
Cos'è l'intelligenza artificiale del linguaggio?Storia recente dell'intelligenza artificiale del linguaggioRappresentare il linguaggio come un bagaglio di paroleMigliori rappresentazioni con le incorporazioni vettoriali denseTipi di incorporazioniCodifica e decodifica del contesto con l'attenzioneL'attenzione è tutto ciò che serveModelli di rappresentazione: Modelli solo encoderModelli generativi: Modelli solo decodificatoriL'anno dell'intelligenza artificiale generativaLa definizione mobile di "modello linguistico di grandi dimensioni".Il paradigma di formazione dei modelli linguistici di grandi dimensioniApplicazioni di modelli linguistici di grandi dimensioni: Cosa le rende così utili?Sviluppo e utilizzo responsabile di LLMLe risorse limitate sono tutto ciò di cui hai bisognoInterfacciamento con modelli linguistici di grandi dimensioniModelli proprietari e privatiModelli apertiFramework Open SourceGenerare il tuo primo testoRiassunto
Tokenizzazione LLMCome i tokenizer preparano gli input al modello linguisticoScaricare ed eseguire un LLMCome fa il Tokenizer a scomporre il testo?Gettoni di parola o di sottoparola o di carattere o di byteConfronto tra tokenizzatori LLM addestratiProprietà del TokenizerIncorporamenti di tokenUn modello linguistico contiene embeddings per il vocabolario del suo TokenizerCreare incorporazioni di parole contestualizzate con i modelli linguisticiIncorporamenti di testo (per frasi e interi documenti)Incorporazione di parole oltre gli LLMsUtilizzo di Word Embeddings preaddestratiL'algoritmo Word2vec e la formazione contrastivaEmbeddings per i sistemi di raccomandazioneRaccomandare canzoni tramite embeddingsAddestramento del modello di incorporazione di una canzoneRiassunto
Una panoramica sui modelli di trasformatoriGli ingressi e le uscite di un LLM addestrato per i trasformatoriI componenti del passaggio in avantiScegliere un singolo token dalla distribuzione di probabilità (campionamento/decodifica)Elaborazione parallela dei token e dimensione del contestoVelocizzare la generazione con la cache di chiavi e valoriAll'interno del blocco del trasformatoreRecenti miglioramenti all'architettura dei trasformatoriAttenzione più efficienteIl blocco trasformatoreIncorporazioni posizionali (RoPE)Altri esperimenti e miglioramenti architettoniciRiassunto
Il sentimento delle recensioni dei filmClassificazione del testo con modelli di rappresentazioneSelezione del modelloUtilizzo di un modello specifico per il compitoCompiti di classificazione che sfruttano le incorporazioniClassificazione supervisionataE se non disponessimo di dati etichettati?Classificazione del testo con modelli generativiUtilizzare il trasformatore di trasferimento da testo a testoChatGPT per la classificazioneSommario
Articoli di ArXiv: Calcolo e linguaggioUna pipeline comune per la clusterizzazione del testoIncorporare documentiRidurre la dimensionalità delle incorporazioniRaggruppa le incorporazioni ridotteIspezione dei clusterDalla clusterizzazione del testo alla modellazione dei temiBERTopic: Una struttura modulare per la modellazione degli argomentiAggiungere un blocco Lego specialeIl blocco Lego della generazione del testoSommario
Utilizzo dei modelli di generazione del testoScegliere un modello di generazione del testoCaricare un modello di generazione del testoControllo dell'output del modelloIntroduzione all'ingegneria del promptGli ingredienti di base di un promptprompt basato sulle istruzioniIngegneria avanzata del promptLa potenziale complessità di un promptApprendimento nel contesto: Fornire esempiPrompt a catena: Scomposizione del problemaRagionare con i modelli generativiCatena del pensiero: Pensa prima di rispondereAutoconsistenza: Campionamento delle usciteAlbero del pensiero: Esplorare i passi intermediVerifica dell'uscitaFornire esempiGrammatica: Campionamento vincolatoRiassunto
I/O del modello: Caricare i modelli quantizzati con LangChainCatene: Estendere le capacità di LLMsUn singolo anello della catena: Modello di promptUna catena con più promptMemoria: Aiutare gli LLMs a ricordare le conversazioniBuffer di conversazioneBuffer di conversazione a finestraRiassunto della conversazioneAgenti: Creare un sistema di LLMsLa forza motrice degli agenti: Ragionamento passo dopo passoReact in LangChainRiassunto

Panoramica della ricerca semantica e del RAGRicerca semantica con modelli linguisticiRecupero densoRerankingMetriche di valutazione del recuperoGenerazione Aumentata dal Recupero (RAG)Dalla ricerca al RAGEsempio: Generazione fondata con un'API LLMEsempio: RAG con modelli localiTecniche avanzate di RAGValutazione RAGSommario
Trasformatori per la visioneModelli di incorporazione multimodaleCLIP: Collegamento tra testo e immaginiCome può CLIP generare incorporazioni multimodali?OpenCLIPRendere i modelli di generazione del testo multimodaliBLIP-2: Colmare il divario di modalitàPreelaborazione degli input multimodaliCaso d'uso 1: Didascalie di immaginiCaso d'uso 2: prompt multimodale basato sulla chatRiassunto
Modelli di incorporazioneCos'è l'apprendimento contrastivo?SBERTCreare un modello di incorporamentoGenerare esempi contrastiviModello di trenoValutazione approfonditaFunzioni di perditaMessa a punto di un modello di incorporazioneSupervisionatoSBERT aumentatoApprendimento non supervisionatoAutoencoder sequenziale di denoising basato su trasformatoriUtilizzo di TSDAE per l'adattamento al dominioSommario
Classificazione supervisionataMessa a punto di un modello BERT preaddestratoCongelamento degli stratiClassificazione a pochi colpiSetFit: Efficiente messa a punto con pochi esempi di addestramentoMessa a punto per la classificazione dei pochi scattiPre-addestramento continuo con la modellazione linguistica in mascheraRiconoscimento di un'entità nominataPreparazione dei dati per il riconoscimento di nomi ed entitàMessa a punto per il riconoscimento di nomi ed entitàRiassunto
Le tre fasi della formazione LLM: Pre-addestramento, messa a punto supervisionata e messa a punto delle preferenzeMessa a punto supervisionata (SFT)Messa a punto completaMessa a punto efficiente dei parametri (PEFT)Messa a punto delle istruzioni con QLoRATemplatura dei dati delle istruzioniQuantizzazione del modelloConfigurazione LoRAConfigurazione della formazioneFormazioneUnire i pesiValutazione dei modelli generativiMetriche a livello di parolaParametri di riferimentoClassificheValutazione automatizzataValutazione umanaSintonizzazione delle preferenze / Allineamento / RLHFAutomatizzare la valutazione delle preferenze con i modelli di ricompensaGli input e gli output di un modello di ricompensaFormazione di un modello di ricompensaModello di formazione senza ricompensaSintonizzazione delle preferenze con DPOTemplatura dei dati di allineamentoQuantizzazione del modelloConfigurazione della formazioneFormazioneRiassunto

Content preview from Modelli linguistici di grandi dimensioni pratici

Capitolo 8. Ricerca e recupero semantico - Generazione aumentata

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: translation-feedback@oreilly.com

Search è stata una delle prime applicazioni del modello linguistico di a vedere un'ampia adozione da parte del settore. Mesi dopo la pubblicazione del documento seminale "BERT: Pre-training of deep bidirectional transformers for language understanding" (2018), Google ha annunciato che lo utilizzava per alimentare Google Search e che rappresentava "uno dei più grandi passi avanti nella storia della ricerca". Per non essere da meno, anche Microsoft Bing ha dichiarato che "A partire da aprile di quest'anno, abbiamo utilizzato modelli di trasformatori di grandi dimensioni per fornire i più grandi miglioramenti di qualità ai nostri clienti Bing nell'ultimo anno".

Questa è una chiara testimonianza della potenza e dell'utilità di questi modelli. La loro aggiunta migliora istantaneamente e drasticamente alcuni dei sistemi più maturi e curati su cui fanno affidamento miliardi di persone in tutto il pianeta. La capacità che aggiungono è chiamataricerca semantica , che consente di effettuare ricerche in base al significato e non semplicemente in base alle parole chiave.

A parte questo, la rapida adozione dei modelli di generazione del testo ha portato molti utenti a porre domande ai modelli e ad aspettarsi risposte concrete. Sebbene i modelli fossero in grado di rispondere in modo fluido ...