book

Modelli linguistici di grandi dimensioni pratici

by Jay Alammar, Maarten Grootendorst

March 2025

Intermediate to advanced

428 pages

11h 23m

Italian

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Una filosofia basata sull'intuizionePrerequisitiStruttura del libroParte I: Comprendere i modelli linguisticiParte II: Utilizzo di modelli linguistici precostituitiParte III: Formazione e messa a punto dei modelli linguisticiRequisiti hardware e softwareChiavi APIConvenzioni utilizzate in questo libroUtilizzo di esempi di codiceFormazione online O'ReillyCome contattarciRingraziamenti
Cos'è l'intelligenza artificiale del linguaggio?Storia recente dell'intelligenza artificiale del linguaggioRappresentare il linguaggio come un bagaglio di paroleMigliori rappresentazioni con le incorporazioni vettoriali denseTipi di incorporazioniCodifica e decodifica del contesto con l'attenzioneL'attenzione è tutto ciò che serveModelli di rappresentazione: Modelli solo encoderModelli generativi: Modelli solo decodificatoriL'anno dell'intelligenza artificiale generativaLa definizione mobile di "modello linguistico di grandi dimensioni".Il paradigma di formazione dei modelli linguistici di grandi dimensioniApplicazioni di modelli linguistici di grandi dimensioni: Cosa le rende così utili?Sviluppo e utilizzo responsabile di LLMLe risorse limitate sono tutto ciò di cui hai bisognoInterfacciamento con modelli linguistici di grandi dimensioniModelli proprietari e privatiModelli apertiFramework Open SourceGenerare il tuo primo testoRiassunto
Tokenizzazione LLMCome i tokenizer preparano gli input al modello linguisticoScaricare ed eseguire un LLMCome fa il Tokenizer a scomporre il testo?Gettoni di parola o di sottoparola o di carattere o di byteConfronto tra tokenizzatori LLM addestratiProprietà del TokenizerIncorporamenti di tokenUn modello linguistico contiene embeddings per il vocabolario del suo TokenizerCreare incorporazioni di parole contestualizzate con i modelli linguisticiIncorporamenti di testo (per frasi e interi documenti)Incorporazione di parole oltre gli LLMsUtilizzo di Word Embeddings preaddestratiL'algoritmo Word2vec e la formazione contrastivaEmbeddings per i sistemi di raccomandazioneRaccomandare canzoni tramite embeddingsAddestramento del modello di incorporazione di una canzoneRiassunto
Una panoramica sui modelli di trasformatoriGli ingressi e le uscite di un LLM addestrato per i trasformatoriI componenti del passaggio in avantiScegliere un singolo token dalla distribuzione di probabilità (campionamento/decodifica)Elaborazione parallela dei token e dimensione del contestoVelocizzare la generazione con la cache di chiavi e valoriAll'interno del blocco del trasformatoreRecenti miglioramenti all'architettura dei trasformatoriAttenzione più efficienteIl blocco trasformatoreIncorporazioni posizionali (RoPE)Altri esperimenti e miglioramenti architettoniciRiassunto
Il sentimento delle recensioni dei filmClassificazione del testo con modelli di rappresentazioneSelezione del modelloUtilizzo di un modello specifico per il compitoCompiti di classificazione che sfruttano le incorporazioniClassificazione supervisionataE se non disponessimo di dati etichettati?Classificazione del testo con modelli generativiUtilizzare il trasformatore di trasferimento da testo a testoChatGPT per la classificazioneSommario
Articoli di ArXiv: Calcolo e linguaggioUna pipeline comune per la clusterizzazione del testoIncorporare documentiRidurre la dimensionalità delle incorporazioniRaggruppa le incorporazioni ridotteIspezione dei clusterDalla clusterizzazione del testo alla modellazione dei temiBERTopic: Una struttura modulare per la modellazione degli argomentiAggiungere un blocco Lego specialeIl blocco Lego della generazione del testoSommario
Utilizzo dei modelli di generazione del testoScegliere un modello di generazione del testoCaricare un modello di generazione del testoControllo dell'output del modelloIntroduzione all'ingegneria del promptGli ingredienti di base di un promptprompt basato sulle istruzioniIngegneria avanzata del promptLa potenziale complessità di un promptApprendimento nel contesto: Fornire esempiPrompt a catena: Scomposizione del problemaRagionare con i modelli generativiCatena del pensiero: Pensa prima di rispondereAutoconsistenza: Campionamento delle usciteAlbero del pensiero: Esplorare i passi intermediVerifica dell'uscitaFornire esempiGrammatica: Campionamento vincolatoRiassunto
I/O del modello: Caricare i modelli quantizzati con LangChainCatene: Estendere le capacità di LLMsUn singolo anello della catena: Modello di promptUna catena con più promptMemoria: Aiutare gli LLMs a ricordare le conversazioniBuffer di conversazioneBuffer di conversazione a finestraRiassunto della conversazioneAgenti: Creare un sistema di LLMsLa forza motrice degli agenti: Ragionamento passo dopo passoReact in LangChainRiassunto

Panoramica della ricerca semantica e del RAGRicerca semantica con modelli linguisticiRecupero densoRerankingMetriche di valutazione del recuperoGenerazione Aumentata dal Recupero (RAG)Dalla ricerca al RAGEsempio: Generazione fondata con un'API LLMEsempio: RAG con modelli localiTecniche avanzate di RAGValutazione RAGSommario
Trasformatori per la visioneModelli di incorporazione multimodaleCLIP: Collegamento tra testo e immaginiCome può CLIP generare incorporazioni multimodali?OpenCLIPRendere i modelli di generazione del testo multimodaliBLIP-2: Colmare il divario di modalitàPreelaborazione degli input multimodaliCaso d'uso 1: Didascalie di immaginiCaso d'uso 2: prompt multimodale basato sulla chatRiassunto
Modelli di incorporazioneCos'è l'apprendimento contrastivo?SBERTCreare un modello di incorporamentoGenerare esempi contrastiviModello di trenoValutazione approfonditaFunzioni di perditaMessa a punto di un modello di incorporazioneSupervisionatoSBERT aumentatoApprendimento non supervisionatoAutoencoder sequenziale di denoising basato su trasformatoriUtilizzo di TSDAE per l'adattamento al dominioSommario
Classificazione supervisionataMessa a punto di un modello BERT preaddestratoCongelamento degli stratiClassificazione a pochi colpiSetFit: Efficiente messa a punto con pochi esempi di addestramentoMessa a punto per la classificazione dei pochi scattiPre-addestramento continuo con la modellazione linguistica in mascheraRiconoscimento di un'entità nominataPreparazione dei dati per il riconoscimento di nomi ed entitàMessa a punto per il riconoscimento di nomi ed entitàRiassunto
Le tre fasi della formazione LLM: Pre-addestramento, messa a punto supervisionata e messa a punto delle preferenzeMessa a punto supervisionata (SFT)Messa a punto completaMessa a punto efficiente dei parametri (PEFT)Messa a punto delle istruzioni con QLoRATemplatura dei dati delle istruzioniQuantizzazione del modelloConfigurazione LoRAConfigurazione della formazioneFormazioneUnire i pesiValutazione dei modelli generativiMetriche a livello di parolaParametri di riferimentoClassificheValutazione automatizzataValutazione umanaSintonizzazione delle preferenze / Allineamento / RLHFAutomatizzare la valutazione delle preferenze con i modelli di ricompensaGli input e gli output di un modello di ricompensaFormazione di un modello di ricompensaModello di formazione senza ricompensaSintonizzazione delle preferenze con DPOTemplatura dei dati di allineamentoQuantizzazione del modelloConfigurazione della formazioneFormazioneRiassunto

Content preview from Modelli linguistici di grandi dimensioni pratici

Informazioni sugli autori

Jay Alammar è Direttore e Engineering Fellow di Cohere (fornitore pioniere di modelli linguistici di grandi dimensioni come API). In questo ruolo, fornisce consulenza e formazione alle aziende e alla comunità degli sviluppatori sull'utilizzo dei modelli linguistici per casi d'uso pratici. Attraverso il suo popolare blog sull'AI/ML, Jay ha aiutato milioni di ricercatori e ingegneri a comprendere visivamente gli strumenti e i concetti di apprendimento automatico, da quelli di base (che finiscono nella documentazione di pacchetti come NumPy e pandas) a quelli più all'avanguardia (Transformers, BERT, GPT-3, Stable Diffusion). Jay è anche co-creatore di popolari corsi di apprendimento automatico ed elaborazione del linguaggio naturale su Deeplearning.ai e Udacity.

Maarten Grootendorst è un Senior Clinical Data Scientist presso l'IKNL (Netherlands Comprehensive Cancer Organization). Ha conseguito master in psicologia organizzativa, psicologia clinica e scienza dei dati, che sfrutta per comunicare concetti complessi di apprendimento automatico a un vasto pubblico. Con i suoi popolari blog, ha raggiunto milioni di lettori spiegando i fondamenti dell'intelligenza artificiale, spesso da un punto di vista psicologico. È autore e manutentore di diversi pacchetti open source che si basano sulla forza di modelli linguistici di grandi dimensioni, come BERTopic, PolyFuzz e KeyBERT. I suoi pacchetti vengono scaricati milioni di volte e utilizzati da professionisti dei ...