book

Modelli linguistici di grandi dimensioni pratici

by Jay Alammar, Maarten Grootendorst

March 2025

Intermediate to advanced

428 pages

11h 23m

Italian

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Una filosofia basata sull'intuizionePrerequisitiStruttura del libroParte I: Comprendere i modelli linguisticiParte II: Utilizzo di modelli linguistici precostituitiParte III: Formazione e messa a punto dei modelli linguisticiRequisiti hardware e softwareChiavi APIConvenzioni utilizzate in questo libroUtilizzo di esempi di codiceFormazione online O'ReillyCome contattarciRingraziamenti
Cos'è l'intelligenza artificiale del linguaggio?Storia recente dell'intelligenza artificiale del linguaggioRappresentare il linguaggio come un bagaglio di paroleMigliori rappresentazioni con le incorporazioni vettoriali denseTipi di incorporazioniCodifica e decodifica del contesto con l'attenzioneL'attenzione è tutto ciò che serveModelli di rappresentazione: Modelli solo encoderModelli generativi: Modelli solo decodificatoriL'anno dell'intelligenza artificiale generativaLa definizione mobile di "modello linguistico di grandi dimensioni".Il paradigma di formazione dei modelli linguistici di grandi dimensioniApplicazioni di modelli linguistici di grandi dimensioni: Cosa le rende così utili?Sviluppo e utilizzo responsabile di LLMLe risorse limitate sono tutto ciò di cui hai bisognoInterfacciamento con modelli linguistici di grandi dimensioniModelli proprietari e privatiModelli apertiFramework Open SourceGenerare il tuo primo testoRiassunto
Tokenizzazione LLMCome i tokenizer preparano gli input al modello linguisticoScaricare ed eseguire un LLMCome fa il Tokenizer a scomporre il testo?Gettoni di parola o di sottoparola o di carattere o di byteConfronto tra tokenizzatori LLM addestratiProprietà del TokenizerIncorporamenti di tokenUn modello linguistico contiene embeddings per il vocabolario del suo TokenizerCreare incorporazioni di parole contestualizzate con i modelli linguisticiIncorporamenti di testo (per frasi e interi documenti)Incorporazione di parole oltre gli LLMsUtilizzo di Word Embeddings preaddestratiL'algoritmo Word2vec e la formazione contrastivaEmbeddings per i sistemi di raccomandazioneRaccomandare canzoni tramite embeddingsAddestramento del modello di incorporazione di una canzoneRiassunto
Una panoramica sui modelli di trasformatoriGli ingressi e le uscite di un LLM addestrato per i trasformatoriI componenti del passaggio in avantiScegliere un singolo token dalla distribuzione di probabilità (campionamento/decodifica)Elaborazione parallela dei token e dimensione del contestoVelocizzare la generazione con la cache di chiavi e valoriAll'interno del blocco del trasformatoreRecenti miglioramenti all'architettura dei trasformatoriAttenzione più efficienteIl blocco trasformatoreIncorporazioni posizionali (RoPE)Altri esperimenti e miglioramenti architettoniciRiassunto
Il sentimento delle recensioni dei filmClassificazione del testo con modelli di rappresentazioneSelezione del modelloUtilizzo di un modello specifico per il compitoCompiti di classificazione che sfruttano le incorporazioniClassificazione supervisionataE se non disponessimo di dati etichettati?Classificazione del testo con modelli generativiUtilizzare il trasformatore di trasferimento da testo a testoChatGPT per la classificazioneSommario
Articoli di ArXiv: Calcolo e linguaggioUna pipeline comune per la clusterizzazione del testoIncorporare documentiRidurre la dimensionalità delle incorporazioniRaggruppa le incorporazioni ridotteIspezione dei clusterDalla clusterizzazione del testo alla modellazione dei temiBERTopic: Una struttura modulare per la modellazione degli argomentiAggiungere un blocco Lego specialeIl blocco Lego della generazione del testoSommario
Utilizzo dei modelli di generazione del testoScegliere un modello di generazione del testoCaricare un modello di generazione del testoControllo dell'output del modelloIntroduzione all'ingegneria del promptGli ingredienti di base di un promptprompt basato sulle istruzioniIngegneria avanzata del promptLa potenziale complessità di un promptApprendimento nel contesto: Fornire esempiPrompt a catena: Scomposizione del problemaRagionare con i modelli generativiCatena del pensiero: Pensa prima di rispondereAutoconsistenza: Campionamento delle usciteAlbero del pensiero: Esplorare i passi intermediVerifica dell'uscitaFornire esempiGrammatica: Campionamento vincolatoRiassunto
I/O del modello: Caricare i modelli quantizzati con LangChainCatene: Estendere le capacità di LLMsUn singolo anello della catena: Modello di promptUna catena con più promptMemoria: Aiutare gli LLMs a ricordare le conversazioniBuffer di conversazioneBuffer di conversazione a finestraRiassunto della conversazioneAgenti: Creare un sistema di LLMsLa forza motrice degli agenti: Ragionamento passo dopo passoReact in LangChainRiassunto

Panoramica della ricerca semantica e del RAGRicerca semantica con modelli linguisticiRecupero densoRerankingMetriche di valutazione del recuperoGenerazione Aumentata dal Recupero (RAG)Dalla ricerca al RAGEsempio: Generazione fondata con un'API LLMEsempio: RAG con modelli localiTecniche avanzate di RAGValutazione RAGSommario
Trasformatori per la visioneModelli di incorporazione multimodaleCLIP: Collegamento tra testo e immaginiCome può CLIP generare incorporazioni multimodali?OpenCLIPRendere i modelli di generazione del testo multimodaliBLIP-2: Colmare il divario di modalitàPreelaborazione degli input multimodaliCaso d'uso 1: Didascalie di immaginiCaso d'uso 2: prompt multimodale basato sulla chatRiassunto
Modelli di incorporazioneCos'è l'apprendimento contrastivo?SBERTCreare un modello di incorporamentoGenerare esempi contrastiviModello di trenoValutazione approfonditaFunzioni di perditaMessa a punto di un modello di incorporazioneSupervisionatoSBERT aumentatoApprendimento non supervisionatoAutoencoder sequenziale di denoising basato su trasformatoriUtilizzo di TSDAE per l'adattamento al dominioSommario
Classificazione supervisionataMessa a punto di un modello BERT preaddestratoCongelamento degli stratiClassificazione a pochi colpiSetFit: Efficiente messa a punto con pochi esempi di addestramentoMessa a punto per la classificazione dei pochi scattiPre-addestramento continuo con la modellazione linguistica in mascheraRiconoscimento di un'entità nominataPreparazione dei dati per il riconoscimento di nomi ed entitàMessa a punto per il riconoscimento di nomi ed entitàRiassunto
Le tre fasi della formazione LLM: Pre-addestramento, messa a punto supervisionata e messa a punto delle preferenzeMessa a punto supervisionata (SFT)Messa a punto completaMessa a punto efficiente dei parametri (PEFT)Messa a punto delle istruzioni con QLoRATemplatura dei dati delle istruzioniQuantizzazione del modelloConfigurazione LoRAConfigurazione della formazioneFormazioneUnire i pesiValutazione dei modelli generativiMetriche a livello di parolaParametri di riferimentoClassificheValutazione automatizzataValutazione umanaSintonizzazione delle preferenze / Allineamento / RLHFAutomatizzare la valutazione delle preferenze con i modelli di ricompensaGli input e gli output di un modello di ricompensaFormazione di un modello di ricompensaModello di formazione senza ricompensaSintonizzazione delle preferenze con DPOTemplatura dei dati di allineamentoQuantizzazione del modelloConfigurazione della formazioneFormazioneRiassunto

Content preview from Modelli linguistici di grandi dimensioni pratici

Capitolo 1. Introduzione ai modelli linguistici di grandi dimensioni

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: translation-feedback@oreilly.com

L'umanità è a un punto di svolta. A partire da 2012, gli sviluppi nella costruzione di sistemi di intelligenza artificiale (utilizzando reti neurali profonde) hanno subito un'accelerazione tale che, alla fine del decennio, hanno prodotto il primo sistema software in grado di scrivere articoli indistinguibili da quelli scritti dagli esseri umani. Questo sistema era un modello di intelligenza artificiale chiamato Generative Pre-trained Transformer 2 o GPT-2. Il 2022 segnò il rilascio di ChatGPT, che dimostrò quanto questa tecnologia fosse pronta a rivoluzionare il modo in cui interagiamo con la tecnologia e le informazioni. Raggiungendo un milione di utenti attivi in cinque giorni e poi cento milioni di utenti attivi in due mesi, la nuova generazione di modelli di intelligenza artificiale è nata come chatbot simili a quelli umani, ma si è rapidamente evoluta in un cambiamento monumentale nel nostro approccio alle attività più comuni, come la traduzione, la generazione di testi, la sintesi e altro ancora. È diventato uno strumento prezioso per programmatori, educatori e ricercatori.

Il successo di ChatGPT è stato senza precedenti e ha reso popolare la ricerca sulla tecnologia che ne è alla base, ovvero i modelli linguistici di grandi dimensioni (LLMs). Sia i modelli proprietari ...