L'attenzione è tutto ciò che serve: L'architettura originale dei trasformatoriCodifiche posizionaliAttenzione a più testeCostruire il resto del trasformatoreCostruire un trasformatore inglese-spagnoloTrasformatori solo encoder per la comprensione del linguaggio naturaleL'architettura del BERTPre-formazione del BERTMessa a punto del BERTAltri modelli solo encoderTrasformatori solo decodificatoriArchitettura GPT-1 e pre-addestramento generativoGPT-2 e apprendimento a zero colpiGPT-3, Apprendimento In-Context, Apprendimento One-Shot e Apprendimento a Pochi ScattiUsare il GPT-2 per generare testoUsare il GPT-2 per rispondere alle domandeScaricare ed eseguire un modello ancora più grande: Mistral-7BTrasformare un modello linguistico di grandi dimensioni in un chatbotMessa a punto di un modello per chattare e seguire le istruzioni usando SFT e RLHFOttimizzazione diretta delle preferenze (DPO)Messa a punto di un modello utilizzando la libreria TRLDa un modello di chatbot a un sistema completo di chatbotProtocollo di contesto del modelloLibrerie e strumentiModelli di codificatore-decodificatoreEsercizi