IA generativa pratica con trasformatori e modelli di diffusione

Capitolo 2. I trasformatori

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Molti fanno risalire la più recente ondata di progressi nell'IA generativa all'introduzione di una classe di modelli chiamati trasformatori nel 2017. Le loro applicazioni più note sono i potenti modelli linguistici di grandi dimensioni (LLMs) di, come Llama e GPT-4, utilizzati da centinaia di milioni di persone ogni giorno. I trasformatori sono diventati la spina dorsale delle moderne applicazioni di intelligenza artificiale, alimentando qualsiasi cosa, dai chatbot ai sistemi di ricerca, dalla traduzione automatica alla sintesi dei contenuti. Si sono anche estesi al di là del testo, facendo faville in campi come la Computer Vision, la generazione di musica e la piegatura delle proteine. In questo capitolo esploreremo le idee alla base dei trasformatori e il loro funzionamento, con un focus su una delle applicazioni più comuni: la modellazione del linguaggio.

Prima di immergerci nei dettagli dei trasformatori, facciamo un passo indietro e capiamo cos'è la modellazione linguistica. In sostanza, un modello linguistico (LM) è un modello probabilistico che impara a prevedere la parola (o il token) successiva in una sequenza in base alle parole precedenti o circostanti. In questo modo cattura la struttura e i modelli sottostanti del linguaggio, consentendo al modello di generare testi realistici e coerenti. Ad esempio, ...