AI e ML per programmatori in PyTorch

Capitolo 15. Trasformatori e trasformatori

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Con l'articolo "Attention Is All You Need" di Ashish Vaswani et al. del 2017, il campo dell'IA è cambiato per sempre. Sebbene l'abstract dell'articolo indichi qualcosa di leggero e semplice - un'evoluzione dell'architettura delle convoluzioni e delle ricorrenze (vedi Capitoli da 4 a 9 di questo libro) - l'impatto del lavoro è stato, se mi perdoni il gioco di parole, trasformativo. Ha rivoluzionato completamente l'IA, a partire dalla PNL. Nonostante gli autori dichiarino la semplicità dell'approccio, l'implementazione nel codice è ed era intrinsecamente complessa. Alla base c'era un nuovo approccio all'architettura ML: I trasformatori (che scriviamo in maiuscolo per indicare che ci stiamo riferendo a loro come a un concetto).

In questo capitolo esploreremo le idee alla base dei Transformers ad alto livello, mostrando le tre architetture principali: encoder, decoder e encoder-decoder. Tieni presente che esploreremo solo un livello molto alto, dando una panoramica del funzionamento di queste architetture. Approfondire queste architetture richiederebbe diversi libri, non un solo capitolo!

Esploreremo poi i trasformatori, che abbiamo messo in minuscolo per indicare che sono le API e le librerie di Hugging Face progettate per semplificare l'uso dei modelli basati sui trasformatori. Prima dei trasformatori, ...