Deep Learning per programmatori con fastai e PyTorch

Capitolo 12. Un modello di linguaggio da zero

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Ora siamo pronti per andare in profondità... nel deep learning! Hai già imparato ad addestrare una rete neurale di base, ma come si fa a creare modelli all'avanguardia? In questa parte del libro sveleremo tutti i misteri, a partire dai modelli linguistici.

Nel Capitolo 10 hai visto come mettere a punto un modello linguistico pretrainato per costruire un classificatore di testo. In questo capitolo ti spiegheremo esattamente cosa c'è all'interno di quel modello e cos'è una RNN. Per prima cosa, raccogliamo alcuni dati che ci permetteranno di prototipare rapidamente i nostri vari modelli.

I dati

Ogni volta che iniziamo a lavorare su un nuovo problema, cerchiamo sempre di pensare al set di dati più semplice possibile che ci permetta di provare i metodi in modo rapido e semplice e di interpretare i risultati. Quando qualche anno fa abbiamo iniziato a lavorare su sulla modellazione del linguaggio, non abbiamo trovato alcun set di dati che ci permettesse una rapida prototipazione, così ne abbiamo creato uno. Lo abbiamo chiamato Human Numbers e contiene semplicemente i primi 10.000 numeri scritti in inglese.

Jeremy dice

Uno degli errori pratici più comuni che vedo anche tra i professionisti più esperti è quello di non utilizzare i set di dati appropriati nei momenti opportuni del processo di analisi. ...