Modelli linguistici di grandi dimensioni pratici

Capitolo 11. Messa a punto dei modelli di rappresentazione per la classificazione

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Nel Capitolo 4, abbiamo utilizzato modelli pre-addestrati per classificare il nostro testo. Abbiamo mantenuto i modelli preaddestrati così come erano, senza modificarli. Questo potrebbe farti chiedere: cosa succederebbe se li mettessimo a punto?

Se disponiamo di dati sufficienti, la messa a punto tende a portare ad alcuni dei modelli con le migliori prestazioni possibili. In questo capitolo analizzeremo diversi metodi e applicazioni per la messa a punto dei modelli BERT. La sezione "Classificazione supervisionata" illustra il processo generale di messa a punto di un modello di classificazione. Poi, in "Classificazione a pochi colpi", vedremo SetFit, un metodo per mettere a punto in modo efficiente un modello ad alte prestazioni utilizzando un numero ridotto di esempi di addestramento. In "Continued Pretraining with Masked Language Modeling", esploreremo come continuare ad addestrare un modello pre-addestrato. Infine, la classificazione a livello di token viene esplorata in "Riconoscimento delle entità denominate".

Ci concentreremo sui compiti non generativi, in quanto i modelli generativi verranno trattati nel Capitolo 12.

Classificazione supervisionata

Nel Capitolo 4, abbiamo esplorato compiti di classificazione supervisionati sfruttando modelli di rappresentazione ...