IA generativa pratica con trasformatori e modelli di diffusione

Capitolo 6. Messa a punto dei modelli linguistici

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Nel Capitolo 2, abbiamo esplorato il funzionamento dei LM e il loro utilizzo per compiti come la generazione di testi e la classificazione di sequenze. Abbiamo visto che le LM possono essere utili in molti compiti senza ulteriore addestramento, grazie a un prompt appropriato e alle capacità zero-shot di questi modelli. Abbiamo anche esplorato alcune delle centinaia di migliaia di modelli pre-addestrati dalla comunità. In questo capitolo parleremo di come migliorare le prestazioni dei modelli LM su compiti specifici grazie alla loro messa a punto sui nostri dati.

Sebbene i modelli pre-addestrati mostrino capacità notevoli, la loro formazione generica potrebbe non essere adatta a determinati compiti o domini. La messa a punto è spesso utilizzata per adattare la comprensione del modello alle sfumature del set di dati o del compito. Ad esempio, nel campo della ricerca medica, una LM addestrata su testi web generici non avrà prestazioni ottimali, per cui possiamo metterla a punto su un set di dati di letteratura medica per migliorare la sua capacità di generare testi medici pertinenti o di assistere nell'estrazione di informazioni da documenti sanitari. Un altro esempio è la creazione di modelli conversazionali. Sebbene i modelli preaddestrati di grandi dimensioni siano in grado di generare testi ...