Progettazione di applicazioni per modelli linguistici di grandi dimensioni

Capitolo 8. Formazione e ragionamento sull'allineamento

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Alcuni motivi comuni di esitazione nell'adozione delle LLMs sono la presenza di allucinazioni, i limiti delle capacità di ragionamento, i pregiudizi e i problemi di sicurezza. In questo capitolo esamineremo questi limiti e introdurremo diverse tecniche per mitigarli. In primo luogo, introdurremo il concetto di formazione all'allineamento, che ci aiuta a indirizzare i nostri modelli verso risultati desiderabili.

Definire la formazione sull'allineamento

Si parla sempre del problema dell'allineamento dei modelli linguistici. Cosa significa in pratica? Idealmente vorremmo un modello linguistico che possiamo comprendere, controllare e guidare completamente. Tuttavia, i modelli linguistici attuali sono ben lontani da questo ideale.

L'obiettivo dell'allineamento è quindi quello di rendere i modelli linguistici più controllabili e guidabili. Askell et al. di Anthropic definiscono un'IA allineata come "utile, onesta e innocua". Definiscono inoltre le tre H come segue:

Utile

Finché una richiesta dell'utente non è dannosa, l'IA dovrebbe cercare di risolverla nel modo più efficace possibile, ponendo domande di approfondimento se necessario.

Onesto

L'IA deve fornire informazioni accurate e deve essere calibrata, fornendo stime di incertezza ragionevolmente accurate. Dovrebbe comprendere le sue ...