Les grands modèles linguistiques : Les parties difficiles (French Edition)

Chapitre 8. Alignementdes LLM : une étude de cas

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Un peuple qui privilégie ses privilèges au détriment de ses principes finit par perdre les deux.

Dwight D. Eisenhower

Sache que dans ce chapitre, on aborde les prompts nuisibles (comme demander à un LLM comment fabriquer une bombe) et les comportements dangereux des modèles dans le but d’évaluer et d’atténuer les risques pour la sécurité. Les exemples sont abrégés ou résumés lorsque l’ e le permet.

Dans ce chapitre, on utilise le terme « alignement » pour désigner l'adaptation du comportement d'un modèle à une politique ou à un ensemble de préférences définis. L'alignement sur les politiques consiste à s'assurer qu'un LLM se comporte conformément à nos valeurs, aux directives de notre organisation et à d'autres normes afin de générer de manière fiable le bon texte, de la bonne manière et pour les bonnes raisons. Un LLM formé uniquement sur des données issues d'Internet apprend à prédire le texte de manière statistique, ce qui signifie qu'il apprend également les biais humains, les contenus préjudiciables, la désinformation et les schémas linguistiques toxiques, en plus des connaissances véritablement utiles.

D’un point de vue plus opérationnel, l’alignement sur les politiques est l’ensemble des techniques que nous utilisons pour prendre cette capacité brute et la transformer en un système utile, ...