Concebe grandes aplicações de modelos de linguagem

Capítulo 8. Formação e raciocínio de alinhamento

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Algumas razões comuns para a hesitação na adoção de LLMs são a presença de alucinações, as limitações nas capacidades de raciocínio e as questões de preconceito e segurança. Neste capítulo, vamos analisar estas limitações e introduzir diferentes técnicas para as mitigar. Em primeiro lugar, introduziremos o conceito de treino de alinhamento, que nos ajuda a orientar os nossos modelos para resultados desejáveis.

Definir a formação de alinhamento

Estamos sempre a ouvir falar do problema de alinhamento que os modelos linguísticos enfrentam. O que é que isto significa na prática? Idealmente, gostaríamos de ter um modelo de linguagem que pudéssemos compreender, controlar e dirigir completamente. No entanto, os modelos de linguagem actuais estão longe deste ideal.

Assim, o objetivo do alinhamento é tornar os modelos de linguagem mais controláveis e dirigíveis. Askell et al. da Anthropic definem uma IA alinhada como uma IA "útil, honesta e inofensiva". Define ainda os três H's da seguinte forma:

Útil

Desde que um pedido do utilizador não seja prejudicial, a IA deve tentar resolver o pedido da forma mais eficaz possível, fazendo perguntas de acompanhamento, se necessário.

Honesto

A IA deve fornecer informações precisas e deve ser calibrada, fornecendo estimativas de incerteza razoavelmente precisas. Deve compreender ...