Concebe grandes aplicações de modelos de linguagem

Capítulo 7. Técnicas avançadas de ajuste fino

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

No capítulo anterior, apresentámos a forma canónica de afinar um LLM típico. No mundo real, há uma grande variedade de motivações para atualizar um LLM e, da mesma forma, há várias maneiras de o atualizar. Neste capítulo, descrevemos várias técnicas avançadas de afinação e destacamos os cenários em que cada técnica é adequada.

Por que razão queres atualizar os parâmetros de um LLM? Já abordámos este assunto em capítulos anteriores, mas vamos agora analisá-lo mais detalhadamente:

Adaptação do domínio

Os dados com que trabalhamos pertencem a um domínio especializado com o qual o LLM pode não estar familiarizado durante o pré-treino. Neste caso, gostaríamos de atualizar o modelo, treinando-o com dados específicos do domínio.

Adaptação da tarefa

Interessa-nos o desempenho do LLM em tarefas específicas a jusante. Para melhorar o desempenho do LLM nestas tarefas, podemos treiná-lo com dados específicos da tarefa. Este treino pode ser supervisionado ou não supervisionado.

Atualização dos conhecimentos

Gostaríamos de manter o conhecimento do LLM atualizado, treinando-o continuamente com novos dados.

Controlabilidade/direção

Gostaríamos de controlar o comportamento do LLM, incluindo torná-lo mais propenso a seguir os pedidos do utilizador escritos em linguagem natural, a rejeitar certos tipos de pedidos, etc. As técnicas ...