Concebe grandes aplicações de modelos de linguagem

Capítulo 2. Dados de pré-treino

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

No Capítulo 1, apresentámos os modelos de linguagem, referimos os seus pontos fortes e as suas limitações, explorámos casos de utilização actuais e potenciais e apresentámos as leis de escalonamento que aparentemente regem o progresso neste domínio. Para preparar o terreno para o resto do livro, nos próximos três capítulos discutiremos em pormenor a receita para pré-treinar LLMs e os ingredientes que os compõem. Mas espera, este livro é sobre a utilização de LLMs pré-treinados para desenhar e construir aplicações de utilizador. Por que precisamos discutir as nuances do pré-treinamento desses modelos gigantescos a partir do zero, algo que a maioria dos profissionais de aprendizado de máquina nunca vai fazer na vida?

Na verdade, esta informação é muito importante porque muitas das decisões tomadas durante o processo de pré-treino têm um grande impacto no desempenho a jusante. Como veremos nos capítulos seguintes, os modos de falha são mais facilmente compreensíveis quando compreendes o processo de treino. Tal como gostamos de ter os ingredientes listados nas embalagens das nossas mercearias, gostaríamos de conhecer os ingredientes que entram na criação de um modelo de linguagem antes de o utilizarmos em aplicações sérias.

Nota

Não há muita informação disponível no domínio público sobre alguns dos LLMs proprietários que são acessíveis ...