Engenharia de IA

Capítulo 2. Entendendo os modelos de base

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Para criar aplicativos com modelos básicos, primeiro você precisa de modelos básicos. Embora você não precise saber como desenvolver um modelo para usá-lo, um entendimento de alto nível o ajudará a decidir qual modelo usar e como adaptá-lo às suas necessidades.

O treinamento de um modelo básico é um processo incrivelmente complexo e caro. Aqueles que sabem como fazer isso bem provavelmente estão impedidos, por acordos de confidencialidade, de divulgar o molho secreto. Este capítulo não poderá dizer a você como criar um modelo para competir com o ChatGPT. Em vez disso, vou me concentrar nas decisões de design com impacto consequente nos aplicativos downstream.

Com a crescente falta de transparência no processo de treinamento de modelos de base, é difícil que você saiba todas as decisões de design necessárias para a criação de um modelo. No entanto, em geral, as diferenças nos modelos de fundação podem ser atribuídas a decisões sobre dados de treinamento, arquitetura e tamanho do modelo e como eles são pós-treinados para se alinharem às preferências humanas.

Como os modelos aprendem com os dados, seus dados de treinamento revelam muito sobre suas capacidades e limitações. Este capítulo começa com a forma como os desenvolvedores de modelos selecionam os dados de treinamento, concentrando-se na distribuição dos dados de treinamento. ...