LLMOps

Capítulo 2. Introdução aos LLMOps

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

O tamanho e a complexidade da arquitetura dos LLMs podem tornar a produção destes modelos incrivelmente difícil. Produzir significa não apenas implantar um modelo, mas também monitorá-lo, avaliá-lo e otimizar seu desempenho.

Os desafios são constantemente novos. Dependendo da tua aplicação, estes podem incluir como processar dados, como armazenar e adaptar dinamicamente os prompts, como monitorizar a interação do utilizador e - o mais importante - como evitar que o modelo espalhe informações erradas ou memorize dados de treino (o que pode levá-lo a divulgar informações pessoais). É por isso que operacionalizar os LLMs, o que significa geri-los diariamente na produção, requer uma nova estrutura.

O LLMOps, como é chamado, é uma estrutura operacional para colocar aplicações LLM em produção. Embora o seu nome e princípios sejam inspirados nos seus irmãos mais velhos, MLOps e DevOps, o LLMOps tem muito mais nuances. A estrutura do LLMOps pode ajudar as empresas a reduzir a dívida técnica, manter a conformidade, lidar com a natureza dinâmica e experimental dos LLMs e minimizar o risco operacional e de reputação, evitando armadilhas comuns.

Este capítulo começa por discutir o que é o LLMOps e como e onde se afasta do MLOps. Em seguida, apresentamos-te a função de engenheiro de LLMOps e o seu enquadramento nas equipas de ML existentes. ...