Capítulo 4. Engenharia de dados para LLMs
Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com
Em este capítulo, aprenderás sobre engenharia de dados, práticas de gerenciamento de dados e as ferramentas e sistemas de banco de dados disponíveis. A discussão será voltada para engenheiros de dados, DevOps e MLOps que desejam se tornar engenheiros de LLMOps e/ou liderar os esforços de engenharia de dados da empresa. No final deste capítulo, terás uma forte compreensão dos fundamentos da engenharia de dados, bem como das melhores práticas para LLMs.
Engenharia de dados e a ascensão dos LLMs
No final da década de 1960, o cientista da computação britânico Edgar F. Codd, acabado de concluir seu doutorado em computadores auto-replicantes, trabalhava na IBM. Codd ficou fascinado pela teoria da organização de dados e, em 1970, publicou um documento interno da IBM chamado "A Relational Model of Data for Large Shared Data Banks" que introduziu o que hoje conhecemos como bases de dados relacionais. Por exemplo, em vez de uma tabela de vendas em que cada registo contém todas as informações sobre os produtos e os clientes a quem foram vendidos, as bases de dados relacionais armazenam estes dados em várias tabelas relacionadas: uma para os clientes, outra para os produtos e outra para as vendas. Antes das bases de dados relacionais, algo tão simples como uma alteração no endereço do cliente exigia a alteração de todos os registos ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access