Sistemas de produção de aprendizagem automática

Capítulo 18. Orquestração de pipelines de aprendizado de máquina

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

No Capítulo 1, apresentámos os pipelines de ML e porque precisamos deles para produzir modelos de ML reproduzíveis e repetíveis. Nos capítulos que se seguiram, aprofundámos os aspectos individuais dos pipelines de ML, desde a ingestão de dados, validação de dados, formação de modelos e avaliação de modelos, até às implementações de modelos. Agora é hora de fechar o ciclo e focar em como montar os componentes individuais em pipelines de produção.

Todos os componentes de um pipeline de ML descritos nos capítulos anteriores têm de ser executados de forma coordenada ou, como dizemos, orquestrada. As entradas para um componente devem ser calculadas antes de um determinado componente ser executado. A orquestração destes passos é efectuada por ferramentas de orquestração como o Apache Beam ou o Kubeflow Pipelines, ou no Google Cloud's Vertex Pipelines.

Neste capítulo, concentramo-nos na orquestração dos componentes de ML, apresentando diferentes ferramentas de orquestração e como escolher a melhor ferramenta para o teu projeto.

Uma introdução à orquestração de pipeline

A orquestração de pipeline é a "cola" entre os componentes do pipeline, como ingestão de dados, pré-processamento, treinamento de modelos e avaliação de modelos. Antes de mergulhar nos detalhes sobre as diferentes opções de orquestração, ...