Aprende a usar o Spark, 2ª edição

Capítulo 11. Gerenciando, implantando e dimensionando pipelines de aprendizado de máquina com o Apache Spark

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

No capítulo anterior, abordámos a forma de criar pipelines de aprendizagem automática com a MLlib. Este capítulo centrar-se-á na forma de gerir e implementar os modelos que treina. No final deste capítulo, serás capaz de utilizar o MLflow para controlar, reproduzir e implementar os teus modelos MLlib, discutir as dificuldades e soluções de compromisso entre vários cenários de implementação de modelos e arquitetar soluções de aprendizagem automática escaláveis. Mas antes de discutirmos a implantação de modelos, vamos primeiro discutir algumas práticas recomendadas para o gerenciamento de modelos, a fim de preparar seus modelos para a implantação.

Gestão de modelos

Antes de implementares o teu modelo de aprendizagem automática, deves garantir que podes reproduzir e acompanhar o desempenho do modelo. Para nós, a reprodutibilidade de ponta a ponta das soluções de aprendizagem automática significa que temos de ser capazes de reproduzir o código que gerou um modelo, o ambiente utilizado no treino, os dados em que foi treinado e o próprio modelo. Todos os cientistas de dados gostam de te lembrar que deves definir as sementes para que possas reproduzir as tuas experiências (por exemplo, para a divisão treino/teste, quando utilizas modelos com aleatoriedade inerente, ...