Sistemas de produção de aprendizagem automática

Capítulo 7. Modelação de alto desempenho

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Em cenários de produção, obter o melhor desempenho possível do teu modelo é importante para fornecer tempos de resposta rápidos e baixos custos, com baixos requisitos de recursos. A modelação de alto desempenho torna-se especialmente importante quando os requisitos de recursos de computação são grandes, como quando se lida com grandes modelos e/ou conjuntos de dados, e quando os requisitos de latência de inferência e/ou de custos são difíceis.

Neste capítulo, discutiremos como os modelos podem ser acelerados usando dados e paralelismo de modelos. Também analisaremos técnicas de modelagem de alto desempenho, como estratégias de distribuição, e pipelines de ingestão de alto desempenho, como o TF Data. Por fim, consideraremos o surgimento de redes neurais gigantes e abordagens para lidar com a necessidade resultante de uma infraestrutura eficiente e escalonável nesse contexto.

Formação distribuída

Quando começas a criar protótipos, treinar o teu modelo pode ser uma tarefa rápida e simples, especialmente se estiveres a trabalhar com um pequeno conjunto de dados. No entanto, o treino completo de um modelo pode tornar-se muito moroso. Os conjuntos de dados e as arquitecturas de modelos em muitos domínios são cada vez maiores. À medida que o tamanho dos conjuntos de dados e modelos de treino aumenta, os modelos demoram cada ...