
325
Capítulo 12
Distribuindo o TensorFlow Por
Dispositivos e Servidores
No Capítulo 11, discutimos várias técnicas que podem acelerar consideravelmente o
treinamento: melhorar a inicialização do peso, a Normalização em Lote, otimizadores
sofisticados e assim por diante. No entanto, mesmo com todas essas técnicas, o treina-
mento de uma grande rede neural em uma única máquina com uma única CPU pode
levar dias ou até mesmo semanas.
Neste capítulo, veremos como utilizar o TensorFlow para distribuir cálculos em vários
dispositivos (CPUs e GPUs) e executá-los em paralelo (veja a Figura 12-1). Em primeiro
lugar, distribuiremos cálculos através de vá