Mãos à Obra: Aprendizado de Máquina com Scikit-Learn e TensorFlow

Paralelizando Redes Neurais em um Cluster do TensorFlow | 365

• RankBrain: 300x aceleração em 500 GPUs.

Esses números representam o que há de melhor no primeiro trimestre de 2016. Além de

algumas dúzias de GPUs, a saturação entra em ação e o desempenho diminui para um

modelo denso ou algumas centenas de GPUs para um modelo esparso. Há muitas pesqui-

sas em andamento para resolver esse problema (explorando arquiteturas ponto a ponto

em vez de servidores de parâmetros centralizados, utilizando compactação do modelo

de perdas, otimizando quando e do que as réplicas precisam para se comunicar etc.),

portanto haverá muito progresso na paralelizaç ...