
Múltiplos Dispositivos em uma Única Máquina | 335
inter-op
intra-op
Figura 12-5. Execução paralela de um grafo do TensorFlow
Por exemplo, na Figura 12-5 as operações A, B e C são source ops, então podem ser
avaliadas imediatamente. As operações A e B são posicionadas em GPU #0, enviadas
a este pool de threads inter-op do dispositivo e imediatamente avaliadas em paralelo.
A operação A passa a ter um kernel multithread; seus cálculos, que são executados em
paralelo pelo pool de threads inter-op, são divididos em três partes. A operação C vai
para o pool de threads inter-op de GPU #1.
Os contadores de dependência das operações D e E serão diminuídos ...