O Capítulo 12 descreveu uma série de padrões para dividir e encadear filas para obter um processamento em lote mais complexo. Duplicar e produzir várias saídas diferentes é muitas vezes uma parte importante do processamento em lote, mas às vezes é igualmente importante reunir várias saídas para gerar algum tipo de saída agregada. Uma ilustração genérica de tal padrão é mostrada na Figura 13-1.
Figura 13-1. Um sistema genérico de distribuição paralela de trabalho e agregação de resultados em lote
Provavelmente, o exemplo mais canónico desta agregação é a parte de reduçãodo padrão MapReduce. É fácil ver que a etapa map é um exemplo de fragmentação de uma fila de trabalho, e a etapa reduce é um exemplo de processamento coordenado que eventualmente reduz um grande número de saídas para uma única resposta agregada. No entanto, há vários padrões agregados diferentes para o processamento em lote, e este capítulo discute vários deles, além de aplicações do mundo real.
Junta (ou Sincronização de Barreiras)
Nos capítulos anteriores , vimos padrões para dividir o trabalho e distribuí-lo em paralelo em múltiplos nós. Em particular, vimos como uma fila de trabalho fragmentada poderia distribuir o trabalho em paralelo para um ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
