Sistemas de streaming

Capítulo 5. Exactitud y efectos secundarios

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Ahora pasamos de hablar de modelos de programación y API a hablar de los sistemas que los implementan. Un modelo y una API permiten a los usuarios describir lo que quieren calcular. Ejecutar realmente el cálculo con precisión a escala requiere un sistema, normalmente un sistema distribuido.

En este capítulo, nos centraremos en cómo un sistema de aplicación puede implementar correctamente el Modelo del Haz para producir resultados precisos. Los sistemas de streaming suelen hablar de procesamiento exactamente una vez; es decir, de garantizar que cada registro se procese exactamente una vez. Explicaremos lo que queremos decir con esto, y cómo podría implementarse.

Como ejemplo motivador, este capítulo se centra en las técnicas utilizadas por Google Cloud Dataflow para garantizar eficientemente el procesamiento exactamente una vez de los registros. Hacia el final del capítulo, también examinamos las técnicas utilizadas por algunos otros sistemas de streaming populares para garantizar exactamente una vez.

Por qué importa exactamente una vez

Ni que decir tiene que, para muchos usuarios, cualquier riesgo de pérdida de registros o de datos en sus cadenas de procesamiento de datos es inaceptable. Aun así, históricamente, muchos sistemas de flujo de propósito general no ofrecían garantías sobre el procesamiento de los registros: ...