Procesamiento de flujos con Apache Spark

Capítulo 10. Fuentes de streaming estructuradas

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Los capítulos anteriores de te proporcionaron una buena visión general del modelo de programación de Secuencia Estructurada y de cómo puedes aplicarlo de forma práctica. También viste cómo las fuentes son el punto de partida de cada programa de Secuencia Estructurada. En este capítulo, estudiamos las características generales de una fuente y repasamos con más detalle las fuentes disponibles, incluyendo sus diferentes opciones de configuración y modos de funcionamiento.

Comprender las fuentes

En Streaming Estructurado, una fuente es una abstracción que representa a los proveedores de datos de streaming. El concepto que subyace a la interfaz de la fuente es que los datos de streaming son un flujo continuo de eventos a lo largo del tiempo que puede verse como una secuencia, indexada con un contador que se incrementa monótonamente.

La Figura 10-1 ilustra cómo se considera que cada suceso del flujo tiene un desplazamiento cada vez mayor.

Figura 10-1. Un flujo visto como una secuencia indexada de acontecimientos

Los offsets, como se muestra en la Figura 10-2, se utilizan para solicitar datos a la fuente externa y para indicar los datos que ya se han consumido. Structured Streaming sabe cuándo hay datos que procesar solicitando ...