Spark: La Guía Definitiva

Capítulo 22. Procesamiento en tiempo de sucesos y con estado

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Enel Capítulo 21 se trataron en los conceptos básicos y las API básicas; este capítulo se sumerge en el procesamiento en tiempo de eventos y con estado. El procesamiento evento-tiempo es un tema candente porque analizamos la información con respecto al momento en que fue creada, no procesada. La idea clave entre este estilo de procesamiento es que, a lo largo de la vida del trabajo, Spark mantendrá un estado relevante que puede actualizar en el transcurso del trabajo antes de emitirlo al sumidero.

Vamos a tratar estos conceptos con más detalle antes de empezar a trabajar con código para demostrar que funcionan.

Hora del evento

El tiempo de evento es un tema importante para cubrir discretamente porque La API DStream de Spark no admite información de procesamiento con respecto al tiempo de evento. A un nivel superior, en los sistemas de procesamiento de flujos hay efectivamente dos tiempos relevantes para cada evento: el tiempo en el que ocurrió realmente (tiempo de evento), y el tiempo en el que fue procesado o llegó al sistema de procesamiento de flujos (tiempo de procesamiento).

Hora del acontecimiento

Evento tiempo es el tiempo que está incrustado en los propios datos. En la mayoría de los casos, aunque no es obligatorio, es la hora en que se produce realmente un suceso. Es importante utilizarla porque ...