Capítulo 11. Sumideros de flujo estructurado
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
En, el capítulo anterior, aprendiste sobre las fuentes, la abstracción que permite que el Streaming Estructurado adquiera datos para procesarlos. Una vez procesados esos datos, querremos hacer algo con ellos. Puede que queramos escribirlos en una base de datos para consultarlos más tarde, en un archivo para procesarlos posteriormente (por lotes), o en otro backend de streaming para mantener los datos en movimiento.
En el Streaming Estructurado, los sumideros son la abstracción que representa cómo producir datos hacia un sistema externo. El Streaming Estructurado viene con varias fuentes incorporadas y define una API que nos permite crear sumideros personalizados hacia otros sistemas que no se admiten de forma nativa.
En este capítulo, veremos cómo funciona un sumidero, repasaremos los detalles de los sumideros que proporciona el Streaming Estructurado y exploraremos cómo crear sumideros personalizados para escribir datos en sistemas no admitidos por las implementaciones predeterminadas.
Comprender los fregaderos
Los sumideros sirven a como adaptadores de salida entre la representación interna de datos del Streaming Estructurado y los sistemas externos. Proporcionan una ruta de escritura para los datos resultantes del procesamiento del flujo. Además, también deben cerrar el bucle de la entrega fiable de datos.
Para participar ...
Get Procesamiento de flujos con Apache Spark now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
