Capítulo 30. De cara al futuro
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Apache Spark es un proyecto que avanza rápidamente.
En hemos visto que Spark Streaming es una API antigua, de relativamente bajo nivel, construida sobre Conjuntos de Datos Distribuidos Resistentes (RDD) y los objetos habituales de Java, Scala o Python a los que todo programador está acostumbrado. Spark Streaming es una batalla probada e implementada en muchas aplicaciones a nivel de producción. Podemos considerarla una API estable en la que los esfuerzos se destinan sobre todo al mantenimiento.
El Streaming Estructurado, al estar construido sobre las APIs Dataset y Dataframe de Spark, aprovecha al máximo el impresionante trabajo de optimización que Apache Spark introdujo a través de Spark SQL, como el motor Catalyst y la generación de código y gestión de memoria del proyecto Tungsten. En este sentido, el Streaming Estructurado es el futuro del streaming en Apache Spark, y donde se concentrarán los principales esfuerzos de desarrollo en un futuro próximo. Como tal, el Streaming Estructurado está proporcionando nuevos y emocionantes desarrollos, como el procesamiento continuo.
Tenemos que mencionar que Structured Streaming es un marco más reciente para el procesamiento de flujos y, como tal, está menos maduro, algo que hemos señalado en particular en los capítulos de aprendizaje automático de este libro. Es importante tener esto en cuenta, ...
Get Procesamiento de flujos con Apache Spark now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
