Skip to Main Content
Spark: La Guía Definitiva
book

Spark: La Guía Definitiva

by Bill Chambers, Matei Zaharia
September 2024
Intermediate to advanced content levelIntermediate to advanced
606 pages
16h 12m
Spanish
O'Reilly Media, Inc.
Book available
Content preview from Spark: La Guía Definitiva

Capítulo 20. Fundamentos del procesamiento de flujos

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

El procesamiento de flujos es un requisito clave en muchas aplicaciones de big data. En cuanto una aplicación calcula algo de valor -digamos, un informe sobre la actividad de un cliente, o un nuevo modelo de aprendizaje automático-, una organización querrá calcular este resultado continuamente en un entorno de producción. Como resultado, organizaciones de todos los tamaños están empezando a incorporar el procesamiento en flujo, a menudo incluso en la primera versión de una nueva aplicación.

Por suerte, Apache Spark tiene un largo historial de soporte de alto nivel para el streaming. En 2012, el proyecto incorporó Spark Streaming y su API DStreams, una de las primeras API en permitir el procesamiento de flujos utilizando operadores funcionales de alto nivel como map y reduce. Cientos de organizaciones utilizan ahora DStreams en producción para grandes aplicaciones en tiempo real, a menudo procesando terabytes de datos por hora. Sin embargo, al igual que la API Resilient Distributed Dataset (RDD), la API DStreams se basa en operaciones de nivel relativamente bajo sobre objetos Java/Python que limitan las oportunidades de optimización de nivel superior. Así, en 2016, el proyecto Spark añadió Structured Streaming, una nueva API de streaming construida directamente sobre DataFrames que admite tanto optimizaciones enriquecidas ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Óxido Atómico y Cerraduras

Óxido Atómico y Cerraduras

Mara Bos
CockroachDB: La guía definitiva

CockroachDB: La guía definitiva

Guy Harrison, Jesse Seldess, Ben Darnell
Concurrencia en Go

Concurrencia en Go

Katherine Cox-Buday

Publisher Resources

ISBN: 9781098183707Supplemental Content