Skip to Main Content
Spark: La Guía Definitiva
book

Spark: La Guía Definitiva

by Bill Chambers, Matei Zaharia
September 2024
Intermediate to advanced content levelIntermediate to advanced
606 pages
16h 12m
Spanish
O'Reilly Media, Inc.
Book available
Content preview from Spark: La Guía Definitiva

Capítulo 21. Conceptos básicos del streaming estructurado

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Ahora que hemos cubierto una breve visión general del procesamiento de flujos, vamos a sumergirnos de lleno en el Streaming Estructurado. En este capítulo, volveremos a exponer algunos de los conceptos clave del Streaming Estructurado y luego los aplicaremos con algunos ejemplos de código que muestran lo fácil que es utilizar el sistema.

Conceptos básicos del streaming estructurado

Estructurado Streaming, como comentamos al final del Capítulo 20, es un marco de procesamiento de flujos construido sobre el motor SQL de Spark. En lugar de introducir una API independiente, el Streaming Estructurado utiliza las API estructuradas existentes en Spark (DataFrames, Datasets y SQL), lo que significa que todas las operaciones con las que estás familiarizado allí son compatibles. Los usuarios expresan un cálculo de flujo de la misma forma que escribirían un cálculo por lotes sobre datos estáticos. Al especificar esto, y especificar un destino de flujo, el motor de Flujo Estructurado se encargará de ejecutar tu consulta de forma incremental y continua a medida que lleguen nuevos datos al sistema. A continuación, estas instrucciones lógicas para el cálculo se ejecutan utilizando el mismo motor Catalyst del que se habla en la Parte II de este libro, incluyendo la optimización de la consulta, la generación de código, etc. ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Óxido Atómico y Cerraduras

Óxido Atómico y Cerraduras

Mara Bos
CockroachDB: La guía definitiva

CockroachDB: La guía definitiva

Guy Harrison, Jesse Seldess, Ben Darnell
Concurrencia en Go

Concurrencia en Go

Katherine Cox-Buday

Publisher Resources

ISBN: 9781098183707Supplemental Content