Skip to Main Content
Spark: La Guía Definitiva
book

Spark: La Guía Definitiva

by Bill Chambers, Matei Zaharia
September 2024
Intermediate to advanced content levelIntermediate to advanced
606 pages
16h 12m
Spanish
O'Reilly Media, Inc.
Book available
Content preview from Spark: La Guía Definitiva

Capítulo 14. Variables compartidas distribuidas

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

En además de la interfaz del Conjunto de Datos Distribuido Resistente (RDD), el segundo tipo de API de bajo nivel en Spark son dos tipos de "variables compartidas distribuidas": las variables de difusión y los acumuladores. Se trata de variables que puedes utilizar en tus funciones definidas por el usuario (por ejemplo, en una función map sobre un RDD o un DataFrame) que tienen propiedades especiales cuando se ejecutan en un clúster. En concreto, los acumuladores te permiten sumar los datos de todas las tareas en un resultado compartido (por ejemplo, para implementar un contador que te permita ver cuántos de los registros de entrada de tu trabajo fallaron al analizarlos), mientras que las variables de difusión te permiten guardar un valor grande en todos los nodos trabajadores y reutilizarlo en muchas acciones Spark sin tener que reenviarlo al clúster. Este capítulo trata algunas de las motivaciones de cada uno de estos tipos de variables, así como la forma de utilizarlas.

Variables de difusión

Las variables Broadcast son una forma de compartir un valor inmutable de forma eficiente por el clúster sin encapsular esa variable en un cierre de función. La forma normal de utilizar una variable en tu nodo controlador dentro de tus tareas es simplemente hacer referencia a ella en tus cierres de función (por ejemplo, en una ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Óxido Atómico y Cerraduras

Óxido Atómico y Cerraduras

Mara Bos
CockroachDB: La guía definitiva

CockroachDB: La guía definitiva

Guy Harrison, Jesse Seldess, Ben Darnell
Concurrencia en Go

Concurrencia en Go

Katherine Cox-Buday

Publisher Resources

ISBN: 9781098183707Supplemental Content