Skip to Main Content
Spark: La Guía Definitiva
book

Spark: La Guía Definitiva

by Bill Chambers, Matei Zaharia
September 2024
Intermediate to advanced content levelIntermediate to advanced
606 pages
16h 12m
Spanish
O'Reilly Media, Inc.
Book available
Content preview from Spark: La Guía Definitiva

Capítulo 13. RDD avanzados

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

El Capítulo 12 exploró en los fundamentos de la manipulación de RDDs simples. Aprendiste cómo crear RDDs y por qué querrías utilizarlos. Además, hablamos de mapear, filtrar, reducir y de cómo crear funciones para transformar datos de un único RDD. Este capítulo cubre las operaciones RDD avanzadas y se centra en los RDD clave-valor, una potente abstracción para manipular datos. También tocamos algunos temas más avanzados, como el particionamiento personalizado, una de las razones por las que quizá quieras utilizar RDDs en primer lugar. Con una función de partición personalizada, puedes controlar exactamente cómo se disponen los datos en el clúster y manipular esa partición individual en consecuencia. Antes de llegar ahí, resumamos los temas clave que trataremos:

  • Agregaciones y RDDs clave-valor

  • Partición personalizada

  • RDD se une

Nota

Este conjunto de APIs ha existido desde, esencialmente, el principio de Spark, y hay un montón de ejemplos por toda la web sobre este conjunto de APIs. Esto hace que sea trivial buscar y encontrar ejemplos que te muestren cómo utilizar estas operaciones.

Utilicemos el mismo conjunto de datos que utilizamos en el último capítulo:

// in Scala
val myCollection = "Spark The Definitive Guide : Big Data Processing Made Simple"
  .split(" ")
val words = spark.sparkContext.parallelize(myCollection, 2)
# in Python ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Óxido Atómico y Cerraduras

Óxido Atómico y Cerraduras

Mara Bos
CockroachDB: La guía definitiva

CockroachDB: La guía definitiva

Guy Harrison, Jesse Seldess, Ben Darnell
Concurrencia en Go

Concurrencia en Go

Katherine Cox-Buday

Publisher Resources

ISBN: 9781098183707Supplemental Content