Chispa de alto rendimiento

Índice

Símbolos

• ¡! (operador de negación), Transformaciones simples de marcos de datos y expresiones SQL
• !== (operador no igual), Transformaciones simples de marcos de datos y expresiones SQL
• Operador $, que se utiliza para la búsqueda de columnas, transformaciones simples de DataFrame y expresiones SQL
• Operador === (igualdad), Transformaciones simples de marcos de datos y expresiones SQL

A

• acumuladores, Acumuladores
  • interacción con la caché, Interacción con los acumuladores
  • streaming en modo de alta disponibilidad, Modo de Alta Disponibilidad (o Manejo de Fallos de Controladores o Checkpointing)
  • uso para la validación de trabajos, Validación de trabajos
• Interfaz AcumuladorV2, Acumuladores
• acciones, Lazy Evaluation
  • implicaciones en la arquitectura, Programación de trabajos Spark, Anatomía de un trabajo Spark
  • sobre pares clave/valor, Acciones sobre pares clave/valor
  • Clase base de pruebas de streaming, StreamActionBase, Streaming
  • versus transformaciones sobre RDDs, Funciones sobre RDDs: Transformaciones frente a Acciones
• función sumar, Acumuladores
• API agg, Agregados y groupBy, Operaciones agrupadas en conjuntos de datos
• función aggregateByKey, Acelerar las uniones asignando un particionador conocido
  • evitando la asignación de memoria en, Diccionario de operaciones de agregación con consideraciones de rendimiento
  • combinaciones del lado del mapa, Prevención de errores fuera de memoria con operaciones de agregación
  • optimización, Reutilización de objetos existentes
  • consideraciones de rendimiento, Diccionario ...