book

Guía de estudio de ingeniero de datos asociado certificado por Databricks

by Derar Alhussein

March 2025

Intermediate to advanced

408 pages

10h 44m

Spanish

O'Reilly Media, Inc.

Read now

Unlock full access

Por qué escribí este libroA quién va dirigido este libroLo que aprenderásLo que no debes esperarRepositorio GitHub y ComunidadConvenciones utilizadas en este libroUtilizar ejemplos de códigoAprendizaje en línea O'ReillyCómo contactar con nosotrosCómo contactar con el autorAgradecimientos
Presentación de la Plataforma DatabricksComprender la plataforma DatabricksArquitectura de alto nivel de Databricks LakehouseImplementación de Recursos DatabricksApache Spark™ en DatabricksSistema de archivos Databricks (DBFS)Configurar un espacio de trabajo DatabricksExplorar el espacio de trabajo de DatabricksVisión general de la interfaz del espacio de trabajoNavegar por el Navegador del Espacio de TrabajoImportar materiales de librosCrear agrupacionesRacimos PolivalentesGrupos de empleosPools de datosCrear agrupaciones polivalentesGestionar tu clústerTrabajar con cuadernosCrear un nuevo cuadernoConfigurar el idioma del portátilEjecutar códigoComandos mágicosUtilidades DatabricksDescargar CuadernosVersionado de cuadernosVersionado con GitConfigurar la integración GitCrear carpetas GitGestión de ramas GitComprometiendo y empujando cambiosExtraer cambios de GitHubConclusiónEjemplos de preguntas de examenCuestiones conceptualesPreguntas basadas en el código
Presentación de Delta Lake¿Qué es Delta Lake?Registro de transacciones de Delta LakeComprender la funcionalidad de Delta LakeVentajas de Delta LakeTrabajar con tablas Delta LakeCrear tablasCatálogo ExploradorInsertar datosExplorar el Directorio de TablasActualización de las tablas del Delta LakeExplorar la historia de la mesaExplorando el Viaje en el Tiempo DeltaConsulta de versiones anterioresRetroceder a versiones anterioresOptimización de las Tablas Delta LakeIndexación en orden ZAspirandoAspirar en acciónBajada de las tablas del Delta LakeConclusiónEjemplos de preguntas de examenCuestión conceptualPregunta basada en el código
Comprender las entidades relacionalesBases de datos en DatabricksTablas en DatabricksPoner en práctica las entidades relacionalesTrabajar en el esquema por defectoTrabajar en un nuevo esquemaTrabajar en un esquema de ubicación personalizadoConfigurar las Tablas DeltaDeclaraciones CTASComparación de CREATE TABLE y CTASRestricciones de la tablaClonación de tablas Delta LakeExplorar puntos de vistaVer tiposComparación de los tipos de vistaVistas descendentesConclusiónEjemplos de preguntas de examenCuestión conceptualPregunta basada en el código
Consulta de archivos de datosConsulta del formato JSONConsulta mediante el formato de textoConsulta mediante el formato binaryFileConsulta de formatos no autodescriptivosRegistrar tablas desde archivos con CTASRegistrar tablas en fuentes de datos ajenasEscribir en tablasSustitución de datosAñadir datosFusionar datosRealizar transformaciones ETL avanzadasTratar con datos JSON anidadosConvertir JSON en tipo StructInteractuar con tipos StructAplanar tipos de estructurasAprovechar la función explotarAgregar valores únicosDominar las operaciones de unión en Spark SQLExplorar las operaciones de conjunto en Spark SQLCambiar las perspectivas de los datosTrabajar con funciones de orden superiorFunción FiltroFunción de transformaciónDesarrollo de UDFs SQLCrear UDFsAplicación de las FDUEntender las UDFUDFs de lógica complejaSoltar UDFsConclusiónEjemplos de preguntas de examenCuestión conceptualPregunta basada en el código
Streaming de Datos con Apache Spark¿Qué es un flujo de datos?Streaming estructurado SparkConfiguraciones de consulta en streamingGarantías de streaming estructuradoOperaciones no admitidasImplementación del streaming estructuradoManipulaciones de datos en streaming en SQLManipulaciones de Datos en Streaming en PythonIngestión incremental de datosIntroducción a la ingestión de datosComando COPY INTOCargador automáticoComparación de los mecanismos de ingestiónCargador automático en acciónArquitectura MedallónPresentación de la Arquitectura MedallónConstruir arquitecturas medallónConclusiónEjemplos de preguntas de examenCuestión conceptualPregunta basada en el código
Explorando las Mesas Delta LivePresentación de las Mesas Delta LiveExpectativas DLTImplantación de canalizaciones DLTConfiguración de los conductos DLTCapturar cambios en los datosDefiniciónAlimentación CDCFuentes CDCEntrega de piensos CDCCDC en DLTProcesamiento Cambio Captura de datosAmpliación de los conductos DLT con nuevos cuadernosOrquestar flujos de trabajoPresentación de Databricks JobsCreación de trabajos DatabricksConfigurar los ajustes del trabajoEjecutar el trabajoTrabajos de depuraciónConclusiónEjemplos de preguntas de examenCuestión conceptualPregunta basada en el código
¿Qué es Databricks SQL?Creación de almacenes SQLConfigurar un almacén SQLPuntos finales SQLDiseño de Cuadros de MandoCrear un nuevo panel de controlCompartir un Cuadro de MandoPublicar un Cuadro de MandoVolver a publicar una nueva versiónGestión de consultas SQLEscribir una consulta SQLGuardar una consultaProgramar una consultaExaminar consultas guardadasConfigurar alertasCrear una alertaProgramar la AlertaConclusiónEjemplos de preguntas de examenCuestiones conceptuales
¿Qué es la gobernanza de datos?Gestión de la Seguridad de los Datos en el Metastore de ColmenaConceder permisosGestión avanzada de privilegiosGestión de permisos con Databricks SQLGobernar los datos con el Catálogo Unity¿Qué es el Catálogo Unity?Arquitectura del Catálogo UnityCambios arquitectónicos claveEspacio de nombres UC de tres nivelesJerarquía de objetos de datosEstructura jerárquica detalladaGestión de identidadesModelo de seguridad de la UCAcceder al Metastore ColmenaCaracterísticas del Catálogo UnityCatálogo Unity en acciónConclusiónEjemplos de preguntas de examenCuestión conceptualPregunta basada en el código
Explorar el formato del examenTemas clave tratadosTemas no incluidos en el ámbito de aplicaciónLenguaje de fragmentos de códigoInscribirse en el examenCuota de inscripciónVisión general de la plataforma de exámenesProgramar el examenSolución de problemas y asistenciaPrepararse para la evaluaciónSupervisión de exámenesResultado del examenExámenes PrácticosExamen práctico oficial de DatabricksExámenes prácticos interactivosBuscar ayudaReflexiones finales

Implementación de Databricks en Microsoft AzureImplementación de Databricks en Amazon Web ServicesEspacios de trabajo adicionales y gestión de cuentasImplementación de Databricks en Google Cloud Platform
Capítulo 1: Primeros pasos con DatabricksCapítulo 2: Gestión de datos con Delta LakeCapítulo 3: Dominar las entidades relacionales en DatabricksCapítulo 4: Transformación de datos con Apache SparkCapítulo 5: Procesamiento de datos incrementalesCapítulo 6: Construir tuberías de producciónCapítulo 7: Explorar Databricks SQLCapítulo 8: Implantación de la Gobernanza de Datos

Overview

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Los ingenieros de datos expertos en Databricks tienen actualmente una gran demanda. A medida que las organizaciones recopilan más datos que nunca, los ingenieros de datos cualificados en plataformas como Databricks se vuelven fundamentales para el éxito empresarial. La certificación Databricks Data Engineer Associate es la prueba de que tienes un conocimiento completo de la plataforma Databricks y sus capacidades, así como las habilidades esenciales para ejecutar eficazmente diversas tareas de ingeniería de datos en la plataforma. En esta completa guía de estudio, construirás una base sólida en todos los temas que se tratan en el examen de certificación, incluyendo Databricks Lakehouse y sus herramientas y beneficios. También aprenderás a desarrollar canalizaciones ETL tanto en batch como en streaming.

En esta completa guía de estudio, construirás una base sólida en todos los temas que se tratan en el examen de certificación, incluyendo Databricks Lakehouse y sus herramientas y beneficios. También aprenderás a desarrollar pipelines ETL tanto en modo batch como en streaming. Además, descubrirás cómo orquestar flujos de trabajo de datos y diseñar cuadros de mando manteniendo la gobernanza de los datos. Por último, te sumergirás en los puntos más delicados de lo que se trata exactamente el examen y aprenderás a prepararte para él con exámenes de prueba.

El autor Derar Alhussein no solo te enseña los conceptos fundamentales, sino que también te ofrece ejercicios prácticos para reforzar tu comprensión. Desde la configuración de tu espacio de trabajo de Databricks hasta la implementación de pipelines de producción, cada capítulo está cuidadosamente elaborado para equiparte con las habilidades necesarias para dominar la plataforma Databricks. Al final de este libro, sabrás todo lo que necesitas para aprobar con éxito el examen de certificación de Databricks Data Engineer Associate y comenzar tu carrera como ingeniero de datos certificado por Databricks.

Aprenderás a:

Utilizar la plataforma Databricks y Delta Lake de manera eficaz.
Realizar tareas ETL avanzadas utilizando Apache Spark SQL
Diseñar una arquitectura de múltiples saltos para procesar datos de forma incremental.
Construye pipelines de producción utilizando Delta Live Tables y Databricks Jobs.
Implementar la gobernanza de datos utilizando Databricks SQL y Unity Catalog.

Derar Alhussein es ingeniero de datos sénior y tiene un máster en minería de datos. Cuenta con más de una década de experiencia práctica en proyectos de software y datos, incluidos proyectos a gran escala en Databricks. Actualmente cuenta con ocho certificaciones de Databricks, lo que demuestra su competencia en el campo. Derar también es un instructor experimentado, con un historial demostrado de éxito en la formación de miles de ingenieros de datos, ayudándoles a desarrollar sus habilidades y obtener certificaciones profesionales.