book

Guia de estudo do Databricks Certified Data Engineer Associate

by Derar Alhussein

March 2025

Intermediate to advanced

408 pages

10h 29m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Read now

Unlock full access

Porque escrevi este livroA quem se destina este livroO que vais aprenderO que não deves esperarRepositório e comunidade do GitHubConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosComo contactar o autorAgradecimentos
Apresentando a plataforma DatabricksCompreender a plataforma DatabricksArquitetura de alto nível da Databricks LakehouseImplantação de recursos do DatabricksApache Spark™ na DatabricksSistema de ficheiros Databricks (DBFS)Configurando um espaço de trabalho do DatabricksExplorando o espaço de trabalho do DatabricksVisão geral da interface do espaço de trabalhoNavegar no navegador do espaço de trabalhoImportação de materiais de livrosCriar clustersClusters para todos os finsClusters de empregoPools de bancos de dadosCriar clusters para todos os finsGerir o teu clusterTrabalhar com blocos de notasCriar um novo bloco de notasDefinir o idioma do computador portátilExecutar códigoComandos mágicosUtilitários DatabricksDescarregar cadernosControle de versão do bloco de notasControlo de versões com o GitConfigurar a integração do GitCriar pastas do GitGerenciar ramificações do GitConfirmação e envio de alteraçõesExtrair alterações do GitHubConclusãoExemplos de perguntas de exameQuestões conceptuaisPerguntas baseadas em código
Apresentamos-te o Delta LakeO que é o Delta Lake?Registo de transacções do Delta LakeCompreender a funcionalidade do Delta LakeVantagens de Delta LakeTrabalhar com tabelas Delta LakeCriar tabelasExplorador de catálogosInserção de dadosExplorar o diretório de tabelasAtualização das tabelas do Delta LakeExplorar a história da mesaExplorar a viagem no tempo DeltaConsulta de versões anterioresRegressar a versões anterioresOtimização de tabelas Delta LakeIndexação por ordem ZAspirarAspirar em açãoBaixa as tabelas do Delta LakeConclusãoExemplos de perguntas de exameQuestão concetualPergunta baseada em código
Compreender as entidades relacionaisBases de dados em DatabricksTabelas em DatabricksColocar as entidades relacionais em práticaTrabalhar no esquema padrãoTrabalhar num novo esquemaTrabalhando em um esquema de local personalizadoConfigurar tabelas DeltaDeclarações do CTASComparação entre CREATE TABLE e CTASRestrições da tabelaClonagem de tabelas do Delta LakeExplorar vistasVer tiposComparação de tipos de vistaDiminuir as visualizaçõesConclusãoExemplos de perguntas de exameQuestão concetualPergunta baseada em código
Consulta de ficheiros de dadosConsulta do formato JSONConsultar utilizando o formato de textoConsulta utilizando o formato binaryFileConsulta de formatos não auto-descritíveisRegistar tabelas de ficheiros com CTASRegisto de tabelas em fontes de dados estrangeirasEscrever para tabelasSubstituição de dadosAnexar dadosFusão de dadosRealização de transformações ETL avançadasLidar com dados JSON aninhadosAnalisar JSON em tipos de structInteragindo com tipos de structAchatamento de tipos de structAproveitar a função explodeAgregação de valores únicosDomina as operações Join em Spark SQLExplorando operações de conjunto no Spark SQLAltera as perspectivas dos dadosTrabalhar com funções de ordem superiorFunção de filtroFunção de transformaçãoDesenvolver UDFs SQLCriação de UDFsAplicação de UDFsCompreender os UDFsUDFs de lógica complexaEliminação de UDFsConclusãoExemplos de perguntas de exameQuestão concetualPergunta baseada em código
Streaming de dados com o Apache SparkO que é um fluxo de dados?Spark Structured StreamingConfigurações de consulta em fluxo contínuoGarantias de streaming estruturadoOperações não suportadasImplementação do streaming estruturadoManipulações de dados em fluxo contínuo em SQLManipulações de dados em streaming em PythonIngestão de dados incrementalIntrodução à ingestão de dadosComando COPY INTOCarregador automáticoComparação dos mecanismos de ingestãoCarregador automático em açãoArquitetura MedalhãoApresentação da Medallion ArchitectureConstruir arquitecturas de medalhõesConclusãoExemplos de perguntas de exameQuestão concetualPergunta baseada em código
Explorar as mesas Delta LiveApresentamos-te as mesas Delta LiveExpectativas de DLTImplementação de pipelines DLTConfiguração de pipelines DLTCapturar alterações de dadosDefiniçãoCDC FeedFontes do CDCEntrega de ração CDCCDC em DLTProcessamento da captura de dados de modificaçãoAmpliação dos pipelines DLT com novos portáteisOrquestração de fluxos de trabalhoApresentando os trabalhos da DatabricksCriação de trabalhos DatabricksConfigurar definições de trabalhosExecutar o trabalhoTrabalhos de depuraçãoConclusãoExemplos de perguntas de exameQuestão concetualPergunta baseada em código
O que é a Databricks SQL?Criar SQL WarehousesConfiguração de um SQL WarehousePontos de extremidade SQLConceber painéis de controloCriar um novo painel de controloPartilhar um painel de controloPublicar um DashboardRepublicação de uma nova versãoGerir consultas SQLEscrever uma consulta SQLGuardar uma consultaProgramar uma consultaNavegação em consultas guardadasConfigurar alertasCriar um alertaProgramar o alertaConclusãoExemplos de perguntas de exameQuestões conceptuais
O que é a governação de dados?Gerir a segurança dos dados no metastore do HiveConceder permissõesGestão avançada de privilégiosGerir permissões com Databricks SQLGovernar dados com o Unity CatalogO que é o Unity Catalog?Arquitetura do catálogo UnityPrincipais alterações arquitectónicasUC Espaço de nomes de três níveisHierarquia de objetos de dadosEstrutura hierárquica pormenorizadaGestão da identidadeModelo de segurança UCAceder ao Metastore do HiveCaraterísticas do Catálogo UnityCatálogo Unity em açãoConclusãoExemplos de perguntas de exameQuestão concetualPergunta baseada em código
Explorando o formato do examePrincipais tópicos abordadosTópicos fora do âmbitoLinguagem de snippet de códigoInscrição no exameTaxa de inscriçãoVisão geral da plataforma de examesMarcação do exameResolução de problemas e suportePrepara-te para a avaliaçãoSupervisão de examesResultado do exameExames práticosExame prático oficial da DatabricksExames práticos interactivosProcura assistênciaConsiderações finais

Implantação de Databricks no Microsoft AzureImplantação de Databricks no Amazon Web ServicesEspaços de trabalho adicionais e gestão de contasImplantação da Databricks no Google Cloud Platform
Capítulo 1: Introdução ao DatabricksCapítulo 2: Gerir dados com o Delta LakeCapítulo 3: Dominando entidades relacionais em DatabricksCapítulo 4: Transformar dados com o Apache SparkCapítulo 5: Processamento de dados incrementaisCapítulo 6: Criar canais de produçãoCapítulo 7: Explorar o SQL da DatabricksCapítulo 8: Implementar a governação de dados

Overview

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Os engenheiros de dados proficientes em Databricks estão atualmente em grande procura. À medida que as organizações recolhem mais dados do que nunca, os engenheiros de dados qualificados em plataformas como a Databricks tornam-se críticos para o sucesso do negócio. A certificação Databricks Data Engineer Associate é a prova de que tens uma compreensão completa da plataforma Databricks e das suas capacidades, bem como as competências essenciais para executar eficazmente várias tarefas de engenharia de dados na plataforma.

Neste guia de estudo abrangente, vais construir uma base sólida em todos os tópicos abordados no exame de certificação, incluindo a Databricks Lakehouse e as suas ferramentas e benefícios. Também aprenderás a desenvolver pipelines ETL nos modos batch e streaming. Além disso, descobrirás como orquestrar fluxos de trabalho de dados e conceber dashboards, mantendo a governação dos dados. Por fim, vais conhecer os pormenores exactos do exame e aprender a preparar-te para ele com testes de simulação.

O autor Derar Alhussein ensina-te não só os conceitos fundamentais, mas também fornece exercícios práticos para reforçar a tua compreensão. Desde a configuração do teu espaço de trabalho Databricks até à implementação de pipelines de produção, cada capítulo é cuidadosamente elaborado para te equipar com as competências necessárias para dominares a Plataforma Databricks. No final deste livro, saberás tudo o que precisas para passar no exame de certificação Databricks Data Engineer Associate com distinção e iniciar a tua carreira como engenheiro de dados certificado da Databricks!

Aprenderás a:

Usa a Plataforma Databricks e o Delta Lake de forma eficaz
Executa tarefas ETL avançadas usando o Apache Spark SQL
Concebe uma arquitetura multi-hop para processar dados de forma incremental
Constrói pipelines de produção utilizando Delta Live Tables e Databricks Jobs
Implementa a governança de dados usando Databricks SQL e Unity Catalog

Derar Alhussein é um engenheiro de dados sênior com mestrado em mineração de dados. Tem mais de uma década de experiência prática em projetos de software e dados, incluindo projetos de grande escala na Databricks. Atualmente, possui oito certificações da Databricks, o que demonstra a sua proficiência na área. Derar é também um instrutor experiente, com um historial de sucesso comprovado na formação de milhares de engenheiros de dados, ajudando-os a desenvolver as suas competências e a obter certificações profissionais.