book

Snowflake: O Guia Definitivo

by Joyce Kay Avila

April 2025

Intermediate to advanced

468 pages

13h 29m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Origem do livroPara quem é este livro?Objetivos do livroNavegar neste livroUtilizar exemplos de códigoConvenções utilizadas neste livroAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
Interfaces de utilizador Web SnowflakeTrabalho de preparaçãoOrientação para a nevePreferências de visão de neveFolhas de trabalho para navegar no SnowsightDefinição do contextoMelhoria da produtividadeComunidade SnowflakeCertificações SnowflakeEventos Snowday e Snowflake SummitAdvertências importantes sobre os exemplos de código no livroLimpeza de códigoResumoVerificação de conhecimentos
Trabalho de preparaçãoArquitecturas tradicionais de plataformas de dadosArquitetura de disco partilhado (escalável)Arquitetura de nada partilhada (escalável)Alternativas NoSQLA arquitetura SnowflakeA camada de serviços CloudGerir a camada de serviços CloudFaturação para o nível de serviços CloudA camada de computação do processamento de consultas (Virtual Warehouse)Tamanho do armazém virtualExpansão de um armazém virtual para processar grandes volumes de dados e consultas complexasEscalonamento com armazéns virtuais multicluster para maximizar a simultaneidadeCriação e utilização de armazéns virtuaisSeparação de cargas de trabalho e gestão de cargas de trabalhoFaturamento para o nível de depósito virtualCamada de armazenamento de banco de dados centralizado (colunar híbrido)Introdução à clonagem de cópia zeroIntrodução à viagem no tempoFaturação do nível de armazenamentoCache SnowflakeCache de resultados da consultaCache de metadadosCache de disco local do Virtual WarehouseLimpeza de códigoResumoVerificação de conhecimentos
Trabalho de preparaçãoCriar e gerir bases de dados SnowflakeCriar e gerir esquemas SnowflakeESQUEMA_DE_INFORMAÇÃOEsquema ACCOUNT_USAGEHierarquia de objetos de esquemaIntrodução às tabelas SnowflakeCriar e gerir vistasIntrodução às fases do Snowflake: Inclui o formato do ficheiroExtensão de SQL com procedimentos armazenados e UDFsFunção definida pelo utilizador (UDF): Tarefa incluídaUDTF SQL seguro que devolve um valor tabular (exemplo de análise do cabaz de compras)Procedimentos armazenadosIntrodução a Pipes, Streams e SequênciasFluxos de Snowflake (mergulho profundo)Tarefas Snowflake (mergulho profundo)Limpeza de códigoResumoVerificação de conhecimentos
Trabalho de preparaçãoTrabalhar com comandos SQL no SnowflakeComandos DDLComandos DCLComandos DMLComandos TCLComando DQLDesenvolvimento de consultas SQL, sintaxe e operadores em SnowflakeDesenvolvimento e gestão de SQLSintaxe da consultaOperadores de consultaConsultas de longa duração, desempenho e otimização de consultasLimites de consulta do SnowflakeIntrodução aos tipos de dados suportados pelo SnowflakeTipos de dados numéricosTipos de dados String e BinárioTipos de dados de entrada/saída de data e horaTipos de dados semi-estruturadosTipos de dados não estruturadosComo o Snowflake suporta a utilização de dados não estruturadosFunções SQL do Snowflake e variáveis de sessãoUtilização de funções definidas pelo sistema (incorporadas)Criando UDFs SQL e JavaScript e usando variáveis de sessãoFunções externasLimpeza de códigoResumoVerificação de conhecimentos
Trabalho de preparaçãoCriar objectos SnowflakeFunções definidas pelo sistema SnowflakeCriar funções personalizadasFunções empresariais e de TI de nível funcionalConta de serviço a nível do sistema e funções de acesso a objectosAtribuições de hierarquia de funções: Atribuição de funções a outras funçõesConceder privilégios a funçõesAtribuir funções aos utilizadoresTestar e validar o nosso trabalhoGestão de utilizadoresGestão de funçõesEstratégia multi-contas SnowflakeGerir utilizadores e grupos com o SCIMLimpeza de códigoResumoVerificação de conhecimentos
Trabalho de preparaçãoNoções básicas de carregamento e descarregamento de dadosTipos de dadosFormatos de ficheirosCompressão de ficheiros de dadosFrequência do tratamento de dadosReferências da fase SnowflakeFontes de dadosFerramentas de carregamento de dadosFolha de cálculo de Snowflake SQL Utilizando os Comandos INSERT INTO e INSERT ALLAssistente de carregamento de dados Web UIComandos SQL PUT e COPY INTO da CLI do SnowSQLPipelines de dadosFerramentas ETL e ELT de terceirosAlternativas ao carregamento de dadosFerramentas para descarregar dadosPráticas recomendadas de carregamento de dados para engenheiros de dados da SnowflakeSeleciona a ferramenta de carregamento de dados correta e considera as opções de tipo de dados adequadasEvita o processamento de dados linha a linhaEscolhe o tamanho certo do Snowflake Virtual Warehouse e divide os ficheiros conforme necessárioTransforma dados em etapas e usa tabelas transitórias para resultados intermediáriosLimpeza de códigoResumoVerificação de conhecimentos
Trabalho de preparaçãoSegurança SnowflakeControlar o acesso à contaMonitorização da atividade com a vista de utilização da conta ACCESS_HISTORY do SnowflakeProteção e recuperação de dadosReplicação e FailoverDemocratizar os dados com controlos de governação de dadosDicionário de dados INFORMATION_SCHEMAMarcação de objectosClassificaçãoMascaramento de dadosPolíticas de acesso a linhas e segurança ao nível das linhasTokenização externaVisualizações seguras e UDFsDependências de objectosLimpeza de códigoResumoVerificação de conhecimentos
Trabalho de preparaçãoConta mensal do SnowflakeTaxas de armazenamentoCustos de transferência de dadosComputa os créditos consumidosCriação de monitores de recursos para gerir a utilização do armazém virtual e reduzir os custosQuota de crédito do monitor de recursosMonitor de recursos Utilização de créditosNotificações e outras ações do Monitor de recursosRegras do monitor de recursos para atribuiçõesComandos DDL para criar e gerenciar monitores de recursosComo usar a marcação de objetos para centros de custoConsultando a visão ACCOUNT_USAGEUtiliza os Dashboards de Parceiros de BI para monitorizar a utilização e os custos do SnowflakeEntrega de software ágil SnowflakePorque é que precisamos de DevOps?Integração Contínua de Dados, Entrega Contínua e Implementação ContínuaO que é a gestão de alterações na base de dados?Como a clonagem de cópia zero pode ser usada para dar suporte a ambientes de desenvolvimento/testeLimpeza de códigoResumoVerificação de conhecimentos
Trabalho de preparaçãoAnalisar o desempenho da consultaCriação de perfis QUERY_HISTORYFunção HASH()História da IU da WebCompreender as micro-partições Snowflake e o clustering de dadosExplicação das divisóriasExplicação das micro-partições do SnowflakeExplica o agrupamento de dados SnowflakeLargura e profundidade de agrupamentoEscolher uma chave de clusteringCriar uma chave de clusteringReclusterizaçãoVantagens de desempenho das vistas materializadasExplorando outras técnicas de otimização de consultasServiço de otimização de pesquisaComparação das técnicas de otimização de consultasResumoLimpeza de códigoVerificação de conhecimentos

Suporte à partilha de dados da arquitetura SnowflakeO poder da SnowgridCasos de utilização de partilha de dadosSuporte Snowflake para Unified ID 2.0Abordagens de partilha segura de dados SnowflakeTrabalho de preparaçãoAbordagem de partilha direta e segura de dados da SnowflakeCriar acções de saídaComo as acções de entrada são utilizadas pelos consumidores de dados SnowflakeComo listar e comprar no mercado público de SnowflakeSnowflake Marketplace para fornecedoresListagens de dados padrão versus personalizadasAproveita o poder de um intercâmbio de dados privados SnowflakeSalas limpas da Snowflake DataConsiderações importantes sobre design, segurança e desempenhoPartilha Considerações sobre a conceçãoPartilhar considerações de segurançaConsiderações sobre o desempenho das acçõesDiferença entre partilha de bases de dados e clonagem de bases de dadosPartilha de dados e considerações sobre deslocações no tempoPartilha de dados PartilhaResumoLimpeza de códigoVerificação de conhecimentos
Trabalho de preparaçãoAmostragem de dados no SnowsightAmostragem de tamanho fixo baseada em um número específico de linhasAmostragem por fração baseada na probabilidadePré-visualização de campos e dadosExemplos de amostragemUtilização de estatísticas automáticas e resultados interactivosVisualização do painel de controle do SnowsightCriar um Dashboard e TilesTrabalhar com visualizações de gráficosAgregação e agrupamento de dadosEditar e apagar mosaicosColaboraçãoPartilhar os resultados da tua consultaUsando um link privado para colaborar em painéisResumoLimpeza de códigoVerificação de conhecimentos
Trabalho de preparaçãoEngenharia de dadosArmazenamento de dadosModelação do Data Vault 2.0Transforma os dados no SnowflakeLago de dadosColaboração de dadosMonetização de dadosRequisitos regulamentares e de conformidade para a partilha de dadosAnálise de dadosAnálise avançada para o sector financeiroAnálise avançada para o sector da saúdeAnálise avançada para a indústria transformadora e serviços de logísticaAnálise de marketing para as verticais de retalho e para o sector das comunicações e dos mediaAplicações de dadosCiência dos dadosParque de neveStreamlitCibersegurança Utiliza o Snowflake como um lago de dados de segurançaUltrapassar os desafios de uma arquitetura só de SIEMServiço de otimização de pesquisa versus clusteringUnistoreCarga de trabalho transacional versus carga de trabalho analíticaMesas híbridasResumoLimpeza de códigoVerificação de conhecimentos
Capítulo 1Capítulo 2Capítulo 3Capítulo 4Capítulo 5Capítulo 6Capítulo 7Capítulo 8Capítulo 9Capítulo 10Capítulo 11Capítulo 12
Geral (relacionado com personagens)Geral (não relacionado com personagens)Abreviaturas de etiquetas padrão

Content preview from Snowflake: O Guia Definitivo

Capítulo 6. Carregamento e descarregamento de dados

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Os engenheiros de dados são responsáveis por gerenciar a ingestão e a transformação de conjuntos de dados brutos de várias fontes diferentes para fornecer os dados em um estado que os usuários finais precisam para obter insights acionáveis. Este capítulo fornece o conhecimento básico que qualquer pessoa pode usar para saber mais sobre como obter os melhores resultados de engenharia de dados na plataforma de dados em nuvem Snowflake.

O capítulo começa com um resumo dos conceitos básicos de carregamento e descarregamento de dados do Snowflake, incluindo tipos de dados, métodos de compactação, tipos de formato de arquivo e estágios do Snowflake. Na secção de ferramentas de carregamento de dados, vamos aprofundar a aprendizagem de como utilizar instruções de inserção SQL na folha de cálculo do Snowflake para carregar dados estruturados e semi-estruturados. Também aprenderemos a carregar dados usando o assistente de carregamento de dados da interface do usuário da Web e a interface de linha de comando (CLI) do SnowSQL. Para uma abordagem mais automatizada do carregamento de dados, podemos usar pipelines de dados, conectores e ferramentas de terceiros. Exploraremos algumas dessas opções de carregamento de dados automatizado mais adiante neste capítulo. Além disso, veremos algumas alternativas ao carregamento de dados, ...