book

Google BigQuery: O Guia Definitivo

by Valliappa Lakshmanan, Jordan Tigani

April 2025

Intermediate to advanced

522 pages

14h 35m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Para quem é este livro?Convenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentosActualizações da primeira edição
Arquitecturas de processamento de dadosSistema de gestão de bases de dados relacionaisEstrutura MapReduceBigQuery: Um motor SQL distribuído e sem servidorTrabalhando com o BigQueryObter informações sobre conjuntos de dadosETL, EL e ELTAnálises poderosasSimplicidade de gestãoComo surgiu o BigQueryO que torna o BigQuery possível?Separação de computação e armazenamentoInfraestrutura de armazenamento e Network+Armazenamento geridoIntegração com o Google Cloud PlatformSegurança e conformidadeResumo
Consultas simplesRecuperar linhas usando SELECTAliasing de nomes de colunas com ASFiltragem com WHERESELECCIONA *, EXCEPTO, SUBSTITUISubconsultas com WITHOrdenar com ORDER BYAgregadosCálculo de agregados usando GROUP BYContagem de registos através de COUNTFiltrando itens agrupados usando HAVINGComo encontrar valores únicos usando DISTINCTUma breve introdução às matrizes e às structsCriando matrizes usando ARRAY_AGGMatriz de STRUCTTUPLATrabalhar com matrizesUNNEST uma matrizUnir tabelasO JOIN explicadoINNER JOINJUNÇÃO CRUZADAOUTER JOINGuardar e partilharHistórico de consultas e armazenamento em cacheConsultas guardadasVisões versus consultas partilhadasResumo
Tipos e funções numéricosFunções matemáticasDivisão de ponto flutuante em conformidade com a normaFunções SAFEComparaçõesCálculos decimais precisos com NUMERICTrabalhar com BOOLOperações lógicasExpressões condicionaisTratamento de NULL mais limpo com COALESCECasting e coerçãoUsando COUNTIF para evitar a conversão de booleanosFunções de cadeia de caracteresInternacionalizaçãoImpressão e análiseFunções de manipulação de stringsFunções de transformaçãoExpressões regularesResumo das funções de cadeia de caracteresTrabalhar com TIMESTAMPAnalisar e formatar carimbos de data/horaExtrair partes do calendárioAritmética com carimbos de data/horaData, hora e DateTimeTrabalhar com funções GISResumo
Os princípios básicosCarregamento a partir de uma fonte localEspecificação de um esquemaCopiar para uma nova tabelaGestão de dados (DDL e DML)Carrega dados de forma eficienteConsultas federadas e fontes de dados externasComo utilizar consultas federadasQuando utilizar consultas federadas e fontes de dados externasExploração interactiva e consulta de dados no Google SheetsConsultas SQL em dados na Cloud BigtableTransferências e exportaçõesServiço de transferência de dadosExportação de registos do Cloud LoggingUsando o Cloud Dataflow para ler/gravar do BigQueryMover dados no localMétodos de migração de dadosResumo
Desenvolver programaticamenteAcessando o BigQuery via API RESTBiblioteca do cliente Google CloudAcessando o BigQuery a partir de ferramentas de ciência de dadosBlocos de notas no Google Cloud PlatformTrabalha com BigQuery, pandas e JupyterTrabalhando com o BigQuery a partir do RFluxo de dados em CloudControladores JDBC/ODBCIncorporar dados do BigQuery no Google Slides (no G Suite)Script Bash com BigQueryCriar conjuntos de dados e tabelasExecução de consultasObjetos BigQueryResumo
Arquitetura de alto nívelVida de um pedido de consultaAtualizações do BigQueryMotor de consulta (Dremel)Arquitetura DremelExecução de consultasArmazenamentoDados de armazenamentoMetadadosResumo
Princípios de desempenhoPrincipais factores de desempenhoControlo de custosMedição e resolução de problemasMedir a velocidade da consulta usando a API RESTMedindo a velocidade da consulta usando o BigQuery Workload TesterSolução de problemas de cargas de trabalho usando o Cloud LoggingLeitura das informações do plano de consultaAumentar a velocidade de consultaMinimiza a E/SColocar em cache os resultados de consultas anterioresRealização de junções eficientesEvita sobrecarregar um trabalhadorUtilização de funções de agregação aproximadasOtimizar a forma como os dados são armazenados e acedidosMinimiza a sobrecarga de redeEscolher um formato de armazenamento eficienteParticionar tabelas para reduzir o tamanho da pesquisaAgrupamento de tabelas com base em chaves de alta cardinalidadeOtimização de custosConsultas em loteOtimização do custo de armazenamentoConsulta o controlo de custosCargas de ficheirosResumoLista de controlo
Consultas reutilizáveisConsultas parametrizadasFunções SQL definidas pelo utilizadorReutilização de partes de consultasSQL avançadoTrabalhar com matrizesFunções do WindowsMetadados da tabelaLinguagem de Definição de Dados e Linguagem de Manipulação de DadosPara além da SQLUDFs JavaScriptScriptingFunções avançadasSistemas de informação geográfica BigQueryFunções estatísticas úteisAlgoritmos de HashResumo
O que é a aprendizagem automática?Formular um problema de aprendizagem automáticaTipos de problemas de aprendizagem automáticaConstruir um modelo de regressãoEscolhe a etiquetaExplorando o conjunto de dados para encontrar caraterísticasCriar um conjunto de dados de treinoFormação e avaliação do modeloFazendo previsões com o modeloExamina os pesos dos modelosModelos de regressão mais complexosCriar um modelo de classificaçãoFormaçãoAvaliaçãoPrevisãoEscolher o limiarPersonalizando o BigQuery MLControlar a divisão de dadosClasses de equilíbrioRegularizaçãok-Means ClusteringO que é que está a ser agrupado?Agrupamento de estações de bicicletasExecução de clusteringCompreender os clustersDecisões baseadas em dadosSistemas de recomendaçãoO conjunto de dados do MovieLensFactorização de matrizesFazer recomendaçõesIncorporar informações do utilizador e do filmeModelos personalizados de aprendizagem automática no GCPAfinação de hiperparâmetrosAutoMLSuporte para TensorFlowResumo

Segurança das infra-estruturasGestão de Identidade e AcessoIdentidadePapelRecursosAdministrando o BigQueryGestão do trabalhoAutorização de utilizadoresRestaurar registos e tabelas eliminadosIntegração contínua/implantação contínuaReservas de slotsExportações de custos/faturaçãoDashboards, monitorização e registo de auditoriaDisponibilidade, recuperação de desastres e encriptaçãoZonas, regiões e multi-regiõesBigQuery e tratamento de falhasDurabilidade, cópias de segurança e recuperação de desastresPrivacidade e encriptaçãoConformidade regulamentarLocalidade dos dadosRestringir o acesso a subconjuntos de dadosRemovendo todas as transações relacionadas a um único indivíduoPrevenção de perda de dadosCMEKProteção contra a exfiltração de dadosResumo

Overview

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Trabalhe com conjuntos de dados na escala de petabytes enquanto cria um local de trabalho colaborativo e ágil. Este livro prático é a referência padrão para o Google BigQuery, o motor de consulta que permite realizar análises interativas de grandes conjuntos de dados. O BigQuery permite que as empresas armazenem, consultem, importem e aprendam com os seus dados de forma eficiente numa estrutura conveniente. Com este livro, você vai ver como analisar dados em grande escala para obter insights de grandes conjuntos de dados de forma eficiente.

Valliappa Lakshmanan, líder técnico do Google Cloud Platform, e Jordan Tigani, diretor de engenharia da equipa BigQuery, fornecem as melhores práticas para armazenamento moderno de dados numa nuvem pública sem servidor e com dimensionamento automático. Se queres explorar partes do BigQuery com as quais não estás familiarizado ou preferes focar-te em tarefas específicas, esta referência é indispensável.