book

Ciência de dados no Google Cloud Platform, 2ª edição

by Valliappa Lakshmanan

April 2025

Intermediate to advanced

462 pages

13h 11m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

A quem se destina este livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
Muitas decisões semelhantesO papel dos cientistas de dadosAmbiente de sucataCientistas de dados Full Stack CloudColaboraçãoMelhores práticasSoluções simples a complexasComputação em CloudSem servidorUma decisão probabilísticaAbordagem probabilísticaFunção de densidade de probabilidadeFunção de distribuição cumulativaEscolhas feitasEscolhe a CloudNão é um livro de referênciaComeçar a utilizar o códigoArquitetura Agile para ciência de dados no Google CloudO que é a Arquitetura Agile?Sem código, com pouco códigoUtiliza serviços geridosResumoRecursos sugeridos
Dados de desempenho pontual das companhias aéreasConhecimentosCausalidadeInclinação formação-serviçoDescarregar dadosArquitetura Hub-and-SpokeCampos do conjunto de dadosSeparação de computação e armazenamentoAumentar a escalaEscalonamento com dados fragmentadosEscalonamento com dados no localIngerir dadosEngenharia reversa de um formulário da WebDescarrega o conjunto de dadosExploração e limpezaCarregamento de dados para o Google Cloud StorageCarregando dados no Google BigQueryVantagens de uma base de dados colunar sem servidorPrepara-te para o Cloud StorageControlo de acessoIngerir ficheiros CSVPartiçãoAgendamento de downloads mensaisIngerir em PythonCloud RunProteger o Cloud RunImplementar e invocar o Cloud RunProgramar o Cloud RunResumoQuebra de códigoRecursos sugeridos
Explicar o teu modelo com painéis de controloPorquê criar primeiro um painel de controlo?Exatidão, honestidade e boa conceçãoCarregamento de dados no Cloud SQLCria uma instância do Google Cloud SQLCria uma tabela de dadosInteragir com a base de dadosConsultando usando o BigQueryExploração de esquemasUtilizar a pré-visualizaçãoUtilizar o Explorador de tabelasCriando a visualização do BigQueryConstruir o nosso primeiro modeloTabela de contingênciaOtimização de limiaresCriar um painel de controloIntrodução ao Data StudioCriar gráficosAdicionar controlos de utilizador finalMostrar proporções com um gráfico de pizzaExplicação de uma tabela de contingênciaInteligência empresarial modernaDigitalizaçãoConsultas em linguagem naturalFolhas ligadasResumoRecursos sugeridos
Concebendo o feed de eventosTransformações necessáriasArquiteturaObter informações sobre o aeroportoPartilhar dadosCorreção de tempoApache Beam/Cloud DataflowAnalisar dados de aeroportosAdicionar informações de fuso horárioConverter horas em UTCCorreção de datasCriar eventosLê e escreve na CloudExecuta o pipeline na CloudPublicando um fluxo de eventos no Cloud Pub/SubFator de aumento de velocidadeObter registos para publicarQuantos temas?Iteração através de registosCriar um lote de eventosPublicar um lote de eventosProcessamento de fluxos em tempo realFluxo de dados em streamingWindows um pipelineAgregação de streamingUtilizar carimbos de data/hora de eventosExecução do processamento de fluxoAnalisando dados de streaming no BigQueryPainel de controlo em tempo realResumoRecursos sugeridos
Análise exploratória de dadosExplora com SQLLeitura de uma explicação de consultaAnálise exploratória de dados no vértice AI WorkbenchNotebooks JupyterCriar um bloco de notasComandos JupyterInstalar pacotesJupyter Magic para o Google CloudExplorar os atrasos na chegadaEstatísticas básicasTraçar distribuiçõesControlo de qualidadeAtraso à chegada condicionado ao atraso à partidaAvaliação do modeloBaralhamento aleatórioDividir por dataFormação e testesResumoRecursos sugeridos
MapReduce e o ecossistema HadoopComo funciona o MapReduceApache HadoopGoogle Cloud DataprocNecessidade de ferramentas de nível superiorEmpregos, não clustersPré-instalação de softwareQuantificação usando Spark SQLJupyterLab na Cloud DataprocVerificação de independência usando BigQuerySpark SQL no JupyterLabEqualização de histogramaClassificação BayesianaBayes em cada compartimentoAvaliação do modeloRedimensionamento dinâmico de clustersComparação com o modelo de limiar únicoOrquestraçãoEnviar um trabalho SparkModelo de fluxo de trabalhoCompositor de NuvemEscala automáticaSpark sem servidorResumoRecursos sugeridos
Regressão logísticaComo funciona a regressão logísticaBiblioteca Spark MLIntrodução ao aprendizado de máquina do SparkRegressão logística SparkCriar um conjunto de dados de treinoTreinar o modeloPrevisão usando o modeloAvaliação de um modeloEngenharia de recursosQuadro experimentalSeleção de caraterísticasTransformações de caraterísticasCriação de funcionalidadesVariáveis categóricasRepetível, em tempo realResumoRecursos sugeridos
Regressão logísticaDados de pré-divisãoInterrogar o modeloAvaliação do modeloEscala e simplicidadeAprendizagem automática não linearXGBoostAfinação de hiperparâmetrosTabelas AutoML do AI do vérticeCaraterísticas do WindowsTempo de saída do táxiAtrasos de composiçãoCausalidadeCaraterísticas do tempoHora de partidaTransformar cláusulaVariável categóricaCaraterística CruzResumoRecursos sugeridos
Em direção a modelos mais complexosPreparando dados do BigQuery para o TensorFlowLer dados no TensorFlowFormação e avaliação em KerasModelo FunçãoCaraterísticasEntradasTreinar o modelo KerasGuardar e exportarRede neural profundaModelo amplo e profundo em KerasRepresentação dos corredores de tráfego aéreoBaldeaçãoPassagem de testemunhoClassificador largo e profundoImplantação de um modelo TensorFlow treinado na IA vérticeConceitosCarregamento do modeloCriar ponto de extremidadeImplantação do modelo no ponto de extremidadeInvocação do modelo implantadoResumoRecursos sugeridos

Desenvolver e implementar utilizando PythonEscreve o model.pyEscreve o Pipeline de FormaçãoDivisão predefinidaAutoMLAfinação de hiperparâmetrosParametriza o modeloEncurta o treinoMétricas durante a formaçãoPipeline de ajuste de hiperparâmetrosMelhor teste até à conclusãoExplicação do modeloConfiguração dos metadados das explicaçõesCriação e implementação do modeloObtenção de explicaçõesResumoRecursos sugeridos
Médias temporaisApache Beam e Cloud DataflowLer e escreverJanelas de tempoFormação em aprendizagem automáticaConjunto de dados de aprendizagem automáticaTreinar o modeloPrevisões de streamingReutilizar transformaçõesEntrada e saídaInvocação do modeloReutilização do ponto finalPrevisões de lotePipeline de transmissão em fluxo contínuoEscrevendo para o BigQueryExecutando o pipeline de streamingRegistos atrasados e fora de prazoPossíveis sumidouros de streamingResumoRecursos sugeridos
Quatro anos de dadosCriar um conjunto de dadosModelo de formaçãoAvaliaçãoResumoRecursos sugeridos
Tratamento de informações sensíveisDados sensíveis em colunasDados sensíveis em conjuntos de dados de linguagem naturalDados sensíveis em dados não estruturados de forma livreDados sensíveis numa combinação de camposDados sensíveis em conteúdos não estruturadosProteção de dados sensíveisRemoção de dados sensíveisMascarar dados sensíveisTornar os dados sensíveis mais grosseirosEstabelecer uma política de governação

Overview

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Aprende como é fácil aplicar métodos sofisticados de estatística e aprendizagem automática a problemas do mundo real quando constróis utilizando o Google Cloud Platform (GCP). Este guia prático mostra aos engenheiros e cientistas de dados como implementar um pipeline de dados de ponta a ponta com ferramentas nativas da Cloud no GCP.

Ao longo desta segunda edição actualizada, trabalharás com um exemplo de decisão empresarial, utilizando uma variedade de abordagens de ciência de dados. Acompanha a construção de um pipeline de dados no teu próprio projeto no GCP e descobre como resolver problemas de ciência de dados de uma forma transformadora e mais colaborativa.

Aprenderás a:

Emprega as melhores práticas na criação de pipelines de dados e ML altamente escaláveis no Google Cloud
Automatizar e agendar a ingestão de dados usando o Cloud Run
Cria e preenche um dashboard no Data Studio
Constrói um pipeline de análise em tempo real usando Pub/Sub, Dataflow e BigQuery
Conduzir a exploração interativa de dados com o BigQuery
Cria um modelo bayesiano com o Spark no Cloud Dataproc
Prevê séries temporais e faz deteção de anomalias com o BigQuery ML
Agrega dentro de janelas de tempo com o Dataflow
Treina modelos de aprendizagem automática explicáveis com a IA vértice
Operacionaliza o ML com o Vertex AI Pipelines