book

SQL para análise de dados

by Cathy Tanimura

April 2025

Intermediate to advanced

360 pages

10h 44m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Convenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é a análise de dados?Porquê SQL?O que é a SQL?Vantagens da SQLSQL versus R ou PythonSQL como parte do fluxo de trabalho de análise de dadosTipos de bases de dados e como trabalhar com elasBases de dados Row-StoreBancos de dados com armazenamento de colunasOutros tipos de infra-estruturas de dadosConclusão
Tipos de dadosTipos de dados da base de dadosEstruturado e não estruturadoDados quantitativos e qualitativosDados de primeira, segunda e terceira parteDados esparsosEstrutura da consulta SQLPerfilamento: DistribuiçõesHistogramas e frequênciasBinningn-TelhasDefinição de perfis: Qualidade dos dadosDetetar duplicadosDeduplicação com GROUP BY e DISTINCTPrepara-te: Limpeza de dadosLimpeza de dados com transformações CASEConversões de tipos e fundiçãoLidando com nulos: funções coalesce, nullif, nvlDados em faltaPrepara-te: Moldar os dadosPara que tipo de saída: BI, Visualização, Estatística, MLPivotar com instruções CASEDesvinculação com instruções UNIONFunções pivot e unpivotConclusão
Manipulações de data, data e horaConversões de fuso horárioConversões de formatos de data e de carimbo de data/horaData MatemáticaMatemática do tempoJunção de dados de diferentes fontesO conjunto de dados de vendas a retalhoTendências dos dadosTendências simplesComparação de componentesPercentagem do total de cálculosIndexação para ver a modificação percentual ao longo do tempoJanelas de tempo de rolamentoCálculo de janelas de tempo de rolamentoWindows de tempo variável com dados esparsosCálculo de valores acumuladosAnálise com sazonalidadeComparações entre períodos: YoY e MoMComparações de período a período: Mesmo mês em relação ao ano passadoComparação com vários períodos anterioresConclusão
Coortes: Um quadro de análise útilO conjunto de dados dos legisladoresRetençãoSQL para uma curva de retenção básicaAjuste de séries cronológicas para aumentar a precisão da retençãoCoortes derivadas da própria série cronológicaDefinição da coorte a partir de uma tabela separadaLidar com coortes esparsasDefinição de coortes a partir de datas diferentes da primeira dataAnálises de coortes relacionadasSobrevivênciaComportamento de devolução ou repetição de compraCálculos acumuladosAnálise de secção transversal, através de uma lente de coorteConclusão
Porquê a análise de texto com SQL?O que é a análise de texto?Porque é que a SQL é uma boa escolha para a análise de textoQuando a SQL não é uma boa escolhaO conjunto de dados sobre avistamentos de OVNIsCaraterísticas do textoAnálise de textoTransformações de textoEncontrar elementos em blocos de texto maioresJogos de coringas: GOSTA, GOSTACorrespondências exactas: IN, NOT INExpressões regularesConstruir e remodelar o textoConcatenaçãoReformular o textoConclusão
Capacidades e limites da SQL para a deteção de anomaliasO conjunto de dadosDeteção de valores atípicosOrdenação para encontrar anomaliasCálculo de percentis e desvios padrão para encontrar anomaliasGráficos para encontrar anomalias visualmenteFormas de anomaliasValores anómalosContagens ou frequências anómalasAnomalias decorrentes da ausência de dadosTratamento de anomaliasInvestigaçãoRemoçãoSubstituição por valores alternativosRedimensionamentoConclusão
Pontos fortes e limites da análise de experiências com SQLO conjunto de dadosTipos de experiênciasExperiências com resultados binários: O teste do qui-quadradoExperiências com resultados contínuos: O teste tDesafios das experiências e opções para recuperar experiências defeituosasAtribuição de variantesAnómalosTempo de boxeExperiências de exposição repetidaQuando as experiências controladas não são possíveis: Análises alternativasPré/Pós-análiseAnálise de experiências naturaisAnálise de populações em torno de um limiarConclusão
Quando utilizar SQL para conjuntos de dados complexosVantagens da utilização de SQLQuando é que deves construir em ETLQuando deves colocar a lógica noutras ferramentasCódigo OrganizaçãoComentáriosCapitalização, indentação, parênteses e outros truques de formataçãoArmazenamento do códigoOrganizar os cálculosCompreender a ordem da avaliação da cláusula SQLSubconsultasTabelas temporáriasExpressões de tabela comunsagrupamento de conjuntosGerir a dimensão do conjunto de dados e as preocupações com a privacidadeAmostragem com %, modReduzir a dimensionalidadePII e privacidade de dadosConclusão
Análise do funilChurn, Lapse e outras definições de saídaAnálise do cabazRecursosLivros e bloguesConjuntos de dadosConsiderações finais

Content preview from SQL para análise de dados

Capítulo 2. Prepara os dados para análise

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

As estimativas do tempo que os cientistas de dados passam a preparar os seus dados variam, mas é seguro dizer que este passo ocupa uma parte significativa do tempo gasto a trabalhar com dados. Em 2014, o New York Times referiu que os cientistas de dados passam entre 50% e 80% do seu tempo a limpar e a manipular os dados. Um inquérito realizado em 2016 pela CrowdFlower revelou que os cientistas de dados passam 60% do seu tempo a limpar e a organizar os dados, a fim de os preparar para o trabalho de análise ou modelação. Preparar os dados é uma tarefa tão comum que surgiram termos para a descrever, como "munging", "wrangling" e "data prep" ("Mung" é um acrónimo de "Mash Until No Good", que eu certamente já fiz em algumas ocasiões). Será que todo este trabalho de preparação de dados é apenas um trabalho sem sentido, ou é uma parte importante do processo?

A preparação de dados é mais fácil quando um conjunto de dados tem um dicionário de dados, um documento ou repositório que tem descrições claras dos campos, valores possíveis, como os dados foram recolhidos e como se relacionam com outros dados. Infelizmente, é frequente não ser esse o caso. Muitas vezes, a documentação não é considerada prioritária, mesmo por pessoas que vêem o seu valor, ou fica desactualizada à medida que são adicionados novos campos e tabelas ou que ...