book

SQL para análise de dados

by Cathy Tanimura

April 2025

Intermediate to advanced

360 pages

10h 44m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Convenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é a análise de dados?Porquê SQL?O que é a SQL?Vantagens da SQLSQL versus R ou PythonSQL como parte do fluxo de trabalho de análise de dadosTipos de bases de dados e como trabalhar com elasBases de dados Row-StoreBancos de dados com armazenamento de colunasOutros tipos de infra-estruturas de dadosConclusão
Tipos de dadosTipos de dados da base de dadosEstruturado e não estruturadoDados quantitativos e qualitativosDados de primeira, segunda e terceira parteDados esparsosEstrutura da consulta SQLPerfilamento: DistribuiçõesHistogramas e frequênciasBinningn-TelhasDefinição de perfis: Qualidade dos dadosDetetar duplicadosDeduplicação com GROUP BY e DISTINCTPrepara-te: Limpeza de dadosLimpeza de dados com transformações CASEConversões de tipos e fundiçãoLidando com nulos: funções coalesce, nullif, nvlDados em faltaPrepara-te: Moldar os dadosPara que tipo de saída: BI, Visualização, Estatística, MLPivotar com instruções CASEDesvinculação com instruções UNIONFunções pivot e unpivotConclusão
Manipulações de data, data e horaConversões de fuso horárioConversões de formatos de data e de carimbo de data/horaData MatemáticaMatemática do tempoJunção de dados de diferentes fontesO conjunto de dados de vendas a retalhoTendências dos dadosTendências simplesComparação de componentesPercentagem do total de cálculosIndexação para ver a modificação percentual ao longo do tempoJanelas de tempo de rolamentoCálculo de janelas de tempo de rolamentoWindows de tempo variável com dados esparsosCálculo de valores acumuladosAnálise com sazonalidadeComparações entre períodos: YoY e MoMComparações de período a período: Mesmo mês em relação ao ano passadoComparação com vários períodos anterioresConclusão
Coortes: Um quadro de análise útilO conjunto de dados dos legisladoresRetençãoSQL para uma curva de retenção básicaAjuste de séries cronológicas para aumentar a precisão da retençãoCoortes derivadas da própria série cronológicaDefinição da coorte a partir de uma tabela separadaLidar com coortes esparsasDefinição de coortes a partir de datas diferentes da primeira dataAnálises de coortes relacionadasSobrevivênciaComportamento de devolução ou repetição de compraCálculos acumuladosAnálise de secção transversal, através de uma lente de coorteConclusão
Porquê a análise de texto com SQL?O que é a análise de texto?Porque é que a SQL é uma boa escolha para a análise de textoQuando a SQL não é uma boa escolhaO conjunto de dados sobre avistamentos de OVNIsCaraterísticas do textoAnálise de textoTransformações de textoEncontrar elementos em blocos de texto maioresJogos de coringas: GOSTA, GOSTACorrespondências exactas: IN, NOT INExpressões regularesConstruir e remodelar o textoConcatenaçãoReformular o textoConclusão
Capacidades e limites da SQL para a deteção de anomaliasO conjunto de dadosDeteção de valores atípicosOrdenação para encontrar anomaliasCálculo de percentis e desvios padrão para encontrar anomaliasGráficos para encontrar anomalias visualmenteFormas de anomaliasValores anómalosContagens ou frequências anómalasAnomalias decorrentes da ausência de dadosTratamento de anomaliasInvestigaçãoRemoçãoSubstituição por valores alternativosRedimensionamentoConclusão
Pontos fortes e limites da análise de experiências com SQLO conjunto de dadosTipos de experiênciasExperiências com resultados binários: O teste do qui-quadradoExperiências com resultados contínuos: O teste tDesafios das experiências e opções para recuperar experiências defeituosasAtribuição de variantesAnómalosTempo de boxeExperiências de exposição repetidaQuando as experiências controladas não são possíveis: Análises alternativasPré/Pós-análiseAnálise de experiências naturaisAnálise de populações em torno de um limiarConclusão
Quando utilizar SQL para conjuntos de dados complexosVantagens da utilização de SQLQuando é que deves construir em ETLQuando deves colocar a lógica noutras ferramentasCódigo OrganizaçãoComentáriosCapitalização, indentação, parênteses e outros truques de formataçãoArmazenamento do códigoOrganizar os cálculosCompreender a ordem da avaliação da cláusula SQLSubconsultasTabelas temporáriasExpressões de tabela comunsagrupamento de conjuntosGerir a dimensão do conjunto de dados e as preocupações com a privacidadeAmostragem com %, modReduzir a dimensionalidadePII e privacidade de dadosConclusão
Análise do funilChurn, Lapse e outras definições de saídaAnálise do cabazRecursosLivros e bloguesConjuntos de dadosConsiderações finais

Content preview from SQL para análise de dados

Capítulo 4. Análise de coortes

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

No Capítulo 3, abordámos a análise de séries cronológicas. Com essas técnicas em mãos, vamos agora abordar um tipo de análise relacionado com muitas aplicações comerciais e outras: a análise de coortes.

Lembro-me da primeira vez que me deparei com uma análise de coorte. Estava a trabalhar no meu primeiro emprego de analista de dados, numa pequena startup. Estava a rever uma análise de compras em que tinha trabalhado com o CEO, e ele sugeriu-me que dividisse a base de clientes por coortes para ver se o comportamento estava a mudar ao longo do tempo. Parti do princípio de que era uma coisa de escola de gestão e provavelmente inútil, mas ele era o Diretor Executivo, por isso, claro, fiz-lhe a vontade. Acontece que não era apenas uma brincadeira. Dividir populações em coortes e segui-las ao longo do tempo é uma forma poderosa de analisar os teus dados e evitar vários enviesamentos. As coortes podem fornecer pistas sobre a forma como as subpopulações diferem umas das outras e como mudam ao longo do tempo.

Neste capítulo, primeiro veremos o que são coortes e os blocos de construção de certos tipos de análise de coorte. Após uma introdução ao conjunto de dados de legisladores usado para os exemplos, aprenderemos a construir uma análise de retenção e a lidar com vários desafios, como definir a coorte e lidar com dados esparsos. Em seguida, ...