book

SQL para análise de dados

by Cathy Tanimura

April 2025

Intermediate to advanced

360 pages

10h 44m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Convenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é a análise de dados?Porquê SQL?O que é a SQL?Vantagens da SQLSQL versus R ou PythonSQL como parte do fluxo de trabalho de análise de dadosTipos de bases de dados e como trabalhar com elasBases de dados Row-StoreBancos de dados com armazenamento de colunasOutros tipos de infra-estruturas de dadosConclusão
Tipos de dadosTipos de dados da base de dadosEstruturado e não estruturadoDados quantitativos e qualitativosDados de primeira, segunda e terceira parteDados esparsosEstrutura da consulta SQLPerfilamento: DistribuiçõesHistogramas e frequênciasBinningn-TelhasDefinição de perfis: Qualidade dos dadosDetetar duplicadosDeduplicação com GROUP BY e DISTINCTPrepara-te: Limpeza de dadosLimpeza de dados com transformações CASEConversões de tipos e fundiçãoLidando com nulos: funções coalesce, nullif, nvlDados em faltaPrepara-te: Moldar os dadosPara que tipo de saída: BI, Visualização, Estatística, MLPivotar com instruções CASEDesvinculação com instruções UNIONFunções pivot e unpivotConclusão
Manipulações de data, data e horaConversões de fuso horárioConversões de formatos de data e de carimbo de data/horaData MatemáticaMatemática do tempoJunção de dados de diferentes fontesO conjunto de dados de vendas a retalhoTendências dos dadosTendências simplesComparação de componentesPercentagem do total de cálculosIndexação para ver a modificação percentual ao longo do tempoJanelas de tempo de rolamentoCálculo de janelas de tempo de rolamentoWindows de tempo variável com dados esparsosCálculo de valores acumuladosAnálise com sazonalidadeComparações entre períodos: YoY e MoMComparações de período a período: Mesmo mês em relação ao ano passadoComparação com vários períodos anterioresConclusão
Coortes: Um quadro de análise útilO conjunto de dados dos legisladoresRetençãoSQL para uma curva de retenção básicaAjuste de séries cronológicas para aumentar a precisão da retençãoCoortes derivadas da própria série cronológicaDefinição da coorte a partir de uma tabela separadaLidar com coortes esparsasDefinição de coortes a partir de datas diferentes da primeira dataAnálises de coortes relacionadasSobrevivênciaComportamento de devolução ou repetição de compraCálculos acumuladosAnálise de secção transversal, através de uma lente de coorteConclusão
Porquê a análise de texto com SQL?O que é a análise de texto?Porque é que a SQL é uma boa escolha para a análise de textoQuando a SQL não é uma boa escolhaO conjunto de dados sobre avistamentos de OVNIsCaraterísticas do textoAnálise de textoTransformações de textoEncontrar elementos em blocos de texto maioresJogos de coringas: GOSTA, GOSTACorrespondências exactas: IN, NOT INExpressões regularesConstruir e remodelar o textoConcatenaçãoReformular o textoConclusão
Capacidades e limites da SQL para a deteção de anomaliasO conjunto de dadosDeteção de valores atípicosOrdenação para encontrar anomaliasCálculo de percentis e desvios padrão para encontrar anomaliasGráficos para encontrar anomalias visualmenteFormas de anomaliasValores anómalosContagens ou frequências anómalasAnomalias decorrentes da ausência de dadosTratamento de anomaliasInvestigaçãoRemoçãoSubstituição por valores alternativosRedimensionamentoConclusão
Pontos fortes e limites da análise de experiências com SQLO conjunto de dadosTipos de experiênciasExperiências com resultados binários: O teste do qui-quadradoExperiências com resultados contínuos: O teste tDesafios das experiências e opções para recuperar experiências defeituosasAtribuição de variantesAnómalosTempo de boxeExperiências de exposição repetidaQuando as experiências controladas não são possíveis: Análises alternativasPré/Pós-análiseAnálise de experiências naturaisAnálise de populações em torno de um limiarConclusão
Quando utilizar SQL para conjuntos de dados complexosVantagens da utilização de SQLQuando é que deves construir em ETLQuando deves colocar a lógica noutras ferramentasCódigo OrganizaçãoComentáriosCapitalização, indentação, parênteses e outros truques de formataçãoArmazenamento do códigoOrganizar os cálculosCompreender a ordem da avaliação da cláusula SQLSubconsultasTabelas temporáriasExpressões de tabela comunsagrupamento de conjuntosGerir a dimensão do conjunto de dados e as preocupações com a privacidadeAmostragem com %, modReduzir a dimensionalidadePII e privacidade de dadosConclusão
Análise do funilChurn, Lapse e outras definições de saídaAnálise do cabazRecursosLivros e bloguesConjuntos de dadosConsiderações finais

Content preview from SQL para análise de dados

Capítulo 8. Criando conjuntos de dados complexos para análise

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Nos Capítulos 3 a 7, vimos uma série de maneiras pelas quais o SQL pode ser usado para realizar análises de dados em bases de dados. Além desses casos de uso específicos, às vezes o objetivo de uma consulta é montar um conjunto de dados que seja específico, mas de propósito geral o suficiente para que possa ser usado para realizar uma variedade de outras análises. O destino pode ser uma tabela de base de dados, um ficheiro de texto ou uma ferramenta de business intelligence. O SQL necessário pode ser simples, exigindo apenas alguns filtros ou agregações. No entanto, muitas vezes, o código ou a lógica necessária para obter o conjunto de dados desejado pode tornar-se muito complexo. Além disso, é provável que esse código seja atualizado ao longo do tempo, à medida que as partes interessadas solicitam pontos de dados ou cálculos adicionais. A organização, o desempenho e a capacidade de manutenção do teu código SQL tornam-se críticos de uma forma que não é o caso para análises únicas.

Neste capítulo, discutirei os princípios de organização do código para que seja mais fácil partilhar e atualizar. Em seguida, discutirei quando manter a lógica de consulta no SQL e quando considerar a mudança para tabelas permanentes através do código ETL (extrair-transformar-carregar). Em seguida, explicarei as opções para ...