book

SQL para análise de dados

by Cathy Tanimura

April 2025

Intermediate to advanced

360 pages

10h 44m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Convenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é a análise de dados?Porquê SQL?O que é a SQL?Vantagens da SQLSQL versus R ou PythonSQL como parte do fluxo de trabalho de análise de dadosTipos de bases de dados e como trabalhar com elasBases de dados Row-StoreBancos de dados com armazenamento de colunasOutros tipos de infra-estruturas de dadosConclusão
Tipos de dadosTipos de dados da base de dadosEstruturado e não estruturadoDados quantitativos e qualitativosDados de primeira, segunda e terceira parteDados esparsosEstrutura da consulta SQLPerfilamento: DistribuiçõesHistogramas e frequênciasBinningn-TelhasDefinição de perfis: Qualidade dos dadosDetetar duplicadosDeduplicação com GROUP BY e DISTINCTPrepara-te: Limpeza de dadosLimpeza de dados com transformações CASEConversões de tipos e fundiçãoLidando com nulos: funções coalesce, nullif, nvlDados em faltaPrepara-te: Moldar os dadosPara que tipo de saída: BI, Visualização, Estatística, MLPivotar com instruções CASEDesvinculação com instruções UNIONFunções pivot e unpivotConclusão
Manipulações de data, data e horaConversões de fuso horárioConversões de formatos de data e de carimbo de data/horaData MatemáticaMatemática do tempoJunção de dados de diferentes fontesO conjunto de dados de vendas a retalhoTendências dos dadosTendências simplesComparação de componentesPercentagem do total de cálculosIndexação para ver a modificação percentual ao longo do tempoJanelas de tempo de rolamentoCálculo de janelas de tempo de rolamentoWindows de tempo variável com dados esparsosCálculo de valores acumuladosAnálise com sazonalidadeComparações entre períodos: YoY e MoMComparações de período a período: Mesmo mês em relação ao ano passadoComparação com vários períodos anterioresConclusão
Coortes: Um quadro de análise útilO conjunto de dados dos legisladoresRetençãoSQL para uma curva de retenção básicaAjuste de séries cronológicas para aumentar a precisão da retençãoCoortes derivadas da própria série cronológicaDefinição da coorte a partir de uma tabela separadaLidar com coortes esparsasDefinição de coortes a partir de datas diferentes da primeira dataAnálises de coortes relacionadasSobrevivênciaComportamento de devolução ou repetição de compraCálculos acumuladosAnálise de secção transversal, através de uma lente de coorteConclusão
Porquê a análise de texto com SQL?O que é a análise de texto?Porque é que a SQL é uma boa escolha para a análise de textoQuando a SQL não é uma boa escolhaO conjunto de dados sobre avistamentos de OVNIsCaraterísticas do textoAnálise de textoTransformações de textoEncontrar elementos em blocos de texto maioresJogos de coringas: GOSTA, GOSTACorrespondências exactas: IN, NOT INExpressões regularesConstruir e remodelar o textoConcatenaçãoReformular o textoConclusão
Capacidades e limites da SQL para a deteção de anomaliasO conjunto de dadosDeteção de valores atípicosOrdenação para encontrar anomaliasCálculo de percentis e desvios padrão para encontrar anomaliasGráficos para encontrar anomalias visualmenteFormas de anomaliasValores anómalosContagens ou frequências anómalasAnomalias decorrentes da ausência de dadosTratamento de anomaliasInvestigaçãoRemoçãoSubstituição por valores alternativosRedimensionamentoConclusão
Pontos fortes e limites da análise de experiências com SQLO conjunto de dadosTipos de experiênciasExperiências com resultados binários: O teste do qui-quadradoExperiências com resultados contínuos: O teste tDesafios das experiências e opções para recuperar experiências defeituosasAtribuição de variantesAnómalosTempo de boxeExperiências de exposição repetidaQuando as experiências controladas não são possíveis: Análises alternativasPré/Pós-análiseAnálise de experiências naturaisAnálise de populações em torno de um limiarConclusão
Quando utilizar SQL para conjuntos de dados complexosVantagens da utilização de SQLQuando é que deves construir em ETLQuando deves colocar a lógica noutras ferramentasCódigo OrganizaçãoComentáriosCapitalização, indentação, parênteses e outros truques de formataçãoArmazenamento do códigoOrganizar os cálculosCompreender a ordem da avaliação da cláusula SQLSubconsultasTabelas temporáriasExpressões de tabela comunsagrupamento de conjuntosGerir a dimensão do conjunto de dados e as preocupações com a privacidadeAmostragem com %, modReduzir a dimensionalidadePII e privacidade de dadosConclusão
Análise do funilChurn, Lapse e outras definições de saídaAnálise do cabazRecursosLivros e bloguesConjuntos de dadosConsiderações finais

Content preview from SQL para análise de dados

Capítulo 6. Deteção de anomalias

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Uma anomalia é algo que é diferente de outros membros do mesmo grupo. Nos dados, uma anomalia é um registo, uma observação ou um valor que difere dos restantes pontos de dados de uma forma que levanta preocupações ou suspeitas. As anomalias têm vários nomes diferentes, incluindo outliers, novidades, ruído, desvios e excepções, para citar alguns. Usarei os termos anomalia e outlier de forma intercambiável ao longo deste capítulo, e poderás ver os outros termos usados em discussões sobre este tópico também. A deteção de anomalias pode ser o objetivo final de uma análise ou uma etapa de um projeto de análise mais amplo.

Normalmente, as anomalias têm uma de duas fontes: eventos reais que são extremos ou invulgares, ou erros introduzidos durante a recolha ou processamento de dados. Embora muitos dos passos utilizados para detetar anomalias sejam os mesmos, independentemente da fonte, a forma como escolhemos lidar com uma determinada anomalia depende da causa principal. Consequentemente, é importante para o processo de análise compreender a causa principal e distinguir entre os dois tipos de causas.

Os eventos reais podem gerar valores anómalos por uma série de razões. Os dados anómalos podem assinalar fraudes, intrusões na rede, defeitos estruturais num produto, lacunas nas políticas ou uma utilização do produto que não foi planeada ...