book

Python para Análise de Dados, 3ª Edição

by Wes McKinney

April 2025

Intermediate to advanced

582 pages

13h 33m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Convenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentosIn Memoriam: John D. Hunter (1968-2012)Agradecimentos da terceira edição (2022)Agradecimentos da segunda edição (2017)Agradecimentos pela primeira edição (2012)
1.1 De que trata este livro?Que tipos de dados?1.2 Porquê Python para análise de dados?Python como colaResolver o problema das "duas línguas"Porque não o Python?1.3 Bibliotecas Python essenciaisNumPypandasmatplotlibIPython e JupyterSciPyscikit-learnmodelos estatísticosOutros pacotes1.4 Instalação e configuraçãoMiniconda no WindowsGNU/LinuxMiniconda no macOSInstalar os pacotes necessáriosAmbientes de desenvolvimento integrado e editores de texto1.5 Comunidade e conferências1.6 Navegar neste livroExemplos de códigosDados para exemplosConvenções de importação
2.1 O interpretador Python2.2 Noções básicas de IPythonExecutar o IPython ShellExecutando o Jupyter NotebookConclusão do separadorIntrospeção2.3 Noções básicas da linguagem PythonSemântica da línguaTipos escalaresFluxo de controlo2.4 Conclusão
3.1 Estruturas de dados e sequênciasTuplaListaDicionárioPrepara-teFunções de sequência incorporadasCompreensões de listas, conjuntos e dicionários3.2 FunçõesNamespaces, escopo e funções locaisRetorna vários valoresAs funções são objectosFunções anónimas (Lambda)GeradoresErros e tratamento de excepções3.3 Ficheiros e o sistema operativoBytes e Unicode com ficheiros3.4 Conclusão
4.1 O NumPy ndarray: Um Objeto de Matriz MultidimensionalCriar ndarraysTipos de dados para ndarraysAritmética com matrizes NumPyIndexação e corte básicosIndexação booleanaIndexação de fantasiaTransposição de matrizes e troca de eixos4.2 Geração de números pseudo-aleatórios4.3 Funções universais: Funções rápidas de matriz com elementos4.4 Programação orientada a matrizes com matrizesExpressando a lógica condicional como operações de matrizMétodos matemáticos e estatísticosMétodos para matrizes booleanasOrdenaçãoLógica de conjuntos únicos e outros4.5 Entrada e saída de ficheiros com matrizes4.6 Álgebra Linear4.7 Exemplo: Passeios aleatóriosSimulando muitos passeios aleatórios de uma só vez4.8 Conclusão
5.1 Introdução às estruturas de dados do pandasSérieDataFrameObjetos de índice5.2 Funcionalidade essencialReindexaçãoEliminar entradas de um eixoIndexação, seleção e filtragemAlinhamento aritmético e de dadosAplicação e mapeamento de funçõesOrdenação e classificaçãoÍndices de eixos com etiquetas duplicadas5.3 Resumo e cálculo de estatísticas descritivasCorrelação e CovariânciaValores exclusivos, contagens de valores e associação5.4 Conclusão
6.1 Ler e escrever dados em formato de textoLer ficheiros de texto por partesEscrever dados em formato de textoTrabalhar com outros formatos delimitadosDados JSONXML e HTML: Raspagem da Web6.2 Formatos de dados bináriosLer ficheiros Microsoft ExcelUtilizar o formato HDF56.3 Interagir com APIs da Web6.4 Interagir com bases de dados6.5 Conclusão
7.1 Tratamento de dados em faltaFiltragem de dados em faltaPreencher dados em falta7.2 Transformação de dadosRemover duplicadosTransformando dados usando uma função ou mapeamentoSubstituição de valoresRenomear índices de eixosDiscretização e BinningDeteção e filtragem de outliersPermutação e amostragem aleatóriaCálculo de variáveis indicadoras/dummy7.3 Tipos de dados de extensão7.4 Manipulação de cordasMétodos incorporados de objectos String em PythonExpressões regularesFunções de cadeia de caracteres no pandas7.5 Dados categóricosAntecedentes e motivaçãoTipo de extensão categórica em pandasCálculos com categóricosMétodos categóricos7.6 Conclusão
8.1 Indexação hierárquicaReordenação e ordenação de níveisEstatísticas resumidas por nívelIndexação com as colunas de um DataFrame8.2 Combinação e fusão de conjuntos de dadosJunções de DataFrame no estilo de banco de dadosFundir no índiceConcatenação ao longo de um eixoCombinação de dados com sobreposição8.3 Remodelação e rotaçãoReformulação com indexação hierárquicaPassa do formato "longo" para o "largo"Passa do formato "largo" para o formato "longo"8.4 Conclusão
9.1 Uma breve introdução à API do matplotlibFiguras e subtramasCores, marcadores e estilos de linhaCarraças, rótulos e lendasAnotações e desenho numa subparcelaGuardar parcelas num ficheiroConfiguração do matplotlib9.2 Traçar gráficos com pandas e seabornParcelas de linhasLotes de barrasHistogramas e gráficos de densidadeGráficos de dispersão ou de pontosGrelhas de facetas e dados categóricos9.3 Outras ferramentas de visualização Python9.4 Conclusão

10.1 Como pensar nas operações de grupoIteração sobre gruposSeleção de uma coluna ou subconjunto de colunasAgrupar com dicionários e sériesAgrupar com funçõesAgrupamento por níveis de índice10.2 Agregação de dadosAplicação de funções múltiplas e por colunasRetornando dados agregados sem índices de linha10.3 Aplicar: Geral dividir-aplicar-combinarSuprimir as teclas de grupoAnálise de quantis e de compartimentosExemplo: Preenchimento de valores em falta com valores específicos do grupoExemplifica: Amostragem aleatória e permutaçãoExemplo: Média ponderada de grupo e correlaçãoExemplo: Regressão linear de grupo10.4 Transformações de grupo e GroupBys "não envoltos"10.5 Tabelas dinâmicas e tabelas cruzadasTabulações cruzadas: Tabulação cruzada10.6 Conclusão
11.1 Tipos e ferramentas de dados de data e horaConvertendo entre String e Datetime11.2 Noções básicas sobre séries temporaisIndexação, seleção, subconjuntoSéries cronológicas com índices duplicados11.3 Intervalos de datas, frequências e deslocaçõesGeração de intervalos de datasFrequências e desvios de dataMudança de dados (principais e atrasados)11.4 Tratamento do fuso horárioLocalização e conversão de fusos horáriosOperações com objectos de carimbo de data/hora sensíveis ao fuso horárioOperações entre fusos horários diferentes11.5 Períodos e aritmética de períodosConversão período-frequênciaFrequências de períodos trimestraisConverter carimbos de data/hora em períodos (e vice-versa)Criando um PeriodIndex a partir de matrizes11.6 Reamostragem e conversão de frequênciaReduzir a amostragemUpsampling e interpolaçãoReamostragem com períodosReamostragem de tempo agrupado11.7 Funções de janelas móveisFunções ponderadas exponencialmenteFunções de janela móvel bináriaFunções de janelas móveis definidas pelo utilizador11.8 Conclusão
12.1 Interface entre o pandas e o código modelo12.2 Criar descrições de modelos com o PatsyTransformações de dados em fórmulas PatsyDados categóricos e Patsy12.3 Introdução aos modelos estatísticosEstimativa de modelos linearesEstimativa de processos de séries temporais12.4 Introdução ao scikit-learn12.5 Conclusão
13.1 Dados Bitly de 1.USA.govContando Fusos Horários em Python PuroConta os fusos horários com pandas13.2 Conjunto de dados MovieLens 1MMedir a discordância das classificações13.3 Nomes de bebés nos EUA 1880-2010Analisar as tendências de nomes13.4 Base de dados alimentar do USDA13.5 Base de dados da Comissão Eleitoral Federal de 2012Estatísticas de donativos por profissão e entidade patronalQuantias de donativos para o BucketingEstatísticas de doações por estado13.6 Conclusão
A.1 Aspectos internos do objeto ndarrayHierarquia de tipos de dados NumPyA.2 Manipulação avançada de matrizesReformulação de matrizesOrdem C versus FORTRANConcatenação e divisão de matrizesElementos de repetição: telha e repeteEquivalentes de indexação especiais: compra e vendaA.3 DifusãoTransmissão através de outros eixosDefinindo valores de matriz por difusãoA.4 Utilização avançada de ufuncMétodos de instância ufuncEscreve novas ufuncs em PythonA.5 Matrizes estruturadas e de registosTipos de dados aninhados e campos multidimensionaisPor que usar matrizes estruturadas?A.6 Mais sobre a ordenaçãoOrdenação indireta: argsort e lexsortAlgoritmos de ordenação alternativosOrdenação parcial de matrizesnumpy.searchsorted: Encontrando elementos em uma matriz ordenadaA.7 Escrever funções NumPy rápidas com o NumbaCriar objectos numpy.ufunc personalizados com o NumbaA.8 Entrada e saída de matriz avançadaFicheiros com memória mapeadaHDF5 e outras opções de armazenamento em matrizA.9 Sugestões de desempenhoA importância da memória contígua
B.1 Atalhos de teclado do terminalB.2 Acerca dos comandos mágicosO comando %runExecutando código da área de transferênciaB.3 Utilizar o histórico de comandosPesquisa e reutilização do histórico de comandosVariáveis de entrada e saídaB.4 Interagir com o sistema operativoComandos e aliases do shellSistema de marcadores de diretórioB.5 Ferramentas de desenvolvimento de softwareDepurador interativoCódigo de temporização: %time e %timeitCriação básica de perfis: %prun e %run -pCriação de perfil de uma função linha a linhaB.6 Dicas para um desenvolvimento produtivo de código usando IPythonDependências do módulo de recargaDicas de design de códigoB.7 Funcionalidades avançadas do IPythonPerfis e configuraçãoB.8 Conclusão

Content preview from Python para Análise de Dados, 3ª Edição

Sobre o autor

Wes McKinney é um programador de software e empresário de Nashville. Depois de terminar a sua licenciatura em matemática no MIT em 2007, começou a trabalhar em finanças quantitativas na AQR Capital Management em Greenwich, CT. Frustrado com as pesadas ferramentas de análise de dados, aprendeu Python e começou a construir o que mais tarde se tornaria o projeto pandas. É agora um membro ativo da comunidade de dados Python e é um defensor da utilização de Python em aplicações de análise de dados, finanças e computação estatística.

Mais tarde, Wes foi cofundador e CEO da DataPad, cujos activos tecnológicos e equipa foram adquiridos pela Cloudera em 2014. Desde então, envolveu-se na tecnologia de big data, juntando-se aos Comités de Gestão de Projetos para os projetos Apache Arrow e Apache Parquet na Apache Software Foundation. Em 2018, funda a Ursa Labs, uma organização sem fins lucrativos focada no desenvolvimento do Apache Arrow, em parceria com a RStudio e a Two Sigma Investments. Em 2021, cofundou a startup de tecnologia Voltron Data, onde atualmente trabalha como Diretor de Tecnologia.