book

Analyse de données avec Python

by Wes McKinney, Daniel Rougé

March 2021

Intermediate to advanced

560 pages

11h 47m

French

Editions First

Read now

Unlock full access

Nouveautés pour la deuxième éditionConventions utilisées dans ce livreUtilisation des exemples de codeTerminologie françaiseIn [] et Out[]
1.1 De quoi parle ce livre ?Quels types de données ?1.2 Pourquoi Python pour l’analyse des données ?Python, roi du collageRésoudre le problème des « deux langages »Pourquoi pas Python ?1.3 Librairies Python essentiellesNumPypandasmatplotlibIPython et JupyterSciPyscikit-learnstatsmodels1.4 Installation et configurationWindowsApple (OSX, macOS)GNU/LinuxInstallation ou mise à jour de packages PythonPython 2 et Python 3Environnements de développement intégrés (IDE) et éditeurs de texte1.5 Communauté et conférences1.6 Naviguer dans ce livreExemples de codeDonnées pour les exemplesConventions d’importationJargon
2.1 L’interpréteur Python2.2 Les bases de IPythonExécuter le shell de IPythonExécuter Jupyter NotebookComplétion automatique de saisieIntrospectionLa commande %runInterrompre l’exécution du codeExécuter du code depuis le presse-papiersRaccourcis clavier du terminalCommandes magiquesIntégration de matplotlib2.3 Bases du langage PythonSémantiqueIndentation sensible, mais pas d’accoladesTout est objetCommentairesAppels de fonctions et de méthodes d’objetsVariables et passage d’argumentsRéférences dynamiques et typage fortAttributs et méthodesTypage canard (typage inductif )ImportationsOpérateurs binaires et comparaisonsObjets mutables et immutablesTypes scalairesTypes numériquesChaînesBytes et UnicodeBooléensTranstypages explicitesNoneDates et heuresContrôle du flux d’exécutionConditions if, elif et elseRépétitions forRépétitions whilepassPlage rangeExpressions ternaires
3.1 Structures de données et séquencesTuplesDissocier des tuplesMéthodes des tuplesListesAjout et suppression d’élémentsConcaténer et combiner des listesTrierRecherches binaires et maintien de l’ordre de triTranchageFonctions sur séquences nativesenumeratesortedzipreversedDictionnaires dictCréation de dict à partir de séquencesValeurs par défautTypes de clés dict validesEnsembles setListes, ensembles et dictionnaires par compréhensionListes par compréhension imbriquées3.2 FonctionsEspaces de noms, portée et fonctions localesRenvoyer des valeurs multiplesLes fonctions sont des objetsFonctions lambda (anonymes)Argumentation partielle par curryficationGénérateursExpressions génératricesLe module itertoolsErreurs et traitement des exceptionsExceptions dans IPython3.3 Les fichiers et le système d’exploitationOctets et Unicode avec les fichiers3.4 Conclusion
4.1 NumPy et ndarray : un objet multidimensionnelCréer des ndarrayTypes de données pour les ndarrayArithmétique avec des tableaux NumPyIndexation et tranchage élémentairesIndexer avec des tranchesIndexation booléenneIndexation fancyTransposer des tableaux et permuter les axes4.2 Fonctions universelles : fonctions de tableau rapides élément par élément4.3 Programmation orientée tableaux avec les tableaux NumPyExprimer une logique conditionnelle sous forme d’opérations de tableauMéthodes mathématiques et statistiquesMéthodes pour les tableaux booléensTrisunique et autres logiques d’ensembles4.4 Entrées et sorties fichiers avec NumPy4.5 Algèbre linéaire4.6 Génération de nombres pseudo-aléatoires4.7 Exemple : marches aléatoiresSimuler plusieurs marches aléatoires à la fois4.8 Conclusion
5.1 Introduction aux structures de données pandasSeriesDataFrameObjets Index5.2 Fonctionnalités essentiellesRéindexationSupprimer des entrées d’un axeIndexation, sélection et filtrageSélection avec loc et ilocIndex numériques entiersArithmétique et alignement des donnéesMéthodes arithmétiques avec valeurs de remplissageOpérations entre DataFrame et SeriesApplication de fonctions et mappageTri et classementIndex d’axes avec des étiquettes dupliquées5.3 Synthèse et statistiques descriptivesCorrélation et covarianceValeurs uniques, dénombrement de valeurs et appartenance5.4 Conclusion
6.1 Lecture et écriture de données au format texteLecture de fichiers texte par morceauxÉcrire des données au format texteTravailler avec des formats à délimiteursDonnées JSONXML et HTML : le web scrapingAnalyse XML avec lxml.objectify6.2 Formats de fichiers binairesUtiliser le format HDF5Lire des fichiers Microsoft Excel6.3 Interagir avec des APIWeb6.4 Interagir avec des bases de données6.5 Conclusion

7.1 Traitement des données manquantesFiltrer les données manquantesCompléter les données manquantes7.2 Transformer les donnéesSupprimer les doublonsTransformer des données à l’aide d’une fonction ou d’un mappageRemplacer des valeursRenommer les index d’un axeDiscrétisation et binningDétecter et filtrer les valeurs aberrantesPermutation et échantillonnage aléatoireCalculer des variables indicatrices/factices7.3 Manipuler des chaînesMéthodes pour les objets chaînesExpressions régulièresFonctions de chaîne vectorisées dans pandas7.4 Conclusion
8.1 Indexation hiérarchiqueRéorganiser et trier les niveauxStatistiques sommaires par niveauIndexer avec les colonnes d’un DataFrame8.2 Combiner et fusionner des jeux de donnéesJointures de DataFrame en style bases de donnéesFusion sur l’indexConcaténer le long d’un axeCombiner des données avec chevauchement8.3 Remodeler et pivoterRemodelage avec indexation hiérarchiqueFaire pivoter du format « long » au format « large »Faire pivoter du format « large » au format « long »8.4 Conclusion
9.1 Un bref aperçu de l’API de matplotlibFigures et sous-tracésAjuster l’espacement autour des sous-tracésCouleurs, marqueurs et styles de lignesMarques, étiquettes et légendesDéfinir le titre, les étiquettes des axes, les marques de graduation et les étiquettes des marquesAjouter des légendesAnnotations et dessin sur un sous-tracéEnregistrement de tracés dans un fichierConfiguration de matplotlib9.2 Tracer avec pandas et seabornTracés linéairesGraphiques en barresHistogrammes et tracés de densitéGraphiques de dispersion et nuages de pointsGrilles à facettes et données catégorielles9.3 Autres outils de visualisation Python9.4 Conclusion
10.1 Mécanisme de GroupByItérer sur des groupesSélectionner une colonne ou un sous-ensemble de colonnesGrouper avec des dicts et des sériesGrouper avec des fonctionsGrouper par niveaux d’index10.2 Agrégation de donnéesApplication par colonnes et fonctions multiplesRenvoyer des données agrégées sans index de lignes10.3 Séparer-appliquer-combiner avec applySupprimer les clés de groupeAnalyse par quantiles et baquetsExemple : remplir les valeurs manquantes avec des valeurs spécifiques au groupeExemple : échantillonnage aléatoire et permutationExemple : moyennes de groupe pondérées et corrélationsExemple : régression linéaire par groupe10.4 Tableaux croisés dynamiques et tableaux pivotsTableaux croisés simples10.5 Conclusion
11.1 Types de données et outils de date et d’heureConversions entre chaînes de caractères et datetime11.2 Les bases des séries chronologiquesIndexation, sélection, substitutionSéries temporelles avec indices dupliqués11.3 Plages de dates, fréquences et décalagesGénérer des plages de datesFréquences et décalages de datesDates de la semaine du moisDécalage de données (avance et retard)Changements de dates avec décalages11.4 Gérer les fuseaux horairesLocalisation et conversion des fuseaux horairesOpérations avec des objets d’horodatage tenant compte du fuseau horaireOpérations entre fuseaux horaires11.5 Travailler avec les périodes de tempsConversion de fréquence des périodesFréquences trimestriellesConversion des horodatages en périodes (et inversement)Création d’un PeriodIndex à partir de tableaux11.6 Rééchantillonnage et conversion de fréquencesSous-échantillonnageRééchantillonnage OHLCSuréchantillonnage et interpolationRééchantillonnage avec des périodes11.7 Fonctions de fenêtre mobileFonctions à pondération exponentielleFonctions de fenêtre mobile binairesFonctions de fenêtre mobile définies par l’utilisateur11.8 Conclusion
12.1 Données catégoriellesContexte et motivationLe type Categorical de pandasCalculs avec CategoricalDe meilleures performances avec les catégoriesMéthodes catégoriellesVariables factices pour la modélisation12.2 Utilisation avancée de GroupByTransformations de groupes et « déballages »Rééchantillonnage temporel groupé12.3 Techniques de chaînage de méthodesLa méthode de canalisation pipe12.4 Conclusion
13.1 Interfaçage entre pandas et le code de modélisation13.2 Créer des descriptions de modèles avec PatsyTransformations de données dans les formules de PatsyDonnées catégorielles et Patsy13.3 Introduction à statsmodelsEstimation des modèles linéairesEstimer des processus de séries temporelles13.4 Introduction à scikit-learn13.5 Pour poursuivre votre formation
14.1 Données USA gov de BitlyDénombrer des zones Time Zone en Python purDénombrer des zones Time Zone avec pandas14.2 Jeu de données MovieLens 1MMesurer les divergences de notation14.3 Prénoms des bébés américains 1880-2010Analyse des tendances de choix de prénomMesure de l’augmentation de diversité des prénomsLa révolution de la « dernière lettre »Prénoms de garçons devenus prénoms de filles (et vice versa)14.4 Base de données sur l’alimentation de l’USDA14.5 Base de données de la Commission électorale fédérale 2012Statistiques sur les dons par profession et par employeurDistribution des montants des dons en baquetsStatistiques sur les dons par État14.6 Conclusion
A.1 Détails internes de l’objet ndarrayHiérarchie des types de NumPyA.2 Manipulation sophistiquée des tableauxReformation d’un tableauOrdre de parcours C ou FortranConcaténation et division de tableauxAssistants d’empilement r_ et c_Répétition d’éléments avec tile et repeatÉquivalents à l’indexation fancy : take et putA.3 Diffusion (broadcasting)Règle de la diffusionDiffusion selon d’autres axesCréation de valeurs de tableau par diffusionA.4 Utilisation avancée de ufuncMéthodes d’instance ufuncCréation de nouvelles ufunc en PythonA.5 Tableaux structurés et enregistrementsImbrication de dtype et champs multidimensionnelsPourquoi recourir aux tableaux structurés ?A.6 Retour sur les trisTri indirect avec argsort et lexsortAutres algorithmes de triTri partiel d’un tableaunumpy.searchsorted : recherche d’éléments dans un tableau triéA.7 Fonctions NumPy rapides avec NumbaCréation d’un objet numpy.ufunc spécifique avec NumbaA.8 Entrées et sorties tableaux sophistiquéesFichiers relayés en mémoire (memory mapped)Format HDF5 et autres options de stockage de tableauxA.9 Considérations de performancesDe l’importance de la continuité d’implantation mémoire
B.1 Historique de ligne de commandeRecherche dans l’historique et réutilisation de commandeVariables d’entrée et de sortieB.2 Interactions avec le système d’exploitationCommandes shell et aliasSignets de répertoiresB.3 Outils de développement logicielDébogueur interactifAutres utilisations du débogueurChronométrage d’exécution avec %time et %timeitProfilage élémentaire avec %prun et %run -pProfilage d’une fonction ligne par ligneB.4 Astuces de développement IPythonRechargement des dépendances de modulesAstuces de conception du codeMaintenez les objets et les données utiles en vieLimitez la profondeur des cascades d’appelsNe multipliez pas les fichiers code sourceB.5 Fonctions IPython sophistiquéesRendre vos propres classes IPythonesquesProfils et configurationB.6 Conclusion

Content preview from Analyse de données avec Python

Préface

Cette édition française est dédiée à la mémoire de Daniel Rougé, emporté par le Covid-19 alors qu’il finissait la traduction française du présent livre. Nos remerciements à Olivier Engler pour avoir repris le flambeau à sa suite afin de finaliser son travail.

Nouveautés pour la deuxième édition

La première édition (en anglais) de ce livre avait été publiée en 2012, à une époque où les librairies d’analyse de données open source pour Python (telles que pandas) étaient très récentes et se développaient rapidement. Dans cette deuxième édition mise à jour et augmentée, j’ai revu les chapitres pour tenir compte à la fois des changements et des dépréciations incompatibles, ainsi que des nouvelles fonctionnalités qui sont apparues au cours de ces ...