book

Science des données sur AWS

by Chris Fregly, Antje Barth

November 2024

Intermediate to advanced

524 pages

15h 40m

French

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Aperçu des chapitresQui devrait lire ce livre ?Autres ressourcesConventions utilisées dans ce livreUtiliser des exemples de codeApprentissage en ligne O'ReillyComment nous contacterRemerciements
Les avantages du Cloud ComputingAgileÉconomies de coûtsL'élasticitéInnove plus rapidementDéploiement mondial en quelques minutesTransition en douceur du prototype à la productionPipelines et flux de travail en science des donnéesPipelines Amazon SageMakerAWS Step Functions SDK pour la science des donnéesPipelines KubeflowWorkflows gérés pour Apache Airflow sur AWSMLflowTensorFlow étenduFlux de travail en boucleMeilleures pratiques MLOpsExcellence opérationnelleSécuritéFiabilitéEfficacité des performancesOptimisation des coûtsAmazon AI Services et AutoML avec Amazon SageMakerAmazon AI ServicesAutoML avec SageMaker AutopilotIngestion, exploration et préparation des données dans AWS.Ingestion de données et lacs de données avec Amazon S3 et AWS Lake FormationAnalyse de données avec Amazon Athena, Amazon Redshift et Amazon QuickSightÉvaluer la qualité des données avec AWS Deequ et les travaux de traitement de SageMaker.Étiqueter les données d'apprentissage avec la vérité terrain de SageMakerTransformation des données avec AWS Glue DataBrew, SageMaker Data Wrangler et SageMaker Processing Jobs.Formation et optimisation de modèles avec Amazon SageMakerFormer des modèles avec SageMaker Formation et expériencesAlgorithmes intégrésApporte ton propre script (mode script)Apporte ton propre contenantSolutions préconstruites et modèles préformés avec SageMaker JumpStartAjuster et valider les modèles avec SageMaker Hyper-Parameter TuningDéploiement de modèles avec Amazon SageMaker et les fonctions AWS Lambda.Points de terminaison SageMakerSageMaker Batch TransformDéploiement de modèles sans serveur avec AWS LambdaAnalyse en continu et apprentissage automatique sur AWSAmazon Kinesis StreamingAmazon Managed Streaming pour Apache KafkaPrédictions de flux et détection d'anomaliesInfrastructure AWS et matériel sur mesureTypes d'instances SageMaker ComputeGPU et matériel informatique personnalisé d'AmazonNetwork+ optimisé par le GPU et matériel sur mesure.Options de stockage optimisées pour la formation de modèles à grande échelleRéduire les coûts grâce aux étiquettes, aux budgets et aux alertesRésumé
L'innovation dans tous les secteurs d'activitéRecommandations de produits personnaliséesRecommander des produits avec Amazon PersonalizeGénérer des recommandations avec Amazon SageMaker et TensorFlowGénérer des recommandations avec Amazon SageMaker et Apache SparkDétecter les vidéos inappropriées avec Amazon RekognitionPrévision de la demandePrévoir la consommation d'énergie avec Amazon ForecastPrévoir la demande d'instances Amazon EC2 avec Amazon ForecastIdentifie les faux comptes avec Amazon Fraud DetectorActive la détection des fuites de confidentialité avec Amazon MacieDispositifs conversationnels et assistants vocauxReconnaissance vocale avec Amazon LexConversion du texte en parole avec Amazon PollyConversion de la parole en texte avec Amazon TranscribeAnalyse de texte et traitement du langage naturelTraduire des langues avec Amazon TranslateClassifier les messages d'assistance à la clientèle avec Amazon ComprehendExtraire les détails d'un CV avec Amazon Textract et ComprehendRecherche cognitive et compréhension du langage naturelCentres d'assistance à la clientèle intelligentsServices d'IA industrielle et maintenance prédictiveLa domotique avec AWS IoT et Amazon SageMakerExtraire les informations médicales des documents de santéInfrastructure cloud auto-optimisante et intelligente.Mise à l'échelle automatique prédictive pour Amazon EC2Détection des anomalies dans les flux de donnéesIntelligence économique cognitive et prédictivePose des questions en langage naturel avec Amazon QuickSightFormer et invoquer des modèles SageMaker avec Amazon RedshiftInvoque les modèles Amazon Comprehend et SageMaker à partir de la base de données SQL Amazon Aurora.Invoque SageMaker Model depuis Amazon AthenaExécuter des prédictions sur des données graphiques à l'aide d'Amazon NeptuneFormer la prochaine génération de développeurs en IA et MLConstruis des modèles de vision par ordinateur avec AWS DeepLens.Apprends l'apprentissage par renforcement avec AWS DeepRacerComprendre les GAN avec AWS DeepComposerProgramme le système d'exploitation de la nature avec l'informatique quantiqueBits quantiques contre bits numériquesLa suprématie quantique et les ères de l'informatique quantiqueDéchiffrer la cryptographieSimulations moléculaires et découverte de médicamentsOptimisations logistiques et financièresApprentissage automatique quantique et IAProgrammation d'un ordinateur quantique avec Amazon BraketCentre d'informatique quantique d'AWSAugmenter les performances et réduire les coûtsExaminer automatiquement le code avec CodeGuru ReviewerAméliorer la performance des applications avec CodeGuru ProfilerAméliorer la disponibilité des applications avec DevOps GuruRésumé
Apprentissage automatique avec SageMaker AutopilotSuivi des expériences avec SageMaker AutopilotFormer et déployer un classificateur de texte avec SageMaker AutopilotFormer et déployer avec SageMaker Autopilot UIEntraîner et déployer un modèle avec le SDK Python de SageMaker Autopilot.Prévoir avec Amazon Athena et SageMaker AutopilotFormer et prédire avec Amazon Redshift ML et SageMaker AutopilotApprentissage automatique avec Amazon ComprehendPrédire avec le modèle intégré d'Amazon ComprehendFormer et déployer un modèle personnalisé avec l'interface utilisateur d'Amazon ComprehendEntraîne et déploie un modèle personnalisé avec le SDK Amazon Comprehend Python.Résumé
Lacs de donnéesImporter des données dans le lac de données S3Décris l'ensemble de donnéesInterroger le lac de données Amazon S3 avec Amazon AthenaAccède à Athena depuis la console AWSEnregistrer les données S3 sous forme de tableau AthenaMets à jour les tables Athena à mesure que de nouvelles données arrivent avec AWS Glue Crawler.Créer une table basée sur le parquet dans AthenaIngère continuellement de nouvelles données avec AWS Glue CrawlerConstruis un chalet avec Amazon Redshift SpectrumExporter des données Amazon Redshift vers S3 Data Lake sous forme de parquetsPartager des données entre les clusters Amazon RedshiftChoisir entre Amazon Athena et Amazon RedshiftRéduire les coûts et augmenter les performancesS3 L'intelligence au service de l'entrepriseCloisons de parquet et compressionConception et compression des tables Amazon RedshiftUtilise les filtres de Bloom pour améliorer les performances des requêtesVues matérialisées dans Amazon Redshift SpectrumRésumé
Outils pour l'exploration des données dans AWSVisualiser notre lac de données avec SageMaker StudioPréparer SageMaker Studio à visualiser notre jeu de donnéesExécute un exemple de requête Athena dans SageMaker StudioPlonge dans l'ensemble des données avec Athena et SageMakerInterroger notre entrepôt de donnéesExécuter un exemple de requête Amazon Redshift à partir de SageMaker StudioPlonge dans les données avec Amazon Redshift et SageMakerCréer des tableaux de bord avec Amazon QuickSightDétecter les problèmes de qualité des données avec Amazon SageMaker et Apache Spark.SageMaker Processing JobsAnalyse notre jeu de données avec Apache Spark et Apache Spark.Détecter les biais dans notre ensemble de donnéesGénérer et visualiser des rapports sur les biais avec SageMaker Data WranglerDétecter les biais avec un travail de traitement SageMaker ClarifyIntégrer la détection des biais dans les scripts personnalisés avec SageMaker Clarify Open SourceAtténuer les biais de données en équilibrant les donnéesDétecter les différents types de dérives avec SageMaker ClarifyAnalyse nos données avec AWS Glue DataBrewRéduire les coûts et augmenter les performancesUtilise un Bucket S3 partagé pour les résultats de requêtes Athena non sensibles.Comptages approximatifs avec HyperLogLogMise à l'échelle dynamique d'un entrepôt de données avec AQUA pour Amazon RedshiftAméliore la performance du tableau de bord avec QuickSight SPICERésumé
Effectuer la sélection et l'ingénierie des caractéristiquesSélectionne les caractéristiques d'apprentissage en fonction de l'importance de la caractéristiqueÉquilibrer l'ensemble des données pour améliorer la précision du modèleDivise l'ensemble de données en ensembles de formation, de validation et de test.Transformer un texte brut en BERT EmbeddingsConvertir les caractéristiques et les étiquettes au format de fichier TensorFlow optimisé.Ingénierie des fonctions d'échelle avec SageMaker Processing JobsTransformer avec scikit-learn et TensorFlowTransformer avec Apache Spark et TensorFlowPartager des fonctionnalités par l'intermédiaire de la boutique de fonctionnalités SageMakerIntégrer des fonctionnalités dans la base de données SageMakerRécupérer des fonctionnalités dans la base de données SageMakerIngérer et transformer les données avec SageMaker Data WranglerSuivre l'évolution des artefacts et des expériences avec Amazon SageMakerComprendre les concepts de la traçabilité des lignéesMontre la lignée d'un emploi en ingénierie de fonctionnalitéComprendre l'API SageMaker ExperimentsIngérer et transformer des données avec AWS Glue DataBrewRésumé
Comprendre l'infrastructure de SageMakerIntroduction aux conteneurs SageMakerAugmente la disponibilité grâce à l'isolation du calcul et du réseau.Déployer un modèle BERT pré-entraîné avec SageMaker JumpStartDéveloppe un modèle SageMakerAlgorithmes intégrésApporte ton propre scénarioApporte ton propre contenantUne brève histoire du traitement du langage naturelArchitecture du transformateur BERTFormer BERT à partir de zéroModèle de langage masquéPrédiction de la phrase suivanteAffiner un modèle BERT pré-entraînéCréer le script de formationConfigure les divisions des ensembles de données de formation, de validation et de test.Configurer le modèle de classification personnaliséFormer et valider le modèleSauvegarde le modèleLance le script de formation à partir d'un carnet SageMakerDéfinir les paramètres à saisir et à surveillerConfigure les hyper-paramètres de notre algorithmeSélectionne le type d'instance et le nombre d'instancesRassembler tout cela dans le carnet de notesTélécharge et inspecte notre modèle entraîné à partir de S3Montrer la lignée d'expériences pour notre emploi de formation SageMakerAfficher le lignage d'artefact pour notre travail de formation SageMakerÉvaluer les modèlesFais quelques prédictions ad hoc à partir du carnet de notesAnalyse notre classificateur avec une matrice de confusionVisualise notre réseau neuronal avec TensorBoardContrôler les métriques avec SageMaker StudioSurveiller les mesures avec CloudWatch MetricsDébogage et profilage des modèles de formation avec SageMaker DebuggerDétecter et résoudre les problèmes avec les règles et actions du débogueur SageMakerProfile Training JobsInterpréter et expliquer les prédictions du modèleDétecter les biais du modèle et expliquer les prédictionsDétecter les biais avec un travail de traitement SageMaker ClarifyAttribution et importance des caractéristiques avec SageMaker Clarify et SHAPPlus d'options de formation pour BERTConvertir le modèle TensorFlow BERT en PyTorchEntraîner les modèles BERT de PyTorch avec SageMakerEntraîner les modèles BERT d'Apache MXNet avec SageMakerEntraîne les modèles BERT avec PyTorch et la bibliothèque Java d'AWS Deep.Réduire les coûts et augmenter les performancesUtilise de petites instances d'ordinateur portableTester les scripts de formation au modèle localement dans le carnet de notesProfile Training Jobs with SageMaker DebuggerCommence avec un modèle pré-entraînéUtilise la demi-précision 16 bits et bfloat16Précision totale de 32 bits et demi précision de 16 bitsQuantificationUtilise du matériel optimisé pour la formationInstances ponctuelles et points de contrôleRègle d'arrêt anticipé dans le débogueur SageMakerRésumé
Trouver automatiquement les meilleurs hyper-paramètres du modèleConfigurer les plages d'hyperparamètresLance le travail de réglage des hyper-paramètresAnalyse les meilleurs hyper-paramètres à partir du travail de réglageMontrer la lignée d'expériences pour notre travail de tuning SageMakerUtiliser le démarrage à chaud pour les tâches supplémentaires de réglage des hyperparamètres de SageMakerExécuter une tâche HPT en utilisant le démarrage à chaudAnalyser les meilleurs hyper-paramètres à partir de la tâche de réglage du démarrage à chaudÉvoluer avec la formation distribuée de SageMakerChoisis une stratégie de communication distribuéeChoisis une stratégie de parallélismeChoisir un système de fichiers distribuésLance le travail de formation distribuéeRéduire les coûts et augmenter les performancesCommence par des plages d'hyperparamètres raisonnablesDiviser les données avec ShardedByS3KeyFlux de données à la volée avec Pipe ModePermettre une mise en réseau amélioréeRésumé
Choisis des prédictions en temps réel ou par lotsPrédictions en temps réel avec SageMaker EndpointsDéploiement d'un modèle à l'aide du SDK Python de SageMakerDéploiement du modèle de suivi dans notre expérienceAnalyser la lignée d'expériences d'un modèle déployéInvoque des prédictions à l'aide du SDK Python de SageMakerInvoquer des prédictions à l'aide de HTTP POSTCréer des pipelines d'inférenceInvoquer les modèles SageMaker à partir de requêtes SQL et de requêtes basées sur des graphesMise à l'échelle automatique des terminaux SageMaker à l'aide d'Amazon CloudWatchDéfinis une politique de mise à l'échelle avec les métriques fournies par AWS.Définir une politique de mise à l'échelle avec une mesure personnaliséeRéglage de la réactivité à l'aide d'une période de refroidissementPolitiques d'auto-évaluationStratégies pour déployer des modèles nouveaux et actualisésTrafic fractionné pour les roulements de canarisDéplacer le trafic pour les déploiements bleu/vertTester et comparer les nouveaux modèlesEffectuer des tests A/B pour comparer les variantes de modèlesApprentissage par renforcement avec test de bandit multiarméContrôler les performances du modèle et détecter les dérivesActiver la capture des donnéesComprendre les lignes de base et les dérivesContrôler la qualité des données des terminaux SageMaker déployésCréer une base de référence pour mesurer la qualité des donnéesPlanifier les emplois de contrôle de la qualité des donnéesInspecter les résultats de la qualité des donnéesContrôler la qualité du modèle des terminaux SageMaker déployésCréer une base de référence pour mesurer la qualité du modèlePlanifier les emplois de surveillance de la qualité des modèlesInspecter les résultats de la surveillance de la qualité du modèleSurveiller la dérive des points de terminaison SageMaker déployésCréer une base de référence pour détecter les biaisEmplois de surveillance de la dérive des horairesInspecter les résultats de la surveillance de la dérive de biaisSurveiller la dérive de l'attribution des fonctionnalités des terminaux SageMaker déployésCréer une base de référence pour surveiller l'attribution des caractéristiquesAttribution d'une fonction d'horaire Emplois de surveillance de la dériveInspecter les résultats de la surveillance des dérives de l'attribution des caractéristiquesEffectuer des prédictions par lots avec SageMaker Batch TransformSélectionne un type d'instanceConfigurer les données d'entréeAjuster la configuration de SageMaker Batch TransformPréparer le job de transformation par lots de SageMakerExécuter le job de transformation par lots de SageMakerRéviser les prédictions de lotLes fonctions Lambda d'AWS et la passerelle API d'AmazonOptimiser et gérer les modèles à la périphérieDéploie un modèle PyTorch avec TorchServeInférence TensorFlow-BERT avec la bibliothèque Java d'AWS DeepRéduire les coûts et augmenter les performancesSupprimer les points de terminaison inutilisés et mettre à l'échelle les clusters sous-utilisésDéployer plusieurs modèles dans un seul conteneurAttache un accélérateur d'inférence élastique basé sur le GPUOptimise un modèle entraîné avec SageMaker Neo et TensorFlow LiteUtilise du matériel optimisé par inférenceRésumé

Opérations d'apprentissage automatiquePipelines de logicielsPipelines d'apprentissage automatiqueComposants des pipelines d'apprentissage automatique efficacesÉtapes d'un pipeline d'apprentissage automatique efficaceOrchestration des pipelines avec SageMaker PipelinesCréer une expérience pour suivre l'évolution de notre pipelineDéfinir les étapes de notre pipelineConfigurer les paramètres du pipelineCréer le pipelineDémarre le pipeline avec le SDK PythonDémarrer le pipeline avec l'interface utilisateur de SageMaker StudioApprouve le modèle pour la mise en scène et la productionExamine le lignage de l'artefact du pipelineExamine la lignée de l'expérience de pipelineAutomatisation avec SageMaker PipelinesDéclenchement de GitOps lors de la validation du codeDéclenchement de S3 à l'arrivée de nouvelles donnéesDéclenchement de l'horaire basé sur le tempsDéclencheur de dérive statistiquePlus d'options pour les pipelinesLes fonctions d'étape d'AWS et le SDK de science des donnéesPipelines KubeflowFlux d'air ApacheMLflowTensorFlow étenduFlux de travail en boucleAméliorer la précision des modèles avec Amazon A2IBoucles de rétroaction d'apprentissage actif avec SageMaker Ground TruthRéduire les coûts et améliorer les performancesÉtapes du pipeline de cacheUtiliser des instances Spot moins coûteusesRésumé
Apprentissage en ligne et apprentissage hors ligneApplications de diffusion en continuRequêtes fenêtrées sur les données en continu.Décaler les fenêtresFenêtres à basculeFenêtres coulissantesAnalyse en continu et apprentissage automatique sur AWSClassifie les avis produits en temps réel avec Amazon Kinesis, AWS Lambda et Amazon SageMaker.Mettre en œuvre l'ingestion de données en continu à l'aide d'Amazon Kinesis Data FirehoseCréer une fonction Lambda pour invoquer le point de terminaison de SageMaker.Créer le flux de livraison Kinesis Data FirehoseMets des messages sur le fluxRésumer les critiques de produits en temps réel grâce à l'analyse en continuConfigurer Amazon Kinesis Data AnalyticsCréer un flux de données Kinesis pour fournir des données à une application personnalisée.Créer une fonction AWS Lambda pour envoyer des notifications via Amazon SNS.Créer une fonction AWS Lambda pour publier des métriques sur Amazon CloudWatch.Transformer les données en continu dans Kinesis Data AnalyticsComprendre les flux et les pompes dans l'applicationApplications d'analyse de données Amazon KinesisCalculer le nombre moyen d'étoilesDétecter les anomalies dans les données en continuCalculer les nombres approximatifs de données en continuCréer une application d'analyse de données KinesisDémarrer l'application Kinesis Data AnalyticsMets des messages sur le fluxClassifie les avis sur les produits avec Apache Kafka, AWS Lambda et Amazon SageMaker.Réduire les coûts et améliorer les performancesMessages agrégésConsidérer Kinesis Firehose par rapport aux flux de données KinesisPermet d'améliorer le Fan-Out pour les flux de données KinesisRésumé
Modèle de responsabilité partagée entre AWS et les clientsAppliquer la gestion des identités et des accès d'AWS.Utilisateurs IAMPolitiques IAMRôles des utilisateurs IAMRôles de service IAMSpécifier les clés de condition pour les rôles IAMActiver l'authentification multifactorielleAccès à moindre privilège avec les rôles et politiques IAMPolitiques IAM basées sur les ressourcesPolitiques IAM basées sur l'identitéIsoler les environnements de calcul et de réseau.Cloud privé virtuelPoints d'extrémité VPC et PrivateLinkLimiter les API Athena avec une politique de point de terminaison VPCSécuriser l'accès aux données Amazon S3Nécessité d'un point d'extrémité VPC avec une politique sur les seaux S3Limiter les API S3 pour un S3 Bucket avec une politique de point de terminaison VPCRestreindre l'accès au S3 Bucket à un VPC spécifique avec une politique de S3 BucketLimiter les API S3 à l'aide d'une politique de gestion des buckets S3Restreindre l'accès aux données S3 à l'aide des politiques de rôle IAMRestreindre l'accès au S3 Bucket à un VPC spécifique à l'aide d'une politique de rôle IAMRestreindre l'accès aux données S3 à l'aide des points d'accès S3Chiffrement au reposCréer une clé AWS KMSChiffrer les volumes Amazon EBS pendant la formationCrypte le modèle téléchargé dans S3 après l'entraînementStocke les clés de chiffrement avec AWS KMSAppliquer le chiffrement S3 pour les objets S3 téléchargésAppliquer le chiffrement au repos pour les emplois SageMakerAppliquer le chiffrement au repos pour les blocs-notes SageMakerAppliquer le chiffrement au repos pour SageMaker StudioChiffrement en transitChiffrement TLS post-quantitatif en transit avec KMSChiffrer le trafic entre les conteneurs de formationRenforcer le cryptage inter-conteneurs pour les travaux SageMakerSécurisation des instances de SageMaker NotebookInterdire l'accès à la racine à l'intérieur des carnets SageMakerDésactiver l'accès à Internet pour les blocs-notes SageMakerSécurisation de SageMaker StudioExiger un VPC pour SageMaker StudioAuthentification de SageMaker StudioSécurisation des travaux et des modèles SageMakerNécessité d'un VPC pour les emplois SageMakerExige l'isolation du réseau pour les emplois de SageMakerSécuriser la formation des lacs AWSSécuriser les informations d'identification des bases de données avec AWS Secrets Manager.GouvernanceSécurise les environnements AWS multicomptes avec la tour de contrôle AWSGérer les comptes avec les organisations AWSRenforcer les autorisations au niveau du compte avec les SCPMettre en place des déploiements de modèles multi-comptesAuditabilitéRessources sur les étiquettesEnregistrer les activités et collecter les événementsSuivre l'activité de l'utilisateur et les appels à l'APIRéduire les coûts et améliorer les performancesLimiter les types d'instances pour contrôler les coûtsMettre en quarantaine ou supprimer les ressources non marquéesUtilise les clés KMS de S3 Bucket pour réduire les coûts et augmenter les performances.Résumé

Overview

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com

Grâce à ce livre pratique, les praticiens de l'IA et de l'apprentissage automatique apprendront à construire et à déployer avec succès des projets de science des données sur Amazon Web Services. La pile Amazon AI et machine learning unifie la science des données, l'ingénierie des données et le développement d'applications pour t'aider à niveler tes compétences. Ce guide te montre comment construire et exécuter des pipelines dans le cloud, puis intégrer les résultats dans des applications en quelques minutes au lieu de quelques jours. Tout au long de l'ouvrage, les auteurs Chris Fregly et Antje Barth démontrent comment réduire les coûts et améliorer les performances.

Appliquer la pile Amazon AI et ML à des cas d'utilisation réels pour le traitement du langage naturel, la vision par ordinateur, la détection des fraudes, les appareils conversationnels, et plus encore.
Utiliser l'apprentissage automatique pour mettre en œuvre un sous-ensemble spécifique de cas d'utilisation avec SageMaker Autopilot.
Plonger en profondeur dans le cycle de vie complet du développement de modèles pour un cas d'utilisation NLP basé sur BERT, y compris l'ingestion de données, l'analyse, l'entraînement de modèles et le déploiement.
Relier le tout dans un pipeline d'opérations d'apprentissage automatique reproductible.
Explorer la ML en temps réel, la détection des anomalies et l'analyse en continu sur les flux de données avec Amazon Kinesis et Managed Streaming pour Apache Kafka.
Apprends les meilleures pratiques en matière de sécurité pour les projets et les flux de travail de science des données, notamment la gestion des identités et des accès, l'authentification, l'autorisation, et plus encore.