Guide d'étude AWS Certified Data Engineer Associate

Chapitre 8. Mise en œuvre des pipelines de traitement par lots et en continu

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Dans les chapitres précédents, nous avons fourni une vue d'ensemble des services d'analyse de données AWS et expliqué comment concevoir un pipeline d'ingestion de données, appliquer des transformations, gérer les magasins de données, mettre en œuvre la sécurité et la gouvernance, et atteindre l'efficacité opérationnelle pour tes charges de travail analytiques.

Dans ce chapitre, nous allons fournir un guide de mise en œuvre pratique des cas d'utilisation populaires pour les pipelines de traitement par lots et en continu. Avant de commencer, assure-toi d'avoir créé un compte AWS et configuré les autorisations IAM comme indiqué au chapitre 2.

Pipeline de traitement des données

Un pipeline de traitement des données est une séquence d'étapes permettant d'affiner et de transformer les données et de les mettre à disposition dans un format pouvant être consommé par les utilisateurs finaux à des fins d'analyse. Les cas d'utilisation pour lesquels les données doivent être transformées peuvent être les suivants :

• Nettoyer les données et améliorer leur qualité

• Transformer les données en les agrégeant à des ensembles de données internes et en appliquant des règles commerciales spécifiques.

• Les formater pour l'analyse des séries temporelles ou préparer les données pour le développement ...