book

Construire des systèmes d'analyse en temps réel

by Mark Needham

November 2024

Intermediate to advanced

220 pages

5h 13m

French

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Conventions utilisées dans ce livreUtiliser des exemples de codeApprentissage en ligne O'ReillyComment nous contacterRemerciements
Qu'est-ce qu'un flux d'événements ?Donner du sens aux données en continuQu'est-ce que l'analyse en temps réel ?Avantages de l'analyse en temps réelNouvelles sources de revenusAccès rapide aux informationsRéduction des coûts d'infrastructureAmélioration de l'expérience globale des clientsCas d'utilisation de l'analyse en temps réelAnalyse de l'utilisateurPersonnalisationMétriquesDétection des anomalies et analyse des causes profondesVisualisationAnalyse ad hocAnalyse de logs/recherche de texteClassification des applications d'analyse en temps réelFace interne ou face externeFace à la machine ou face à l'hommeRésumé
Définir l'écosystème de l'analyse en temps réelLa pile de streaming classiqueTraitement des événements complexesL'ère du Big DataLa pile de streaming moderneProducteurs d'événementsPlateforme de données en continuCouche de traitement des fluxCouche de serviceFrontendRésumé
Architecture existanteMise en placeMySQLApache KafkaZooKeeperService des commandesFaire tourner les composantsInspecter les donnéesApplications de l'analyse en temps réelRésumé
Qu'est-ce que Kafka Streams ?Qu'est-ce que Quarkus ?Application QuarkusInstallation de l'interface de programmation de QuarkusCréation d'une application QuarkusCréation d'une topologieInterroger le magasin clé-valeurCréation d'un point de terminaison HTTPExécuter l'applicationInterroger le point de terminaison HTTPLimites des flux KafkaRésumé
Pourquoi ne pouvons-nous pas utiliser un autre processeur de flux ?Pourquoi ne pouvons-nous pas utiliser un entrepôt de données ?Qu'est-ce que le pinot Apache ?Comment Pinot modélise-t-il et stocke-t-il les données ?SchémaTableauMise en placeIngestion de donnéesExplorateur de données sur le pinotIndicesMise à jour de l'application WebRésumé
Architecture du tableau de bordQu'est-ce que Streamlit ?Mise en placeConstruire le tableau de bordRésumé
Saisir les changements dans les bases de données opérationnellesSaisie des données de changementPourquoi avons-nous besoin du CDC ?Qu'est-ce que le CDC ?Quelles sont les stratégies de mise en œuvre du CDC ?Capture de données basée sur le journalExigences pour un système CDCDebeziumAppliquer le CDC à l'AATDMise en placeConnecter Debezium à MySQLInterroger le flux de produitsMise à jour des produitsRésumé
Enrichir les commandes avec les flux KafkaAjouter des éléments de commande à PinotMise à jour du service des commandesActualiser le tableau de bord StreamlitRésumé

Statuts de la commandeOrdres enrichis FluxLes remontées en Apache PinotMise à jour du service des commandesCréation de UsersResourceAjouter un point de terminaison allUsersAjout d'un point de terminaison pour les commandes d'utilisateursAjouter un point de terminaison de commande individuelleConfiguration du partage de ressources entre originesApplication frontaleStatuts des commandes sur le tableau de bordTemps passé dans chaque état de la commandeCommandes qui pourraient être bloquéesRésumé
Statuts de livraisonMise à jour d'Apache PinotCommandesStatuts de livraisonMise à jour du service des commandesCommandes individuellesCommandes retardées par régionConsommer les nouveaux points de terminaison de l'APIRésumé
PréproductionPlanification des capacitésPartitionnement des donnéesDébitConservation des donnéesGranularité des donnéesTaille totale des donnéesFacteur de réplicationPlate-forme de déploiementCompétences internesConfidentialité et sécurité des donnéesCoûtContrôlePostproductionSurveillance et alerteGouvernance des donnéesRésumé
Recommandation de contenu (réseau social professionnel).Le problèmeLa solutionAvantagesAnalyse opérationnelle (service de diffusion en continu)Le problèmeLa solutionAvantagesAnalyse des publicités en temps réel (marché en ligne)Le problèmeLa solutionAvantagesAnalyse de l'utilisateur (plateforme de collaboration)Le problèmeLa solutionAvantagesRésumé
Analyse des bordsSéparation de l'ordinateur et du stockageLes entrepôts de donnéesVisualisation des données en temps réelBases de données en continuPlate-forme de données en continu en tant que serviceETL inverséRésumé

Overview

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com

Acquiers une connaissance approfondie de l'analyse en temps réel, notamment des caractéristiques de ces systèmes et des problèmes qu'ils résolvent. Grâce à ce livre pratique, les ingénieurs de données des organisations qui utilisent des systèmes de traitement des événements tels que Kafka, Google Pub/Sub et AWS Kinesis apprendront à analyser les flux de données en temps réel. Plus vite tu déduiras des informations, plus vite tu pourras repérer les changements dans ton entreprise et agir en conséquence.

L'auteur Mark Needham de StarTree donne une vue d'ensemble de l'espace analytique en temps réel et une compréhension de ce qui entre dans la construction d'applications en temps réel. La deuxième partie du livre propose une série de tutoriels pratiques qui te montrent comment combiner plusieurs produits logiciels pour créer des applications d'analyse en temps réel pour un service de livraison de pizzas imaginaire.

Tu pourras :

Apprendre les architectures communes pour l'analyse en temps réel.
Découvrir en quoi le traitement des événements diffère de l'analyse en temps réel.
Ingérer des données d'événements d'Apache Kafka dans Apache Pinot
Combiner des flux d'événements avec des données OLTP en utilisant Debezium et Kafka Streams
Écrire des requêtes en temps réel sur les données d'événements stockées dans Apache Pinot.
Construire un tableau de bord en temps réel et une application de suivi des commandes
Découvre comment Uber, Stripe et Just Eat utilisent l'analyse en temps réel.