Skip to Content
Ingénierie de la fiabilité des sites
book

Ingénierie de la fiabilité des sites

by Niall Richard Murphy, Betsy Beyer, Chris Jones, Jennifer Petoff
November 2024
Intermediate to advanced
552 pages
18h 42m
French
O'Reilly Media, Inc.
Content preview from Ingénierie de la fiabilité des sites

Chapitre 25. Pipelines de traitement des données

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com

Ce chapitre se concentre sur les défis concrets que pose la gestion de pipelines de traitement de données profonds et complexes. Il examine le continuum de fréquence entre les pipelines périodiques qui s'exécutent très rarement et les pipelines continus qui ne s'arrêtent jamais de fonctionner, et discute des discontinuités qui peuvent produire des problèmes opérationnels importants. Une nouvelle approche du modèle leader-suiveur est présentée comme une alternative plus fiable et plus évolutive au pipeline périodique pour le traitement des Big Data.

Origine du modèle de conception de pipeline

L'approche classique du traitement des données consiste à écrire un programme qui lit les données, les transforme d'une certaine manière souhaitée et produit de nouvelles données. Généralement, le programme est programmé pour s'exécuter sous le contrôle d'un programme de planification périodique tel que cron. Ce modèle de conception est appelé pipeline de données. Les pipelines de données remontent aussi loin que les co-routines [Con63], les fichiers de communication DTSS [Bul80], le pipe UNIX [McI86], et plus tard, les pipelines ETL,1 mais ces pipelines ont fait l'objet d'une attention accrue avec l'essor du "Big Data", ou "ensembles de données si volumineux et si complexes ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

AirBnbBlueOriginElectronic ArtsHomeDepotNasdaqRakutenTata Consultancy Services

QuotationMarkO’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
QuotationMarkI wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
QuotationMarkI’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
QuotationMarkI'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Mark W.
Embedded Software Engineer

You might also like

Redéfinir la sélection des systèmes d'exploitation (French Edition)

Redéfinir la sélection des systèmes d'exploitation (French Edition)

Ned Bellavance, Chris Hayner
Optical Solitons

Optical Solitons

Yuri S. Kivshar, Govind Agrawal

Publisher Resources

ISBN: 9798341615533