Architecte des plates-formes de données modernes
by Jan Kunigk, Ian Buss, Paul Wilkinson, Lars George
Chapitre 1. L'abécédaire de la technologie du big data
Apache Hadoop est un écosystème étroitement intégré de différents logiciels construits pour fournir un stockage et un traitement distribués évolutifs et fiables. L'inspiration pour une grande partie de l'écosystème Hadoop a été une séquence d'articles publiés par Google dans les années 2000, décrivant des innovations dans les systèmes pour produire un stockage fiable (le Google File System), un traitement (MapReduce, Pregel), et des requêtes à accès aléatoire à faible latence (Bigtable) sur des centaines à des milliers de serveurs potentiellement peu fiables. Pour Google, le principal moteur du développement de ces systèmes était l'opportunité pure et simple : il n'existait tout simplement pas à l'époque de technologies capables de stocker et de traiter les vastes ensembles de données qu'il traitait. L'approche traditionnelle pour effectuer des calculs sur des ensembles de données consistait à investir dans quelques serveurs extrêmement puissants dotés de nombreux processeurs et d'une grande quantité de mémoire vive, à aspirer les données à partir d'une couche de stockage (par exemple, NAS ou SAN), à effectuer un calcul et à écrire les résultats sur la couche de stockage. Au fur et à mesure que l'échelle des données augmentait, cette approche s'est avérée à la fois peu pratique et coûteuse.
L'innovation ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access