Architecte des plates-formes de données modernes
by Jan Kunigk, Ian Buss, Paul Wilkinson, Lars George
Avant-propos
Bon nombre des idées qui sous-tendent le projet Apache Hadoop datent de plusieurs décennies. Le monde universitaire et l'industrie explorent le stockage et l'informatique distribués depuis les années 1960. Toute l'industrie technologique est née de la demande des gouvernements et des entreprises en matière de traitement des données, et à chaque étape de ce parcours, les données semblaient volumineuses pour les personnes présentes sur le moment. Même certaines des applications les plus avancées et les plus intéressantes remontent à loin : l'apprentissage automatique, une capacité nouvelle pour de nombreuses entreprises, tire ses origines de la recherche universitaire dans les années 1950 et du travail pratique sur les systèmes dans les années 1960 et 1970.
Mais de véritables systèmes pratiques, utiles, massivement évolutifs et fiables n'ont tout simplement pas pu être trouvés - du moins pas à bon marché - jusqu'à ce que Google se confronte au problème de l'Internet à la fin des années 1990 et au début des années 2000. La collecte, l'indexation et l'analyse de l'ensemble du Web étaient impossibles avec la technologie commerciale disponible à l'époque.
Google a dépoussiéré des décennies de recherche sur les systèmes à grande échelle. Ses architectes ont réalisé que, pour la toute première fois, il était possible d'avoir les ordinateurs et le réseau dont ils avaient besoin, à un coût raisonnable.
Son travail sur le système de fichiers Google (GFS) pour le stockage et ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access