97 Dinge, die jeder Dateningenieur wissen sollte

Kapitel 27. Effektives Data Engineering in der Cloud-Welt

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Dipti Borkar

Vizepräsident für Produkte, Alluxio

Die Cloud hat die Dynamik des Data Engineering und das Verhalten der Data Engineers in vielerlei Hinsicht verändert. Das liegt vor allem daran, dass sich ein Dateningenieur vor Ort nur mit Datenbanken und einigen Teilen des Hadoop-Stacks beschäftigt. In der Cloud sind die Dinge ein wenig anders.

Dateningenieure müssen plötzlich anders und umfassender denken. Anstatt sich nur auf die Dateninfrastruktur zu konzentrieren, bist du jetzt fast ein Full-Stack-Ingenieur (vielleicht ohne die endgültige Endanwendung). Es werden zunehmend Fähigkeiten für den gesamten Stack benötigt - Compute, Container, Speicherung, Datenbewegung, Leistung, Netzwerk. Hier sind einige Designkonzepte und Elemente des Datenstacks, die du im Hinterkopf behalten solltest.

Disaggregierter Datenstapel

In der Vergangenheit waren Datenbanken eng miteinander verbunden, da alle Kernkomponenten zusammen gebaut wurden. Mit Hadoop änderte sich das, denn hier wurden die Datenverarbeitung und die Speicherung in einem verteilten System zusammengeführt, anstatt in einer oder wenigen Boxen untergebracht zu sein. Dann änderte die Cloud das. Heute ist es ein vollständig disaggregierter Stack ...