Kapitel 8. Lesen von und Schreiben in externe Systeme
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
Daten können in vielen verschiedenen Systemen gespeichert werden, z. B. in Dateisystemen, Objektspeichern, relationalen Datenbanksystemen, Key-Value-Speichern, Suchindizes, Ereignisprotokollen, Nachrichtenwarteschlangen und so weiter. Jede Systemklasse wurde für bestimmte Zugriffsmuster entwickelt und eignet sich hervorragend für einen bestimmten Zweck. Daher bestehen die heutigen Dateninfrastrukturen oft aus vielen verschiedenen Speichersystemen. Bevor du eine neue Komponente in den Mix einfügst, solltest du dir die logische Frage stellen: "Wie gut funktioniert sie mit den anderen Komponenten in meinem Stack?"
Das Hinzufügen eines Datenverarbeitungssystems wie Apache Flink erfordert sorgfältige Überlegungen, da es keine eigene Speicherschicht enthält, sondern auf externe Speichersysteme angewiesen ist, um Daten aufzunehmen und zu speichern. Daher ist es wichtig, dass Datenverarbeitungssysteme wie Flink eine gut ausgestattete Bibliothek mit Konnektoren zum Lesen von Daten aus externen Systemen und zum Schreiben von Daten in externe Systeme sowie eine API zur Implementierung benutzerdefinierter Konnektoren bereitstellen. Die Möglichkeit, Daten aus externen Datenspeichern zu lesen oder in diese zu schreiben, reicht jedoch nicht aus, wenn ein Stream-Prozessor im Falle eines Ausfalls sinnvolle Konsistenzgarantien ...
Get Stream Processing mit Apache Flink now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
