Python mit Ray skalieren

Kapitel 6. Implementierung von Streaming-Anwendungen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Bisher haben wir in diesem Buch Ray verwendet, um serverlose Batch-Anwendungen zu implementieren. In diesem Fall werden Daten gesammelt oder vom Nutzer bereitgestellt und dann für Berechnungen verwendet. Eine weitere wichtige Gruppe von Anwendungsfällen sind die Situationen, in denen du Daten in Echtzeit verarbeiten musst. Wir verwenden den überladenen Begriff Echtzeit, um die Daten zu verarbeiten, sobald sie innerhalb bestimmter Latenzzeiten eintreffen. Diese Art der Datenverarbeitung wird als Streaming bezeichnet.

Streaming-Anwendungen

In diesem Kapitel beschreiben wir eine recht einfache Streaming-Implementierung. Wir gehen nicht auf Windowing oder Streaming SQL ein, da beides derzeit nicht in Ray implementiert ist. Wenn du Windowing oder Streaming-SQL benötigst, kannst du Ray mit einer zusätzlichen Streaming-Engine integrieren, zum Beispiel Apache Flink mit Kafka.

In diesem Buch definieren wir Streaming als eine Aktion auf eine Reihe von Daten nahe dem Zeitpunkt, zu dem die Daten erstellt werden.

Einige gängige Anwendungsfälle für Streaming sind die folgenden:

Log-Analyse

Eine Möglichkeit, Einblicke in den Zustand deiner Hardware und Software zu erhalten. Sie wird in der Regel als verteilte Verarbeitung von Log-Streams implementiert, während sie produziert werden.

Betrugsaufdeckung