Kubeflow für maschinelles Lernen

Anhang C. Verwendung von Model Serving in Anwendungen

In Kapitel 8 hast du verschiedene Ansätze kennengelernt, um die von Kubeflow bereitgestellten Modellserver zu nutzen. Wie dort beschrieben, bietet Kubeflow mehrere Möglichkeiten, trainierte Modelle bereitzustellen und sowohl REST- als auch gRPC-Schnittstellen für die Modellinferenz bereitzustellen. Allerdings bietet es keine Unterstützung für die Verwendung dieser Modelle in benutzerdefinierten Anwendungen. Im Folgenden stellen wir einige der Ansätze vor, mit denen sich Anwendungen mithilfe der von Kubeflow bereitgestellten Modellserver erstellen lassen.

Anwendungen, die Modellinferenzen nutzen, lassen sich grob in zwei Kategorien einteilen: Echtzeit- und Batch-Anwendungen. Bei Echtzeit-/Stream-Anwendungen werden die Daten direkt in dem Moment abgeleitet, in dem sie produziert oder empfangen werden. In diesem Fall ist in der Regel jeweils nur eine Anfrage verfügbar, die für Schlussfolgerungen genutzt werden kann, sobald sie eintrifft. In den Batch-Szenarien stehen alle Daten im Voraus zur Verfügung und können entweder sequentiell oder parallel für Schlussfolgerungen verwendet werden. Wir beginnen mit dem Anwendungsfall Streaming und werfen dann einen Blick auf mögliche Batch-Implementierungen.

Aufbau von Streaming-Anwendungen unter Nutzung vonModel Serving

Die meisten der heutigen Streaming-Anwendungen nutzen Apache Kafka als das Datenrückgrat eines Systems. Für die Implementierung von Streaming-Anwendungen gibt es zwei Möglichkeiten: ...