Python mit Ray skalieren

Kapitel 7. Microservices implementieren

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Ursprünglich wurde Ray als Framework für die Implementierung von Reinforcement Learning entwickelt, hat sich aber nach und nach zu einer vollwertigen serverlosen Plattform gewandelt. Auch Ray Serve, das ursprünglich als bessere Methode zur Bereitstellung von ML-Modellen eingeführt wurde, hat sich in letzter Zeit zu einem vollwertigen Microservice-Framework entwickelt. In diesem Kapitel erfährst du, wie du Ray Serve für die Implementierung eines universellen Microservice-Frameworks verwendest und wie du dieses Framework für das Model Serving nutzt.

Den vollständigen Code aller in diesem Kapitel verwendeten Beispiele findest du im Ordner /ray_examples/serving im GitHub-Repository des Buches.

Verständnis der Microservice-Architektur in Ray

Ray Die Microservice-Architektur (Ray Serve) wird auf Ray implementiert, indem die Ray-Akteure genutzt werden. Für eine Serve-Instanz werden drei Arten von Akteuren erstellt:

Controller

Ein globaler Akteur, der für jede Serve-Instanz einzigartig ist und die Kontrollebene verwaltet. Er ist dafür verantwortlich, andere Akteure zu erstellen, zu aktualisieren und zu zerstören. Alle Serve-API-Aufrufe (z. B. das Erstellen oder Abrufen eines Deployments) verwenden den Controller für ihre Ausführung.

Router

Es gibt einen Router pro Knoten. Jeder Router ist ein Uvicorn-HTTP-Server ...