Kapitel 8. Online-Inferenz mit Ray Serve
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
In den Kapiteln 6 und 7 hast du gelernt, wie du mit Ray Daten verarbeitest, ML-Modelle trainierst und sie in einer Batch-Inferenzumgebung anwendest. Viele der spannendsten Anwendungsfälle für maschinelles Lernen beinhalten jedoch Online-Inferenz.
Online-Inferenz ist der Prozess, bei dem ML-Modelle verwendet werden, um API-Endpunkte zu verbessern, mit denen Nutzer direkt oder indirekt interagieren.Das ist wichtig in Situationen, in denen die Latenzzeit eine Rolle spielt: Du kannst nicht einfach im Hintergrund Modelle auf Daten anwenden und die Ergebnisse ausliefern.Es gibt viele reale Beispiele für Anwendungsfälle, in denen Online-Inferenz einen großen Nutzen bringen kann:
- Empfehlungssysteme
-
Empfehlungen für Produkte (z. B. beim Online-Shopping) oder Inhalte (z. B. in sozialen Medien) zu geben, ist ein typischer Anwendungsfall für maschinelles Lernen. Obwohl dies auch offline möglich ist, profitieren Empfehlungssysteme oft davon, dass sie in Echtzeit auf die Vorlieben der Nutzer/innen reagieren. Dazu müssen Online-Schlussfolgerungen gezogen werden, die das aktuelle Verhalten als Schlüsselmerkmal nutzen.
- Chat-Bots
-
Online-Dienste verfügen oft über Echtzeit-Chatfenster, um Kunden bequem über die Tastatur zu unterstützen. Traditionell wurden diese Chat-Fenster von Kundensupport-Mitarbeitern besetzt, ...
Get Lernstrahl now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
