Angewandte KI für die Java-Entwicklung in Unternehmen (German Edition)
by Alex Soto Bueno, Markus Eisele, Natale Vinto
Kapitel 6. Inferenz -APIs
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
Du hast bereits dein Wissen über KI und die vielen Arten von Modellen erweitert. Außerdem hast du diese Modelle lokal bereitgestellt (sofern möglich) und mit Abfragen getestet. Wenn es jedoch an der Zeit ist, Modelle zu verwenden, musst du sie ordnungsgemäß bereitstellen, die bewährten Methoden deines Unternehmens befolgen und Entwicklern eine einfache Möglichkeit bieten, das Modell zu nutzen.
Eine Inferenz-API hilft bei der Lösung dieser Probleme und macht Modelle für alle Entwickler zugänglich. In diesem Kapitel wird erläutert, wie du ein KI-/ML-Modell mithilfe einer Inferenz-API in Java bereitstellst.
Was ist eine Inferenz-API?
Eine Inferenz-API ermöglicht es Entwicklern v, Daten (in jedem Protokoll, wie HTTP, gRPC oder Kafka) an einen Server mit einem bereitgestellten ML-Modell zu senden und als Ergebnis die Vorhersagen oder Klassifizierungen zu erhalten. Praktisch gesehen greifst du jedes Mal, wenn du auf Cloud-Modelle wie OpenAI oder Gemini oder lokal bereitgestellte Modelle mit Ollama zugreifst, über deren Inferenz-API darauf zu.
Auch wenn es heutzutage üblich ist, große Modelle zu verwenden, die von großen Unternehmen wie Google, IBM oder Meta trainiert wurden, meist für LLM-Zwecke, musst du möglicherweise kleine, individuell trainierte Modelle verwenden, um ein bestimmtes Problem für dein Unternehmen zu lösen. ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access