Praxiseinstieg Large Language Models

KAPITEL 9

LLMs in die Produktion überführen

In dem Maße, wie die Leistungsfähigkeit großer Sprachmodelle zunimmt, wird es auch wichtiger, diese Modelle in der Produktion einzusetzen, damit wir unsere harte Arbeit mit mehr Menschen teilen können. Dieses Kapitel untersucht verschiedene Strategien, um Bereitstellungen sowohl von Closed-Source- als auch von Open-Source-LLMs zu betrachten. Im Vordergrund stehen dabei bewährte Verfahren für die Modellverwaltung, die Vorbereitung auf die Inferenz und Methoden, mit denen sich die Effizienz wie zum Beispiel Quantisierung, Kürzen und Destillation verbessern lässt.

Closed-Source-LLMs in der Produktion bereitstellen

Für Closed-Source-LLMs umfasst die Bereitstellung in der Regel die Interaktion mit einer ...