Effektive Teams für maschinelles Lernen

Kapitel 6. Automatisierte Tests: ML-Modell-Tests

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Im vorigen Kapitel haben wir gesehen, welchen Preis wir für den Verzicht auf automatisierte Tests in ML-Lösungen zahlen und welche Vorteile Tests den Teams in Bezug auf Qualität, Ablauf, kognitive Belastung und Zufriedenheit bringen. Wir haben die Bausteine einer umfassenden Teststrategie skizziert und sind auf die erste Kategorie von Tests eingegangen: die Softwaretests.

In diesem Kapitel werden wir die nächste Kategorie von Tests untersuchen: ML-Modelltests (oder kurz Modelltests). Da große Sprachmodelle (LLMs) die Welt im Sturm erobert haben, werden wir auch Techniken zum Testen von LLMs und LLM-Anwendungen behandeln.

Außerdem werden wir uns mit Praktiken befassen, die ML-Modelltests ergänzen, wie z.B. Visualisierung und Fehleranalyse, das Schließen der Datenerfassungsschleife und offen-geschlossenes Testdesign. Wir werden auch kurz auf Datentests eingehen, bevor wir mit konkreten nächsten Schritten abschließen, die dir helfen können, diese Tests in deinen ML-Systemen zu implementieren.

In diesem Kapitel konzentrieren wir uns auf Offline-Tests im großen Maßstab und gehen nicht auf Online-Testing-Techniken ein (z. B. A/B-Tests, Bandits, Interleaving-Experimente), da diese in Chip Huyens großartigem Buch Designing Machine Learning Systems (O'Reilly) gut behandelt werden.

Modellversuche

Für ML-Praktiker ...