Monitoring der Modellqualität von im Einsatz befindlichen SageMaker Endpoints
Wir können SageMaker Model Monitor auch verwenden, um Veränderungen (Drifts) von Metriken zu erkennen, die die Modellqualität bzw. -güte betreffen, wie z.B. die Treffergenauigkeit. Hierzu vergleicht SageMaker Model Monitor die Modellvorhersagen, die im laufenden Betrieb getroffen werden, mit den bereitgestellten Ground-Truth-Labels. Mithilfe des Monitorings der Modellqualität kann eine Concept Drift erkannt werden.
Die Eingabedaten werden von SageMaker Model Monitor mithilfe der Echtzeitdatenerfassungsfunktion erfasst. Diese Daten werden in einem S3-Bucket gespeichert und außerhalb des Produktivbetriebs (Offline) von Menschen gelabelt bzw. annotiert. In einem Model-Quality-Job ...
Get Data Science mit AWS now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
