Kapitel 8. Der Blick auf die Daten: Unsere Geheimwaffe
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
Wir haben bereits erwähnt, wie wichtig es ist, über Kennzahlen zu verfügen, die für dein Unternehmen spezifisch sind, und einen systematischen Prozess zu haben, um sie zu messen und zu überprüfen.
In diesem Kapitel möchte ich über eine aktuelle Erfahrung berichten, die eine wichtige Lektion für KI-Projekte aufzeigt:
Es gibt keinen Ersatz dafür, deine Daten aus erster Hand zu prüfen.
Vor Kurzem habe ich mit einem Unternehmen zusammengearbeitet, das HR-Funktionen wie Recruiting und Onboarding automatisiert. Ihr Entwicklungsteam hatte eine Evaluierungssuite mit verschiedenen Metriken entwickelt, um die Leistung der KI zu messen. Eine Metrik erregte meine besondere Aufmerksamkeit: die Editierdistanzzwischen der von der KI generierten E-Mail und der endgültigen Version des Recruiters. Falls du noch nichts davon gehört hast: Der Editierabstand ist ein Maß dafür, wie ähnlich sich zwei Texte sind. Diese Kennzahl schien mir besonders geeignet zu sein - sie ist geschäftsspezifisch und kann systematisch gemessen werden.
Das Team hatte herausgefunden, dass der durchschnittliche Bearbeitungsabstand zwischen den von der KI generierten E-Mails und der endgültigen Version des Recruiters 12 % betrug. Das schien ein gutes Ergebnis zu sein, aber das Team hatte Probleme mit der Benutzerakzeptanz. Es stellte sich ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access