Chapitre 8. Regarder les données : Ton arme secrète
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
Nous avons abordé l'importance d'avoir des paramètres spécifiques à ton entreprise et un processus systématique pour les mesurer et les examiner.
Dans ce chapitre, je souhaite partager une expérience récente qui met en lumière une leçon cruciale pour les projets d'IA :
Rien ne remplace l'examen direct de tes données.
Je travaillais récemment avec une entreprise qui automatise les fonctions RH comme le recrutement et l'onboarding. Leur équipe d'ingénieurs avait mis au point une suite d'évaluation avec différents paramètres pour mesurer les performances de l'IA. Un paramètre en particulier a attiré mon attention : la distance d'éditionentre l'e-mail généré par l'IA et la version finale du recruteur. Au cas où tu n'en aurais jamais entendu parler, la distance d'édition est une mesure de la similarité de deux textes. Cette mesure semblait être la bonne : elle est spécifique à l'entreprise et peut être mesurée de façon systématique.
L'équipe avait constaté que la distance d'édition moyenne entre les courriels générés par l'IA et la version finale du recruteur était de 12 %. Cela semblait être un bon résultat, mais l'équipe avait du mal avec l'adoption par les utilisateurs. Il s'est avéré que la métrique cachait une faille critique.
Regarde les données brutes
D'après mon expérience, la meilleure façon ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access