Apprendre AutoML (French Edition)

Chapitre 13. Déploiement et livraison continue pour AutoML

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

L'e a eu lieu à 2 heures du matin, un samedi. Notre système de détection des fraudes basé sur l'AutoML, récemment déployé, avait signalé 94 % des transactions de l'heure précédente comme frauduleuses — un chiffre qui aurait dû être plus proche de 0,1 %. Le temps que nous identifiions la cause profonde, nous avions bloqué des milliers d'achats légitimes et créé un cauchemar pour le service client.

Le problème a été découvert grâce à notre système de surveillance automatisé, qui a détecté un pic anormal dans les signaux de fraude et a déclenché une alerte PagerDuty. Cependant, l'enquête sur la cause profonde a nécessité une inspection manuelle des journaux du pipeline de caractéristiques, où nous avons trouvé un bug subtil dans la gestion des horodatages qui faisait que les caractéristiques étaient calculées différemment en production par rapport à l'entraînement. Le diagnostic a pris quatre heures — un temps qui aurait pu être réduit avec une meilleure surveillance de la distribution des caractéristiques. Le modèle fonctionnait correctement sur des entrées incorrectes.

Cet incident m’a appris une leçon qui façonne tout ce chapitre : l’écart entre un modèle AutoML entraîné et un déploiement en production fiable est plus large et plus profond que ne le prévoient la plupart des organisations. ...