L'apprentissage automatique pour les applications à haut risque

Chapitre 8. Sélection et débogage des modèles XGBoost

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Les moyens utilisés par les scientifiques des données pour mesurer les performances d'un modèle dans le monde réel sont généralement inadéquats. Selon "Underspecification Presents Challenges for Credibility in Modern Machine Learning", rédigé par 40 chercheurs de Google et d'autres grandes institutions de recherche sur l'apprentissage automatique, "les modèles ML présentent souvent un comportement inattendu et médiocre lorsqu'ils sont déployés dans des domaines du monde réel." Un problème fondamental est que nous mesurons la performance comme si nous écrivions des articles de recherche, peu importe la complexité et le risque élevé du scénario de déploiement. Les mesures des données de test comme la précision ou l'aire sous la courbe (AUC) ne nous disent pas grand-chose sur l'équité, la confidentialité, la sécurité ou la stabilité. Ces simples mesures de la qualité de la prédiction ou de l'erreur sur des ensembles de tests statiques ne sont pas suffisamment informatives pour la gestion des risques. Elles ne sont que corrélées aux performances dans le monde réel, et ne garantissent pas de bonnes performances lors du déploiement. En clair, nous devrions nous préoccuper davantage des performances in vivo et de la gestion des risques que des performances des données de test in silico, car l'un des principaux ...