IA durable

Chapitre 3. Quantifier l'efficacité du Deep Learning

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Les récentes avancées dans les méthodes de ML/AI ont permis des progrès remarquables dans de multiples domaines d'application tels que la vision par ordinateur, le traitement du langage naturel, la découverte de médicaments et le divertissement. Ces avancées sont notamment dues aux progrès accélérés du DL qui, à leur tour, ont coïncidé avec l'accès aux big data et au calcul à grande échelle. Dans ce chapitre, nous formaliserons les redondances dans les pipelines de DL aux niveaux algorithmique et comportemental en utilisant le concept de déchets de l'IA, nous explorerons l'efficacité calcul-énergie-carbone de la DL et nous présenterons des outils pour quantifier l'efficacité des ressources des pipelines de DL.

AI Waste

ML dans sa formulation la plus simple est le processus d'apprentissage à partir de données. Les méthodes modernes de DL portent ce processus à un autre niveau, en termes de volume de données et de taille des modèles utilisés pour apprendre à partir des données.¹ L'approche axée sur les données nécessite la formation de modèles surparamétrés sur de grands ensembles de données à l'aide d'une variante de l'algorithme de descente de gradient stochastique (voir "Comment former ton modèle" pour plus de détails). La combinaison de modèles surparamétrés, de grands ensembles de données et ...