IA durable

Chapitre 6. Efficacité de la formation

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Dans l'État indien du Karnataka, le complexe du temple de Chennakeshava, datant du 12e siècle, présente des sculptures de divinités et des scènes épiques gravées de façon exquise dans la pierre(figure 6-1).¹ L'effort monumental requis pour achever ces sculptures est similaire, à certains égards, à l'effort déployé pour former les mannequins DL modernes. Au lieu de ciseler méticuleusement les pierres, les algorithmes d'optimisation itératifs tels que la descente de gradient stochastique cisèlent les paramètres entraînables d'un réseau neuronal profond de manière itérative pour créer des modèles d'IA impressionnants.²

Figure 6-1. La façade sculptée dans la pierre du complexe de temples de Belur, en Inde.

Au chapitre 5, nous avons exploré les méthodes permettant de choisir l'architecture du modèle DL. Compte tenu d'une architecture de modèle spécifique, le processus de formation ingère de grandes quantités de données de formation afin d'obtenir des modèles qui peuvent être utiles pour les tâches en aval. Ce processus de formation peut être lourd en termes de calcul, car les modèles comportant des centaines de milliards de paramètres doivent travailler sur des ensembles de données comportant jusqu'à un trillion de ...