Apprendre AutoML (French Edition)

Chapitre 6. Recherche d'architectureneuronale (NAS)

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

En 2017, j’ai assisté en temps réel à un véritable changement de paradigme. Les chercheurs de Google venaient de publier NASNet, une architecture de réseau neuronal entièrement découverte par des algorithmes d’apprentissage automatique. Ce qui rendait cette annonce extraordinaire, ce n’était pas seulement que le système automatisé avait trouvé une nouvelle architecture, mais que cette architecture surpassait tous les réseaux conçus par l’homme sur ImageNet. Ce benchmark avait guidé les progrès de la vision par ordinateur pendant près d’une décennie.

J'ai tout de suite compris ce que ça signifiait. Pendant des années, j'avais passé des heures et des heures à concevoir des architectures de réseaux neuronaux, à peaufiner la profondeur des couches, à ajuster la taille des filtres et à tester des connexions sautées. C'était à la fois de l'art et de la science, et ça prenait énormément de temps. L'idée que des algorithmes puissent automatiser ce processus — et le faire mieux que des experts humains —, c'était comme si la science-fiction devenait réalité.

Mais le coût de l’ , en termes de calcul, était astronomique. L’équipe de Google a utilisé 500 GPU, fonctionnant pendant 4 jours, pour découvrir NASNet (Zoph et al., 2018, « Learning Transferable Architectures for Scalable Image Recognition »). Cela représente ...