L'IA générative pratique avec les transformateurs et les modèles de diffusion

Chapitre 3. Compression et représentation des informations

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Ce chapitre de présente des modèles et des techniques de ML permettant d'apprendre des représentations de données efficaces pour des tâches impliquant des images, des vidéos ou du texte. Pourquoi les représentations efficaces sont-elles importantes ? Nous voulons réduire la quantité d'informations que nous devons stocker et traiter tout en conservant les caractéristiques essentielles des données. Les représentations riches permettent de former des modèles spécialisés dans des tâches particulières, et le fait de rendre les représentations compactes réduit les besoins de calcul pour former et travailler avec des modèles à forte intensité de données. Par exemple, l'entraînement sur un vecteur intégré d'une image peut être plus efficace et plus expressif que l'entraînement direct sur les pixels de l'image.

Les méthodes de compression traditionnelles telles que ZIP ou JPEG se concentrent sur des types de données spécifiques et utilisent des algorithmes artisanaux pour réduire la taille des fichiers. Bien que ces méthodes soient efficaces pour les objectifs visés, elles n'ont pas la flexibilité et l'adaptabilité des techniques de compression apprises. ZIP, par exemple, excelle dans la compression sans perte de données générales en identifiant et en codant des motifs répétitifs. D'autre part, JPEG ...