L'IA générative pratique avec les transformateurs et les modèles de diffusion

Chapitre 9. Générer de l'audio

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Dans le chapitre 1, nous avons entrevu le potentiel de la génération audio avec un pipeline de transformateurs basé sur le modèle MusicGen de Meta. Ce chapitre plonge dans l'audio génératif, en utilisant à la fois des techniques de diffusion et des techniques basées sur les transformateurs, qui introduiront un nouvel ensemble de défis et d'applications passionnants. Imagine que tu puisses supprimer tous les bruits de fond en temps réel pendant un appel, que tu puisses obtenir des transcriptions et des résumés de haute qualité de conférences, ou qu'un chanteur puisse régénérer ses chansons dans d'autres langues. Tu pourrais même générer un thème de compositions de Mozart et de Billie Eilish qui prendrait une tournure mariachi. Voilà la trajectoire de ce domaine, qui s'annonce passionnante.

Quelles sortes de choses pouvons-nous faire avec la reconnaissance vocale et l'audio ? Les deux tâches les plus courantes sont la transcription de la parole en texte (reconnaissance automatique de la parole, ou ASR) et la génération de parole à partir de texte (text to speech). Dans la reconnaissance automatique de la parole, un modèle reçoit en entrée le son d'une personne (ou de plusieurs personnes) qui parle et produit le texte correspondant. Pour certains modèles, la sortie contient des informations supplémentaires, telles que la ...