Chapitre 6. Du son au token et vice-versa : les transformateurs dans le domaine audio
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
Ce chapitre d’ s te fait avancer d’un cran sur l’axe dimensionnel. Tu as commencé avec le transformateur original, c’est-à-dire le langage, puis tu es passé aux séries chronologiques. Ensuite, tu as exploré la vision et la vidéo. Maintenant, tu vas te plonger dans le domaine audio. Et, attention spoiler, une fois de plus, les transformateurs s’avèrent étonnamment adaptables. En fait, peu importe que tu modélises des tokens discrets, des fragments d’image ou des trames de spectrogramme. La logique de base reste intacte. C’est là toute l’élégance du transformateur. Tu changes d’axe, mais pas l’architecture de base. Je suis sûr que, maintenant, tu le constates par toi-même : les transformateurs ne sont pas seulement des modèles ; c’est un cadre d’abstraction. C’est pourquoi ils ne sont pas une mode passagère, mais une nouvelle façon de généraliser et d’unifier la modélisation à travers les domaines.
Ce qui rend l’audio particulièrement intéressant, c’est qu’il se situe exactement à l’intersection de la structure temporelle et de la représentation spectrale. À première vue, l’audio peut ressembler à une série chronologique classique, juste une forme d’onde dans le temps, mais sa richesse réside dans le domaine fréquentiel. C’est pourquoi tant de modèles audio convertissent ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access