Transformer実践ガイド ―画像・音声・時系列からエージェントまで

6章音声領域におけるTransformer

本章では、Transformerが音声領域にも適用できることを学びます。これまで、元のTransformerが扱った言語から始まり、時系列、画像、動画へと対象を広げてきました。本章ではさらに音声領域へ進みます。音声でも、Transformerの基本的な考え方は変わりません。離散トークン、画像パッチ、スペクトログラムフレームのいずれを扱う場合でも、中心となる仕組みは共通しています。

Transformerの重要な特徴は、対象となるデータの形式が変わっても、基本的なアーキテクチャを維持できる点にあります。言語、画像、動画、音声では入力の形式は異なりますが、Transformerはそれらを抽象化して扱えます。この意味で、Transformerは単なるモデルではなく、領域をまたいでモデル化を一般化し、統一するためのフレームワークだといえます。

音声が特に興味深いのは、時間構造とスペクトル表現の交点に位置しているためです。一見すると、音声は時間に沿った波形であり、古典的な時系列データのように見えます。しかし、音声の豊かな情報は周波数領域にも含まれています。そのため、多くの音声モデルでは、生の波形をトークン化する前に、スペクトログラムやメル周波数特徴量へ変換します。

スペクトログラム（spectrogram）は、信号に含まれる周波数成分の強さが時間とともにどのように変化するかを表す表現です。これにより、音を時間周波数の視点から捉えられます。一方、メル周波数（mel frequency）表現は、周波数を人間の聴覚により近い知覚尺度へ変換したものです。特に、人間が敏感に聞き取る低周波数域を強調します。

図6-1は、エレクトロニック・ダンス・ミュージック（electronic ...