生成 Deep Learning ―絵を描き、物語や音楽を作り、ゲームをプレイする

5章描く

ここまでは、模倣したいデータの訓練セットだけが与えられた環境で、新しいサンプルを生成するモデルのいろいろな訓練方法を調べてきました。それをいくつかのデータセットに適用してどうなるかを見てきました。VAEとGANは、背後にある潜在空間と元のピクセル空間との間の写像を学習することができます。潜在空間の分布からベクトルをサンプリングすることで、生成モデルを使って、そのベクトルをピクセル空間の新しい画像に写像できます。

ここまで見てきた例はすべて、ゼロから新しい観測を生み出していることに注意してください。すなわち、画像を生成するために使われる入力は、潜在空間からサンプリングされたランダムな潜在ベクトル以外存在しないのです。

生成モデリングのもう1つの適用分野がスタイル変換です。ここでの狙いは、入力となるベース画像を、与えられたスタイル画像群と同じグループのものであるかのような印象を与えるように変換するモデルを作成することです。このテクニックには明確な商用の応用分野があり、現在、CGソフト、ゲーム、スマホアプリで使われています。スタイル変換のいくつかの例を図5-1に示します。

スタイル変換の狙いは、スタイル画像の分布をモデリングすることではなく、スタイル画像からスタイルの要素だけを抽出し、それをベース画像に埋め込むことです。スタイル画像とベース画像とを補間してマージするだけではだめなことは明らかです。スタイル画像のスタイル以外の内容が透けて見えてしまい、色は濁ってぼやけてしまうでしょう。さらに、その画家のスタイルは、1枚の画像から学習されるのではなく、スタイル画像群全体から学習されるでしょう。したがって、画像のコレクション全体にわたるスタイルをモデルが学習できるような方法を見つける必要があります。画家がそのベース画像をお手本として使って、自分のコレクションの他の作品と同じ様式を備えたオリジナルの芸術作品を生み出したかのような印象を与えたいのです。 ...