ゼロから作るDeep Learning ❺ ―生成モデル編

ステップ5EMアルゴリズム

このステップのテーマはEMアルゴリズム[6]です。EMアルゴリズムを使用することで、混合ガウスモデルのパラメータ推定が効率的に行えます。ここではEMアルゴリズムを導出し、その実装を行います。

5.1　KLダイバージェンス

EMアルゴリズムの導出には、KLダイバージェンスが重要な役割を果たします。ここでは事前準備として、KLダイバージェンスについて学びます。また、これから先は数式が増えるため、数式の表記方法について2点変更を加えます。まずはその変更点について説明します。

5.1.1　数式の表記について

数式の表記について、1つ目の変更点は「期待値」についてです。ここでは連続型の確率変数があり、その確率密度がで表されるものとします。このとき関数の期待値は次の式で表します。

これまで期待値はのように表記してきましたが、これから先は、上の式のようにと表記します。この表記方法により、に関する期待値であることを明示します。たとえば、確率分布に関する期待値であれば、次の式で表されます。 ...