PythonによるAIプログラミング入門 ―ディープラーニングを始める前に身につけておくべき15の基礎技術

4章教師なし学習を用いたパターン検出

本章では、教師なし学習と実世界への応用について説明します。本章を通じて、次のような事柄を学びます。

• 教師なし学習
• k-平均法を用いたデータのクラスタリング
• Mean Shiftアルゴリズムを用いたクラスタ数推定
• シルエットスコアを用いたクラスタリングの品質推定
• 混合ガウスモデルに基づくクラスタリング
• Affinity Propagation（アフィニティープロパゲーション）モデルを用いた株式市場のサブグループの検出
• 購買パターンに基づくマーケットのセグメント分け

4.1　教師なし学習とは？

教師なし学習とは、ラベルの付いていない教師データから学習モデルを構築する手法です。教師なし学習は、マーケットのセグメンテーション、株式市場、自然言語処理、コンピュータビジョンなど、さまざまな研究分野で応用されています。

前の章では、ラベルの付いたデータを扱ってきました。ラベル付きの教師データがあれば、ラベルに基づいてデータをクラス分けするようにアルゴリズムが学習します。しかし、実際にはラベル付きのデータを常に入手できるとは限りません。大量のデータだけがあり、なんらかの方法でカテゴリ分けをする必要がある場合がよくあります。教師なし学習は、こんな場面で活躍します。教師なし学習のアルゴリズムは、なんらかの類似度を用いて、与えられたデータセットの中にサブグループを見つけるように学習モデルを構築します。

教師なし学習における学習の問題を形式化してみましょう。ラベルの付いていないデータセットは、なんらかの分布を統制する潜在的な変数によって生成されているものと仮定します。学習の過程は、個々のデータから始めて階層的に進めます。こうして深い階層からなるデータ表現を構築できます。 ...