データサイエンスのための統計学入門 第2版 ―予測、分類、統計モデリング、統計的機械学習とR/Pythonプログラミング

320

■

7

章 教師なし学習

基本事項

49

■

望ましいクラスタの個数

k

はユーザが選ぶ。

■

アルゴリズムでは、クラスタ割り当てに変更がなくなるまで、レコードを反復

的に最も近いクラスタ平均に割り当てる。

■

通常、

k

の選択では実際的に考えて決める。クラスタの最適な個数は統計的

に決定できない。

7.3

 階層クラスタリング

階層クラスタリングは、

k

平均に比べて、大きく異なるクラスタを作る。階層クラス

タリングでは、クラスタの個数を変えた場合の効果を可視化できる。外れ値や異常な

グループやレコードを検出する敏感度も高い。さらに直感的に図で表現でき、クラスタ

の解釈も容易となる。

基本用語

48

：階層クラスタリング

デ ン ド ロ グ ラ ム（

dendrogram

）

レコードとそれが属すクラスタ階層の可視化表現。系統樹ともいう。

距 離（

distance

）

あるレコードが別のレコードとどれほど離れているかの尺度。

非 類 似 度（

dissimilarity

）

あるクラスタが別のクラスタとどれほど離れているかの尺度。

階層クラスタリングの柔軟性を実現するには、コストがかかるため、何百万というレ

コードの巨大データセットにはうまくスケールできない。

1

万レコード程度の普通のサ

イズのデータですら、階層クラスタリングには、かなりの計算資源が必要となる。実際、

階層クラスタリングのほとんどのソフトウェアでは、比較的小さなデータセットに焦点

を絞っている。