AIの心理学 ―アルゴリズミックバイアスとの闘い方を通して学ぶ ビジネスパーソンとエンジニアのための機械学習入門

10章アルゴリズム自体がもたらすバイアス

ここまでの議論では、アルゴリズムを不偏（ニュートラル）である、また事実（ファクト）に基づいたものであるとして扱いながら、意思決定の過程からバイアスを排除するというゴールを目指してきました。したがって、ここまでに見たアルゴリズムに生じるバイアスはどれも、実世界に存在するバイアスや不適切なデータなど、アルゴリズムの外にあるものに由来していました。

一方この章では、アルゴリズムの仕組みや機能を深く掘り下げ、アルゴリズムが（データの特定の属性を特定の意図なく選択し）前の章までとは別種のバイアスを生み出してしまう状況を紹介します。こういったバイアスの大半は単なる「ノイズ」と見なせますが、時折こうしたアルゴリズミックバイアスが、使われ方によって拡大あるいは促進されてしまうことがあり、その場合の影響は途方もないものになる恐れがあります。

まずはアルゴリズムのエラーについて考え、次に標本（サンプル）サイズやケースのフリークエンシー（頻度）がアルゴリズムにどう影響するかを説明します。その上でさらに深いところを探り、こうした問題点が、機械学習モデルの要（かなめ）として使われることの多くなった「決定木（けっていぎ）による予測（木構造を使って要因を分析し、その結果から予測を行う手法）」にいかに悲惨な影響を及ぼし得るかを説明します。最後に、以上のすべてが示唆する事柄を、倫理的な視点から検討します。

10.1　アルゴリズムのエラー

人間は、二者択一の予測に慣れています。

• 「今日は雨が降るわよ！」
• 「彼女にはこの仕事は務まらない。雇っちゃだめだ」
• 「これ買おうよ。おいしそう！」

これに対して、アルゴリズムは「確率の世界」の住人で、次のような表現のしかたをします。 ...