AIの心理学 ―アルゴリズミックバイアスとの闘い方を通して学ぶ ビジネスパーソンとエンジニアのための機械学習入門

16章管理者の介入によってバイアスを抑止する方法

この章では、アルゴリズムに深く根差したバイアスに対処するための経営戦略について検討します。

16.1　偏見との戦い

ある国のある銀行から与信審査モデルの開発を依頼された時のことです。この銀行の最高リスク管理責任者（チーフリスクオフィサー）に、与信審査で判断材料にしている重要リスク要因について尋ねた際の衝撃は今でも忘れられません。開口一番、同性愛者は言うまでもなくリスクが大きい（したがって与信対象としては避けるべきだ）と断定されたのです。

私の頭の中では、「なんてひどい偏見だ」と思う理由をひとつ残らずあげて、見るからに知的で教養のあるこの女性に反論するべきだろう、という怒りの声が響きわたる一方、出発前にこの国について読んだこと——中でも、この国では同性愛者がヘイトクライムの犠牲になるリスクが高く、高齢期まで生き延びられる者がとても少ないこと——が浮かんできたので、すっかり考え込んでしまいました。とはいえ、これがいかに嘆かわしい慣行であっても、「いつ何時殺されるかわからないような相手には融資しない」というのはたしかに賢明な策で、それを講じないのは職務怠慢だろう、と私も認めざるを得ませんでした。

結局その銀行には顧客の性的指向に関するデータがないことが判明し、私たちがこの銀行のために開発したアルゴリズムに「性的指向」という属性が使われることはありませんでしたが、あれは「実社会に存在する悲惨なバイアスが反映されたアルゴリズムにどう対処するべきか」が、私個人に関わる現実の問題として痛感された瞬間ではありました。これは、一歩下がって「アルゴリズムは神でも支配者（ボス）でもなく道具（ツール）にすぎない。アルゴリズムのユーザーである私たちは、アルゴリズムを使うか使わないかを決め、使うなら、どう使うのかを決める自由を有する」という事実に思いをめぐらす好機です。 ...