責任あるソフトウェア工学

第3章. 社会のコンテキストを取り入れる

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

この章は、Google ResearchのSocietal Context Understanding Tools and Solutions（SCOUTS）チームを率いるドナルド・マーティン・ジュニア（Donald Martin Jr）と共同で執筆した。

テクノロジーは人々の行動を変える。30年前なら、街角で一人で立って大声で議論し、両手で大きく身振り手振りをする人を見れば、独り言かハルシネーションだと思っただろう。今日、私たちは彼らが電話をしていると考えるだけだ。

同様に、人々はテクノロジーの動作を変える。社内でシステムを構築し、徹底的にテストすれば、問題なく動作するように見えるかもしれない。しかし、そのシステムを複雑な世界に放ち、そこで多種多様な人々とやり取りをするようになると、誰も予見していなかったような新たな驚くべき影響が現れるかもしれない。

そうした影響の中には、深刻な結果をもたらすものもある。例えば、米国の医療業界では、患者が必要とする可能性のあるケアの種類を予測するためにアルゴリズムを使用するのが一般的だ。 サイエンス』誌の2019年の論文によると、2010年代のある著名なアルゴリズムは医療費削減のために設計され、年間約2億人に適用された。このアルゴリズムは、"ハイリスク・ケアマネジメント・プログラム "と呼ばれる、より協調的で的を絞った医療が利点となるような複雑な健康ニーズがあるかどうかを判断するために、リスクスコア（ ）と呼ばれる値を計算した。しかし、このアルゴリズムの設計者は難題に直面した。データのほとんどは医療保険請求から得られたもので、医療費は記載されているが、患者の実際の健康状態についてはほとんど記載されていなかった。Science誌によれば、コストの方が予測しやすかったため、彼らは健康状態よりもコストに焦点を当てるよう問題を単純化した。諺にもあるように、持っている道具がハンマーだけなら、すべてを釘のように扱うことになる。設計者は、より複雑な健康上のニーズを持つ人々は、より高い医療費の履歴を持っており、他のすべてのものが同じであれば、非常に病気の人々は、より高いリスクスコアとより多くの支援を受けるだろうという重要な仮定をした。

残念なことに、実世界ではすべてが平等ではない。サイエンス誌の論文によれば、米国では平均して、黒人患者の医療費は白人患者より低い。全く逆である。平均して、黒人はより悪い健康問題を抱えており、医療へのアクセスは不平等で、医療システムの正常性に対する不信感が強いのである。このような重要な背景因子はアルゴリズム設計に含まれていなかったため、アルゴリズムは黒人患者に対して、同じ病気の白人患者よりも低いリスクスコアを代入する傾向があった。その結果、複雑な健康上のニーズを持つ何百万人もの黒人患者が、有益な高リスクのケアマネジメントプログラムの優先順位を誤って下げられ、その結果、より早く病気になったり死亡したりする可能性が高くなった、とScience誌は発見した。つまり、このアルゴリズムをより広い社会的コンテキストに当てはめると、公平性に問題があり、その主目的を達成できなかったことになる。保険金請求からの入力には人種に関する明確なデータは含まれておらず、多種多様な患者から抽出されたものであるにもかかわらず、何億人もの人々に悪質な人種的偏りが見られたのである。 ...