責任あるソフトウェアエンジニアリング ―現実社会におけるGoogleのケーススタディとともに

3章社会的文脈の組み込み

この章は、Google ResearchのSocietal Context Understanding Tools and Solutions （SCOUTS）チーム（https://sites.research.google/scouts/）を率いるDonald Martin Jr.と共同で執筆されました。

テクノロジーは人々の行動を変えます。もし、30年前に街角で1人、大声で話し、両手を大きく動かしながらまくしたてている人を見かけたら、その人は独り言を言っているか、あるいは幻覚を見ているのだと思ったでしょう。しかし、今日では、その人はただ電話をしているのだと考えるでしょう。

同様に、人々はテクノロジーの動作を変えます。社内でシステムを構築し、徹底的にテストすれば、そのシステムは問題なく動作しているように見えるかもしれません。しかし、そのシステムをさまざまな人々と交流する複雑な世界、つまり現実の世界にリリースすると、誰も予想しなかった新しく驚くべき影響が現れることがあるのです。

それらの影響の中には深刻な結果をもたらすものもあります。例えば米国の医療業界では、患者が必要とするケアの種類を予測するためにアルゴリズムが広く活用されています。2010年代に注目を集めた、あるアルゴリズムは医療費削減を目的として設計され、2019年の科学誌「Science」に掲載された論文（https://www.science.org/doi/10.1126/science.aax2342）によれば、年間約2億人に適用されていました。このアルゴリズムはリスクスコアと呼ばれる数値を算出し、患者が「ハイリスクケアマネジメントプログラム」と呼ばれる、より統合的かつターゲットを絞った医療が必要かどうかを判断しました。しかし、アルゴリズムの設計者たちは課題に直面しました。彼らのデータの大部分は医療保険請求書から得たもので、医療費は記載されていても患者の実際の健康状態についてはほとんど示されていませんでした。Scienceの論文によると、彼らは問題を簡略化し、健康状態ではなく費用に焦点を当てました。費用の方が予測しやすかったからです。よく言われるように、手持ちの道具がハンマーだけなら、あらゆるものを釘のように扱ってしまうものです。設計者たちは、より複雑な健康ニーズを持つ人々ほど、医療費が高くなる傾向があり、他の条件が同じであれば、最も重篤な患者ほど高いリスクスコアが割り当てられ、より多くの支援を受けられるはずだという重要な仮説を立てました。 ...