責任あるソフトウェアエンジニアリング ―現実社会におけるGoogleのケーススタディとともに

4章波及効果の予測と計画

病院やその他の医療施設に訪れると、救急カートに出会うことがあります。これは緊急時に必要な薬剤や備品を収納した移動式カートです。救急カートは迅速さと利便性を重視して設計されています。救急カートのおかげで、看護師などの医療従事者は緊急時に患者を助ける必要物資を素早く取り出すことができます。

社名は伏せますが、ある救急カートのメーカーは、薬剤や医療物資が通行人に持ち去られないよう、何らかのセキュリティが必要だと考えました。そこで、カートから物を取り出す際に利用者の認証を求めるロック機構を設計しました。医師や看護師がパスワードやPINを覚えずに使えるよう、指紋認証こそ最適だと同社は判断し、カートの設計に指紋認証リーダーを組み込みました。

さて、あなたは胸に銃創を負った緊急患者の対応を必死で行う看護師になったと想像してください。1秒が命取りです。患者には救急カート内のエピネフリン注射が今すぐ必要です。あなたはリーダーに親指を当てます……が反応しません。医療用手袋をはめており、その上に血液が付着しているからです。指紋認証はセキュリティの面では非常に優れていますが、この事例では設計者が想定しなかった波及効果を引き起こしました。

近年、善意から開発されたにもかかわらず、社会に有害な影響を及ぼすソフトウェアを見聞きする機会が増えました。教育分野では、AIを活用した次世代の講師ボットにより、学習者の要望に合わせ指導内容を個別最適化できるようになりました。しかし、この技術は、多数の生徒に宿題での不正を可能にし、教師に予期せぬ負担を強いています。職場では、AIが業務の一部を自動化してくれますが、これは初級職の採用市場を壊滅させる一助になりました。医療では、AIが特定の疾患を人間の医師に匹敵する精度で診断できるようになりましたが、一方で、学術誌への偽論文の大量投稿を助長する側面もあります。こうした破壊的技術のリリース前に、教師、求職者、学術誌の編集者は相談を受けたでしょうか？答えはもうおわかりだと思います。 ...