セキュアで信頼性のあるシステム構築 ―Google SREが考える安全なシステムの設計、実装、保守
by Heather Adkins, Betsy Beyer, Paul Blankinship, Piotr Lewandowski, Ana Oprea, Adam Stubblefield, Kuma Arakawa, 渡邉 了介
1章セキュリティと信頼性が交わるところ
執筆:Adam Stubblefield、Massimiliano Poletto、Piotr Lewandowski
協力:David Huska、Betsy Beyer
1.1 パスワードと電動ドリルについて
2012年9月27日、Google全社に対する何気ない告知が、内部サービスで一連のカスケード障害を引き起こしました。これらの障害から回復するには最終的に、電動ドリルが必要でした。
Googleには社内向けのパスワードマネージャーがあり、高度な認証の仕組みをサポートしていないサードパーティのサービスに関する機密情報を従業員が保存および共有できるようになっています。そうした機密情報の1つとして、サンフランシスコのベイエリアに点在するGoogleの複数のキャンパス間を巡回する多数の社有バスで利用できる、ゲストWi-Fiシステムのパスワードがあります。
9月の問題の日、会社の輸送部門が、Wi-Fiのパスワードを変更したと告知する電子メールを数千人の従業員に送信しました。その結果として生じたトラフィックの急増は、何年も前に少数のシステム管理者向けとして開発されたパスワード管理システムの処理能力をはるかに超えるものでした。
この負荷によってパスワードマネージャーではプライマリのレプリカが反応しなくなったため、ロードバランサーはトラフィックをセカンダリのレプリカに振り向けましたが、こちらも間もなく同様に機能しなくなりました。この時点でシステムはオンコールエンジニアをページしました。そのエンジニアは、このサービスの障害に対応した経験がありませんでした。というのもパスワードマネージャーはベストエフォート方式でサポートされており、導入されてからの5年間、サービス障害が発生したことはなかったからです。エンジニアはサービスを再起動しようとしましたが、再起動にはハードウェアセキュリティモジュール(HSM)用のスマートカードが必要であることを知りませんでした。 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access