システム運用アンチパターン ―エンジニアがDevOpsで解決する組織・自動化・コミュニケーション

6章アラート疲れ

本章の内容

• オンコールのベストプラクティスの活用
• オンコールローテーションのための人員配置
• オンコールの幸福度の追跡
• オンコール体験を改善する方法

システムを本番環境に投入する際には、システムが故障するすべての可能性をまったく理解できていないのではないかと疑心暗鬼になることがよくあります。思い付く限りの悪夢のようなシナリオに備えてアラートの作成に多くの時間を費やします。しかしここでの問題は、アラートシステムに多くのノイズを発生させてしまい、それらはすぐに無視されるようになり、アラートが発生しているのが正常だと見られてしまうことです。このパターンはアラート疲れと呼ばれ、チームを深刻な燃え尽き症候群に導く可能性があります。

本章では、チームのオンコールに焦点を当て、うまく行うためにどのように準備するのがベストかを説明します。良いオンコールアラートとはどのようなものか、問題解決のためのドキュメントの管理方法、その週のオンコール担当であるチームメンバーの昼間の職務はどう編成するか、などについて詳しく説明します。本章の後半では、オンコールの負荷の追跡、オンコール業務のための適切な人員配置、補償のしくみなど、より管理に重点を置いたタスクに焦点を当てます。

残念ながら、本章のヒントのいくつかはリーダー向けのものです。ここで「管理職」向けと言わなかったことに注目してください。チームメンバーの誰もが、これらの実践のための代弁者、支持者になれるのです。もしあなたが本書を読んでいるのであれば、おそらくあなたがこれらのポイントについて声を上げる役になるでしょう。私は、誰もが使えるような強力なヒントに焦点を当てたいと思っていますが、本章に関してはオンコールの経験があるとより理解できるでしょう。すべての読者がオンコールの経験を持っているわけではないでしょうから、まずはそのフラストレーションを簡単に紹介します。 ...