SRE サイトリライアビリティエンジニアリング ―Googleの信頼性を支えるエンジニアリングチーム

付録Fプロダクションミーティングの議事録の例

日時：2015-10-23

参加者：agoogler、clarac、docbrown、jennifer、martym

連絡事項：

• 大きなサービス障害の発生（#465）。エラーバジェットが使い果たされた。

これまでのアクションアイテムのレビュー

• 山羊のテレポーターが牛にも使えることの確認（バグ1011101）。
  • 質量加速における非線形性が予測可能になったので、数日中に正確に目標を定められるようになる見込み。

障害のレビュー

• 新しいソネット（障害465）。
  • 潜在バグ（ヒットしない検索でのファイルディスクリプタのリーク）、新しいソネットがコーパス中になかったこと、前例のない予想外のトラフィックの量が重なって生じたカスケード障害によって12.1億のクエリがロスト。
  • ファイルディスクリプタのリークのバグは修正され（バグ5554825）、プロダクション環境にデプロイ済み。
  • ロードバランシングのための次元転移装置の使用（バグ5554823）とロードシェディングの使用（バグ5554826）による再発防止を検討中。
  • 可用性のエラーバジェットの枯渇。プロダクション環境へのプッシュは、奇妙で予測不能ということでdocbrownが例外を許可してもらわない限り（ただしそういった例外が認められることはおそらくないというのが一致した意見である）、1ヶ月間凍結される。

ページングされたイベント

• AnnotationConsistencyTooEventual：今週5回ページされた。おそらくはBigtableの地域間レプリケーションの遅延によるものと思われる。
  • 引き続き調査中、バグ4821600を参照。
  • 直近では修正されない見込み。対応アクションを取れないアラートを減らすため、妥当な範囲で一貫性の閾値を引き上げる。 ...