詳解 システム・パフォーマンス 第2版

12章ベンチマーキング

まず嘘、それもひどい嘘があり、パフォーマンス計測はその次だ。

—Anon et al., “A Measure of Transaction Processing Power”[Anon 85]

ベンチマーキングは、本番環境で何か問題が起きる前に、選択肢を比較したり、退行を見つけたり、パフォーマンスの限界を理解したりするために、制御された形でパフォーマンスをテストする。ここで言う限界は、利用できるシステムリソースの量の限界、仮想化環境（クラウドコンピューティング）のソフトウェアによる制限、ターゲットアプリケーションの限界のどれかだ。今までの章では、あり得る限界（制限）のタイプとその分析のためのツールを説明して、これらの要素を調査してきた。

今までの章では、コンポーネントのテスト用のファイルシステムI/Oといった単純で人工的なワークロードを使うマイクロベンチマーキング（micro-benchmarking）のためのツールも紹介してきた。それに対し、システム全体のテストのためにクライアントのワークロードをシミュレートするマクロベンチマーキング（macro-benchmarking）もある。マクロベンチマーキングには、トレースのリプレイもある。どのタイプを使う場合でも、ベンチマークを分析し、何を計測したかを確認できるようにすることが大切だ。ベンチマークは、システムがベンチマークをどれくらい高速に実行できるかしか教えてくれない。結果を理解し、自分の環境にどう活かすかを決めるのはあなたである。

この章での学習目標は次の通り。

• マイクロベンチマーキングとマクロベンチマーキングを理解する。
• ベンチマーキングのさまざまな避けたい失敗を意識に刻み込む。
• アクティブベンチマーキングのメソドロジの筋道をたどる。 ...