機械学習による検索ランキング改善ガイド ―技術解説とハンズオンで学ぶ機械学習ランキングモデルの導入と改善

15章検索ランキングモデルによる性能影響の測定

検索ランキングモデルによるスコアの計算は一般に重い処理であり、検索エンジンのレイテンシー（リクエストからレスポンスまでにかかる時間）に大きく影響することが多いです。本ハンズオンでも、検索ランキングモデルによるレイテンシーへの影響を測ってみましょう。具体的には、本ハンズオンにおけるテスト用検索キーワードに対する、Elasticsearchの took（Elasticsearchが自称する処理にかかった時間で、レスポンスに含まれる）の分布を計算してみます。

15.1　検索ランキングモデルをオンオフしてレイテンシーを比較

Elasticsearch標準のスコアリングを適用した場合の分布を計算するには、次の2つのコマンドを実行します。

docker compose exec workspace \
    ./collect_responses.py baseline --extract-hits-and-took benchmark-baseline.txt hands_on_keywords.txt.test

docker compose exec workspace ./calc_took.py benchmark-baseline.txt

さらに、上位100件に検索ランキングモデルによるリランキングを適用した場合 ("window_size": 100) の分布を計算するには、次のコマンドを実行します。

docker compose exec workspace \ ./collect_responses.py mlr --extract-hits-and-took benchmark-mlr.txt hands_on_keywords.txt.test ...