機械学習による検索ランキング改善ガイド ―技術解説とハンズオンで学ぶ機械学習ランキングモデルの導入と改善

3章ランキング改善プロジェクトの流れとプロジェクト準備

本章では、ランキング改善プロジェクトのひと通りの流れを説明し、最初のステップとしてプロジェクト体制の構築とKPIの設定について説明します。また、ランキングロジックがKPIを改善する見込みがあるかをオフラインで評価する方法についても説明します。最終的には機械学習を導入してランキングを改善することが目的のプロジェクトですが、そこまでにいくつかの段階があります。流れについて順を追って説明しながら、進め方の意図や、進める上での注意点なども紹介します。

3.1　ランキング改善プロジェクトの流れ

まず、本書で推奨するランキング改善プロジェクトの流れを確認していきましょう。本書では、大きく次の4つの段階を踏んでランキングを改善します。

1. プロジェクトの体制構築とKPI設定
2. 機械学習を使わないランキング改善
3. 機械学習検索ランキングによるランキング改善
4. 検索ランキングモデルの運用・改善

それぞれ、次のような狙いを持って実施します。

1. ランキング改善プロジェクトで向上させるKPIを設定し、問題をランキング改善で解けるように定式化し、かつ周囲のサポートが得られやすい状態にします。
2. 設定したKPIを改善するため、BM25特徴量と他の1つの特徴量を使った単純なランキングロジックを作成し、効果を検証します。
3. KPIをさらに改善するため、機械学習によってKPIを最適化する検索ランキングモデルを生成します。
4. 検索ランキングモデルを継続的に改善することで、検索結果の品質も継続的に改善します。

本書を手に取ってくださった方であれば、2に挙げた特徴量による並べ替えの段階を飛ばして機械学習に取り掛かりたくなるかもしれませんが、上記の段階を踏むことをお勧めします。少ない工数で検索を改善できるだけでなく、特徴量自体は後続の機械学習でも重要な要素になるので、これらの作業が無駄になりにくいためです。 ...