機械学習による検索ランキング改善ガイド ―技術解説とハンズオンで学ぶ機械学習ランキングモデルの導入と改善

8章A/Bテスト

検索ランキング改善のために、実績値による並び替えや機械学習ランキングモデルによる並び替えなど、さまざまな手法を紹介してきました。本番環境で試す前に、オフライン評価を実施してある程度の性能向上が見込めることを確認しますが、実際にユーザーのリクエストを受けてみて結果がよくなるかどうかまではわかりません。そのため、A/Bテストを行います。A/Bテストでは、現状のシステムで使われているランキングと比較対象のランキングを一定期間同時に運用し、どちらのランキングがよい結果を示すか検証します。本章では、「A/Bテスト環境の構築」についてと、「A/Bテストの設計と実装」について紹介します。すでにA/Bテスト環境が整っている場合は、「A/Bテストの設計と実装」から読むとよいでしょう。

8.1　A/Bテスト環境の構築

本節では、A/Bテストを実施するためにはどのような環境を整備する必要があるかを説明します。ここでは、2.1.2項で解説したバックエンドサーバーで処理することを前提にしていますが、バックエンドサーバーとは切り離したコンポーネントでも処理できます。運営しているサービスのシステムに合わせて読み替えてください。

8.1.1　A/Bテストとは

A/Bテストとは、AとBどちらの群の結果がよいかどうかを分析するための手法です。ユーザーをコントロール群（統制群）とテスト群（介入群）の2つの実験群に分割し、A群に属するユーザーは変更前のシステムを、B群に属するユーザーには変更後のシステムを訪問するようにしてテストを実施し、両者を比較します。

本書では、ランキング結果を改善する施策に対して、A/Bテストによって評価したいので、A群とB群それぞれがサービス訪問する際に表示されるランキング結果は、コントロール用のランキングとテスト用のランキングになっている必要があります。この機能を実現するには、2つの要素を実装する必要があります。 ...