SQLではじめるデータ分析 ―クエリで行う前処理、時系列解析、コホート分析、テキスト分析、異常検知

7章実験分析

A/Bテストやスプリットテストとも呼ばれる実験は、因果関係を証明するための最も標準的な方法と考えられています。多くのデータ分析作業では、相関関係を立証する必要があります。行動、属性、季節的なパターンなど、ある物事が起こると別の物事も起こりやすいという関係です。しかし、「相関関係は因果関係を意味するわけではない」という言葉を聞いたことがあるでしょう。まさにこのデータ分析の問題を解決しようとするのが実験です。

すべての実験は仮説から始めます。仮説とは製品、プロセス、メッセージに何らかの変更を加えた結果生じる行動の変化についての推測です。変更は、ユーザインタフェース、新しいユーザオンボーディングフロー、リコメンデーションに使うアルゴリズム、マーケティングメッセージやタイミング、またはその他のさまざまな領域に加わる場合があります。組織が作成したり管理したりしていれば、少なくとも理論的には実験することができます。多くの場合、仮説は他のデータ分析作業によって導き出されます。例えば、チェックアウトフローから脱落する人の割合が高いことがわかると、手順の数を減らせばチェックアウトプロセスを完了する人が増えるという仮説を立てられるでしょう。

実験に必要な2つ目の要素は成功指標です。仮定する行動の変化は、フォーム記入の完了、購入コンバージョン、クリックスルー、リテンション、エンゲージメント、または組織の目標にとって重要な他の行動に関連することがあります。成功指標は、この行動を定量化し、適度に測定しやすく、変化を検知するのに十分な感度でなければいけません。クリックスルー、チェックアウト完了、プロセス完了までの時間は、多くの場合、優れた成功指標となります。リテンションと顧客満足度は、重要であるにもかかわらず成功指標としてはあまり適さないことが少なくありません。実験で検証していること以外にも多数の要因に影響されることが多いため、検証したい変化に対して感度が低いからです。優れた成功指標は、会社や組織の健全性を把握する一環としてすでに追跡しているものであることが多いでしょう。 ...