A/Bテスト は、Webサイトやアプリ、メールなどで2つ以上の案を用意し、ユーザーを分けて表示して、どちらが目的に近い結果を出すか比べる方法です。英語では A/B testing や split testing と呼ばれます。
たとえば、同じLPに来たユーザーの一部には既存の見出しを見せ、別の一部には新しい見出しを見せます。そのうえで、問い合わせ率、登録率、購入率、クリック率などを比べ、改善案を採用するか判断します。
まず押さえたいポイント
- A案とB案を同じ期間、できるだけ同じ条件で比べる
- 事前に仮説と見る指標を決めておく
- クリック率だけでなく、CVRや売上など目的に近い指標を見る
- アクセスやコンバージョン数が少ないと結果がぶれやすい
- 画面全体を一度に変えると、何が効いたのか分かりにくい
どんな場面で使うか
A/Bテストは、LPの見出し、CTAボタン、フォーム項目、価格表示、メール件名、アプリの登録導線などを改善するときに使われます。
「こっちの表現の方が分かりやすいはず」「入力項目を減らせば完了率が上がるはず」のような仮説を、実際の行動データで確認するための方法です。
ただし、A/Bテストは新しいサービスの価値そのものを証明する道具ではありません。誰が困っているのか、何に価値を感じるのかがまだ曖昧な段階では、顧客ヒアリングやMVPによる小さな検証が先になることが多いです。
注意点
A/Bテストでは、結果が出たように見えても、広告キャンペーン、曜日、季節性、流入元の違いで数字が動いていることがあります。
そのため、対象ユーザー、実施期間、主要指標、採用条件を事前に決め、途中で都合よく判断基準を変えないことが大切です。
また、A案よりB案の数字が少し良かったとしても、それだけで常にB案を採用できるわけではありません。差が小さすぎる場合、偶然の揺れかもしれませんし、クリックは増えても問い合わせの質が下がることもあります。A/Bテストの結果は、主要指標、補助指標、ユーザー体験、実装コストを合わせて読む必要があります。
詳しい進め方は、A/Bテストとは？Web改善で2つの案を比べる基本 で整理しています。