広告のABテストで知りたいのは、二案のどちらに反応が多かったかだけでなく、何を変えると目的に近づくかです。写真、見出し、配信対象、時期を同時に変えると、差が出ても次に生かせる理由が分かりません。まず比較する違いと、良し悪しを判断する指標を決めます。
以下の収納と外観の比較は、実績ではなくテスト設計のための架空の仮説例です。
ハウスメーカーで拠点別に二案を比べる場合
支店や展示場ごとに広告を出している場合、二案の差に地域や会場の違いが混ざりやすくなります。写真だけを比べるなら、同じ見学会・同じ配信地域の中で二案を出し、別の拠点の結果を合算して勝者を決めないようにします。
本部が原稿を作り、予約対応を各拠点が担う体制なら、予約までの指標は拠点の受付記録と突き合わせないとそろいません。開始前に「何を変えるか」「何で判断するか」「どの拠点の記録を使うか」を一枚にまとめ、件数が少ない拠点は記事のとおり判定保留を選べるようにしておきます。
写真を比べるのか、訴求全体を比べるのか
写真の違いを調べたいなら、見出しと案内先は共通にして写真を変えます。見出しを調べたいなら、写真を共通にします。Google広告の公式ガイドでも、変更する変数を一つに絞り、評価指標を開始前に決める考え方が示されています。Google広告のテスト設計ガイド
一方、「収納を入口にした案」と「外観を入口にした案」を比べるため、写真と見出しを両方変える設計も考えられます。この場合に比べているのは訴求の組み合わせです。結果が良くても、写真だけ、あるいは見出しだけの効果とは言えません。
たとえば「収納を前面に出すと、収納の相談を伴う見学予約につながるか」という仮説なら、予約件数に加えて受付時の相談内容も見ます。クリックの増加だけでは、相談したい人に届いたかまでは分かりません。
配信条件が違えば、結論も控えめにする
二案はできるだけ同じ期間に比較し、配信地域、対象者の条件、予算配分、案内先、見学会の開催条件をそろえます。媒体のテスト機能を使う場合も、対象者をどう分けるかを含めて設計します。単に広告を二本出すだけで、公平な比較になるとは限りません。
先週は外観、今週は収納という出し方では、広告以外に曜日や開催日までの残り日数も変わります。同時に比較できないときは、その条件差を結果に添え、訴求だけが原因だと断定しない扱いが適切です。
予約を目的にするなら、クリックの先まで見る
見学予約の獲得が目的なら、有効予約の条件を先に決めます。たとえば、対象商圏内で、重複や確認用送信を除いた予約を数えるという決め方です。両案で同じ条件を使わなければ比較できません。
各案の配信期間、広告費、表示数、クリック数、有効予約数を並べます。クリック率はクリック数÷表示数、予約CPAは広告費÷有効予約数です。表示量や費用が異なる案を、件数だけで比べないために使います。クリック率が高くても商圏外の問い合わせが増えたなら、予約獲得の目的に対して良い案とは限りません。
差が小さいときは、勝者を決めずに終えてよい
予約が一件と二件だったという差だけでは、偶然の変動と区別しにくい場合があります。Google広告も、データ不足や明確な差がないため、良い組み合わせを特定できない場合を説明しています。テスト結果の見方
実務では、開始前に予算上限と評価する時点を決めておきます。期限までに判断材料が集まらなければ「今回の条件では判定保留」と残せます。反応が少ないまま案を増やすより、次回に比較を持ち越す方が目的に合うこともあります。
次の広告を急いで決める必要があるなら、説明内容と住宅の見どころが合う案を暫定的に採用する判断もできます。その採用判断と、ABテストで効果が確かめられたという結論は分けて扱います。
参考にした公式資料
記入例・計算例は編集上の例です。制度の受付状況や仕様は変わるため、実行前にリンク先の最新情報をご確認ください。
