件数が少ない会社では、統計的な勝敗を急ぐより、同じ条件で小さな比較を繰り返し、「どの顧客段階で、どの一文が、どの行動を促しやすいか」を見つける方が実務的です。本記事では、工務店が自社で再現できる成果物として、対象条件、文面差分、割付方法、記録欄、判定ルール、例外処理をまとめた「小規模追客文面テスト設計票」を完成させます。
資料請求者へ相談を促すメールやSMSは、特定電子メール法の広告宣伝メールに当たり得ます。文面テストを始める前に、消費者庁の特定電子メール法の説明に沿って、送信先ごとに事前同意の記録があるか(または適用される法定の例外に当たるか)、送信者名・受信拒否の方法・苦情等の連絡先などの表示事項を文面に入れているかを確認します。受信拒否(停止希望)を受けた宛先は、成果集計を待たずに直ちに送信対象から外し、全配信元へ停止を反映します。この停止処理はテストの成否とは別の、法令上の対応です。
反応の分類コードと、不達・配信不能の扱いは、工務店の追客返信率|反応の内容まで読む集計方法の返信内容コード表(P1~U1)を共通定義として使います。同記事は返信全体の読み方を、本記事はその定義を使った二案比較の設計を扱います。
ハウスメーカーで拠点をまたいでテストする場合
拠点ごとの反応が数件しかないと拠点をまたいで件数を集めたくなりますが、04章の担当者ごとの割付と同じく拠点ごとにA・Bを交互に割り付け、拠点の違いが案の差に混ざらないようにします。
冒頭の特定電子メール法の確認と停止の反映は、本部配信と拠点送信のどちらで送るかを設計票に書いたうえで行います。
まず決めるのは、文章ではなくテスト後の判断
追客文面テストの目的は、読みやすい文章を選ぶことではありません。テスト結果を受けて、翌月以降の追客業務をどう変えるかを決めることです。目的が曖昧なまま文面を二つ作ると、返信率、来場予約数、資料閲覧数など複数の数字が並び、担当者ごとに都合のよい指標を選べてしまいます。
最初に、「何が起きたら標準文面を変更するのか」を一文で書きます。たとえば、「資料請求後7日間反応がない顧客へのメールについて、送信後14日以内の個別返信を増やす」「見学会参加後3日以内の連絡について、次回相談の日程確定を増やす」といった形です。
「成約を増やす」だけでは、追客文面の影響範囲が広すぎます。成約までには、土地の有無、資金計画、家族の合意、競合状況、担当者の提案など、多くの条件が介在します。文面テストでは、その文面を受け取った人が次に取り得る、近い行動を測ります。
横にスワイプして、右側の列を確認できます
| テスト対象の場面 | 近い行動として測るもの | 遠すぎるため主指標にしにくいもの |
|---|---|---|
| 資料請求後の初回メール | 返信、希望条件の回答、相談希望 | 最終的な請負契約 |
| 見学会参加後の連絡 | 個別相談の日程確定 | 引渡し後の満足度 |
| 資金相談後の追客 | 次回面談、必要資料の提出 | 年間売上高 |
| 土地情報送付後の確認 | 閲覧後の質問、現地案内希望 | 住宅ローン本審査承認 |
| 長期停滞客への再接触 | 現状回答、継続・休止の意思表示 | 紹介受注件数 |
この表から読み取るべきなのは、文面に近い行動ほど、改善原因を説明しやすいという点です。契約件数は補助的に追跡しても構いませんが、最初の比較判定を契約だけに依存させると、結論が出るまで長期間かかり、文面以外の影響も大きくなります。
主指標は一つに絞り、補助指標を二つ程度まで定めます。たとえば主指標を「日程確定」、補助指標を「返信」と「配信停止希望」にします。返信が増えても日程が決まらないなら、反応を生むことには成功していても、相談へ進める文面としては修正が必要だと判断できます。
- 対象場面を限定
- 主指標を決定
- 文面差分を一つ作成
- 対象者を割付
- 同じ期間で送信
- 案件単位で記録
- 継続・修正・中止を判断
この順序で重要なのは、文面を先に書かないことです。対象と判定を決めてから文章を作ると、「何となく柔らかい」「営業感が弱い」といった印象論ではなく、顧客に求める次の行動に沿って差分を設計できます。
比較する顧客を一つの場面にそろえる
小規模なテストで最も大きな誤差を生むのは、A案とB案の文章差ではなく、受け取った顧客の状態差です。資料請求直後の顧客と、見学会後に見積りを待っている顧客を同じ集計に入れてはいけません。返信のしやすさも、工務店への理解度も異なるからです。
対象条件は、「入口」「経過時間」「直前行動」「現在の状態」の四つで区切ると扱いやすくなります。たとえば、「自社サイトから施工事例集を請求し、担当者が一度電話したがつながらず、請求日から3~5日経過し、面談予約がまだない顧客」です。
一方、「資料請求客」のような広い区切りでは不十分です。一括資料請求サイト経由と自社サイト経由では、顧客が工務店を知っている程度が違う可能性があります。PDFを即時受信した人と、紙資料の到着を待っている人でも、送信時点の体験は異なります。
対象条件と除外条件を対にする
対象条件だけでは、担当者が判断に迷った案件を都合よく入れたり外したりできます。開始前に除外条件も書きます。除外とは「見込みが低い顧客を捨てる」という意味ではなく、今回の比較とは別の対応が必要な案件を集計から分けることです。
横にスワイプして、右側の列を確認できます
| 項目 | 記入例 | 判断が分かれる場合の扱い |
|---|---|---|
| 問い合わせ経路 | 自社サイトの施工事例集請求 | 他媒体との重複流入は除外記録へ |
| 対象地域 | 自社施工エリア内 | 建築地未定は対象、エリア外確定は除外 |
| 送信時点 | 請求から3~5日後 | 6日以上経過は別テスト候補へ |
| 直前対応 | 電話1回、不通 | 会話済みなら個別対応へ |
| 商談状態 | 面談未予約 | 予約済み、見積提出済みは除外 |
| 除外事由 | 苦情、配信停止希望、重複登録 | 通常追客を止め、所定の顧客対応へ |
| 集計単位 | 1顧客・1案件 | 同一世帯の複数登録は一件に統合 |
この表からは、「送れる相手」と「比較に入れられる相手」は同じではないと読み取れます。通常業務として個別連絡すべき顧客でも、条件が合わなければテスト集計から外します。除外した件数と理由は残し、結果をよく見せるための後付け除外を防ぎます。
対象を狭くすると件数は減ります。しかし、異なる顧客を大量に混ぜた結果より、条件をそろえた少数の記録の方が、翌月の運用改善には使いやすいものです。母数を増やすために過去客、来場客、資料請求客を混ぜるのではなく、テスト期間を延ばすか、同じ条件で次の期間にも反復します。
なお、顧客情報をテスト用の一覧へ転記する際は、既存の利用目的との関係、閲覧権限、保存場所、不要になった記録の扱いを社内で確認します。個人情報の利用目的や安全管理などの基本的な考え方は、個人情報保護委員会「個人情報保護法ガイドライン(通則編)」を一次資料として参照し、自社の取得経路、入力項目、委託先、保存方法に即して判断してください。この記事は、個別案件の適法性を判定するものではありません。
文面の違いは一度に一つだけ作る
A案とB案で、件名、本文の長さ、写真、相談メニュー、送信者名、送信時刻をすべて変えると、反応差の理由を特定できません。小規模な比較では特に、一回のテストで変える要素を一つに絞ります。
比較要素の候補は、「問いかけ方」「次の行動の選択肢」「伝える価値」「件名」「文章量」などです。最初のテストでは、現場で変更しやすく、結果を次の運用へ反映しやすい要素を選びます。装飾や細かな語尾より、顧客が返信時に何を答えればよいかに関わる部分が優先です。
たとえば、返信を増やしたい場合、A案は「ご不明点があればご返信ください」、B案は「現在のお考えに近いものを、①土地から相談、②建替え相談、③まだ情報収集中、から一つご返信ください」とします。変えているのは、返信方法の具体性です。挨拶、施工事例の説明、署名、送信時刻はそろえます。
固定部分と可変部分を色分けせず記録する
メール作成画面の見た目だけでは、どこを変えたか後から確認しにくくなります。設計票には、固定部分と可変部分を別欄で記載します。担当者が送信時に顧客名や資料名を変えることはありますが、それも許容する個別差として先に定めます。
横にスワイプして、右側の列を確認できます
| 文面要素 | A案 | B案 | テスト中の扱い |
|---|---|---|---|
| 件名 | 資料はご覧いただけましたか | 資料はご覧いただけましたか | 固定 |
| 冒頭挨拶 | 資料請求へのお礼 | 資料請求へのお礼 | 固定 |
| 資料の補足 | 施工事例集の見方を1文記載 | 施工事例集の見方を1文記載 | 固定 |
| 返信依頼 | 不明点があれば返信を依頼 | 三つの選択肢から返信を依頼 | 可変 |
| 個別差 | 顧客名、請求資料名 | 顧客名、請求資料名 | 変更可 |
| 署名 | 担当者名、会社連絡先 | 担当者名、会社連絡先 | 固定 |
| 法令上の表示 | 送信者名・所在地・苦情等の連絡先・受信拒否方法 | A案と同一の表示 | 固定。送信前に実情報へ置換し、停止を受け付けられる状態にする |
| 送信時刻 | 営業日の所定時間帯 | 営業日の所定時間帯 | 固定 |
ここで読み取るポイントは、二つの完成文を見比べるだけでなく、差分の役割を一行で説明できる状態にすることです。「B案は親しみやすい」では曖昧です。「B案は、返信内容を選択式にして回答負担を下げる仮説を試す」と書けば、結果が出なかったときに次の修正へつなげられます。
長さを変えるテストなら、行動喚起の文言は同じにします。件名を変えるテストなら、本文は同じにします。面談候補日の提示方法を変えるなら、送信曜日や候補日までの日数をそろえます。「一度に一要素」は絶対的な実験規則としてではなく、小規模事業者が結果を業務判断へ結び付けやすくするための運用原則です。
誤送信を防ぐため、A案とB案には「A」「B」を顧客に見える件名へ付けません。顧客管理表側で文面IDを持ちます。テンプレート名も「返信選択肢あり」「返信自由記述」のように差が分かる内部名称にし、担当者が送り分けを誤らないようにします。
少ない件数を公平に二つへ分ける
対象案件が少ないと、偶然の偏りが結果を大きく左右します。先着順で前半をA案、後半をB案にすると、月初と月末、イベント前後、担当者の繁忙などが文面差に混ざります。担当者の判断で「反応しそうな人にB案」を送る方法も避けます。
実務で扱いやすいのは、対象条件を満たした順にA、B、A、Bと交互に割り付ける方法です。ただし、一件目を毎回Aに固定すると、長期間では小さな偏りが残ることがあります。テスト開始時にコイン、乱数、くじなどで最初の案を決め、その後は交互にします。方法と開始案を設計票へ記録すれば、後から担当者の好みで変更できません。
複数担当者がいる場合は、会社全体で単純に交互配分すると、A案の多くを経験豊富な担当者、B案の多くを新人が送ることがあります。担当者ごとにA・Bを交互に割り付けるか、担当者と顧客段階をそろえた小さな組の中で分けます。
横にスワイプして、右側の列を確認できます
| 条件 | 推奨する割付 | 注意点 |
|---|---|---|
| 担当者が一人 | 対象登録順にA・B交互 | 最初の案を事前に決める |
| 担当者が複数 | 担当者ごとにA・B交互 | 担当者別の件数も記録する |
| 流入経路が二つ | 経路ごとにA・B交互 | 経路を混ぜた総数だけで決めない |
| 週末イベントの影響が大きい | 同じ週の対象をA・Bへ分ける | イベント前後を別案にしない |
| 一日の対象が一件程度 | 複数週にわたり交互配分 | 曜日と送信時刻を記録する |
| 緊急性のある案件 | テストから外して個別対応 | 顧客対応を割付より優先する |
この表が示すのは、無作為化の形式だけにこだわるより、反応へ影響しそうな条件をA案とB案の双方へ散らすことが重要だという点です。割付の完全性を追うあまり、返信が必要な顧客への対応を遅らせてはいけません。
- 対象条件を確認
- 除外条件を確認
- 担当者・流入経路を記録
- その区分の次の案を確認
- A案またはB案を送信
- 文面IDと送信日時を固定
この流れでは、送信後に案を付け直さないことが肝心です。誤ってB対象者へA案を送った場合は、記録上の案をAへ書き換えて整えるのではなく、「割付B・実送信A・手順逸脱」と残します。集計では原則として別欄にし、誤送信が多ければ結果判定より運用修正を優先します。
顧客から送信前に電話があり、面談が決まった場合も同様です。その顧客を無理に送信対象へ戻さず、「割付前に状態変更」として除外します。除外が片方の案に偏っていないかを見るため、割付前と割付後の除外を区別すると、集計の透明性が上がります。
判定期間と反応の定義を送信前に固定する
返信率を比べるには、「何日以内の何を返信と数えるか」を決める必要があります。送信後24時間と30日間では結果が変わります。自動返信、配信不能、担当者からの電話に対する折り返しを含めるかどうかでも数字は動きます。
判定期間は、顧客が文面を読み、求めた行動を取り得る長さと、工務店が次の追客へ移る時期の両方から決めます。たとえば、送信後7日以内に次の連絡をする運用なら、主判定を7日以内とし、14日以内を補助的に追跡する方法があります。重要なのは、A案だけ長く待つといった変更をしないことです。
反応は段階で記録すると、単なる返信数より改善点が見えます。「返信あり」の中には、相談希望だけでなく、「今は検討していない」「連絡を止めてほしい」という回答もあります。後者も顧客の意思が分かった点では業務上の意味がありますが、面談創出と同じ成功には数えません。
反応コードは独自に作らず、追客返信率の記事の返信内容コード表を使います。テストで決めるのは、どのコードを主指標に数えるかだけです。
横にスワイプして、右側の列を確認できます
| 反応の区分(共通コード) | 内容 | 主指標への算入 | 次の対応 |
|---|---|---|---|
| P1 日時合意 | 面談・来場・通話の日時が確定 | 面談を主指標にするテストで算入 | 商談準備へ進む |
| P2 接点希望 | 相談・来場・通話の希望 | 面談希望として補助指標に記録 | 日程調整へ進む |
| C1・H1・X1・M1 | 質問、時期保留、検討終了、方法変更 | テストの定義に合えば算入 | 内容に応じて当日中に対応 |
| U1 判定不能 | 「ありがとうございます」など受信確認のみを含む | 総返信率には含め、主指標には不算入 | 必要なら一度だけ具体質問 |
| X2 連絡停止 | 配信停止または連絡停止の希望 | 成功には不算入 | 法令上の受信拒否として直ちに送信対象から除外し、全配信元へ反映 |
| 自動返信 | 休暇通知、受付通知など | 返信に不算入 | 別記のみ |
| 不達・配信不能 | 宛先不明、送信失敗 | 分母から除外して別記 | 連絡先と登録経路を点検 |
| 反応なし | 判定期間内の本人反応なし | 不算入 | 次回追客ルールへ移る |
この表から読み取れるのは、「返信が増えた」という一言だけでは、営業成果も顧客への影響も判断できないことです。内容のある返信が増えてもX2も増えているなら、強い表現が反応を促した可能性があります。標準化の前に、反応の中身を確認します。
主指標を「面談日時の確定」とするなら、分子は判定期間内にP1となった顧客数、分母はその案を正しく送信し、不達・配信不能を除き、事前に決めた集計条件を満たした顧客数です。割合は「P1件数÷集計対象件数×100」で計算します。単位は%、判定期間は送信日から所定の日数です。
件数が非常に少ないと、割合表示が実態以上に確かな印象を与えます。たとえば1件中1件は100%ですが、同じ結果が続くとは判断できません。そのため、「100%」だけでなく「1件/1件」と必ず併記します。小規模テストでは割合の小数点以下を細かく示すより、分子と分母、対象期間、案件の違いを読む方が有用です。
架空案件で設計票を完成させる
ここからは、一つの架空例で設計から判定までを通します。実在する工務店、施主、運用成果ではありません。
架空の「若葉ホーム」は、地域密着型の注文住宅会社で、営業担当者は二人です。社名・人員・数値はすべて説明用の設定です。自社サイトから紙の施工事例集を請求した顧客へ、発送後に確認メールを送っています。今回の対象は、自社施工エリア内で建築を検討し、資料請求から3~5日経過し、初回電話が不通で、面談予約がない顧客に固定します。
改善したい問題は、担当者から「ご不明点があればご連絡ください」と送っても、顧客が何を返せばよいか分かりにくいことです。そこで、自由返信を求める現行案Aと、現在の検討状態を三択で尋ねる案Bを比較します。
若葉ホーム(架空)の小規模追客文面テスト設計票
横にスワイプして、右側の列を確認できます
| 設計項目 | 記入内容 |
|---|---|
| テスト名 | 施工事例集請求後・返信方法比較01 |
| 実施目的 | 顧客の現在地を把握できる返信を増やす |
| 対象入口 | 自社サイトから紙の施工事例集を請求 |
| 対象時点 | 資料請求日から3~5日後 |
| 対象状態 | 初回電話不通、面談未予約 |
| 除外 | エリア外確定、重複登録、苦情、停止希望、担当者と会話済み |
| A案 | 不明点があれば自由に返信してもらう |
| B案 | 三つの検討状態から一つ返信してもらう |
| 変更する要素 | 返信方法の具体性のみ |
| 固定する要素 | 件名、挨拶、資料説明、署名、法令上の表示(送信者名・受信拒否の方法・苦情等の連絡先)、送信時間帯 |
| 送信前提 | 送信先ごとに同意記録または法定の例外を確認済み |
| 割付 | 担当者ごとに対象登録順でA・B交互 |
| 主指標 | 送信後7日以内に検討状態が分かる本人返信(共通コードのU1・X2・自動返信を除く) |
| 補助指標 | 面談希望(P2)、停止希望(X2)、配信不能(分母外で別記) |
| 判定ルール | 各案の集計対象10件未満は判定しない。差が2件以内は継続比較。同じ方向の差が3期間連続した場合に標準化を検討 |
| 判定期間 | 各送信日から7日間 |
| 途中確認 | 誤送信、苦情、停止希望の発生時のみ |
| 終了条件 | 予定期間終了、または安全・顧客対応上の中止判断 |
| 判定候補 | 継続、Bを標準化、Bを修正、テスト中止 |
この設計票から読み取るべき点は、「返信数」ではなく「検討状態が分かる本人返信」まで定義したことです。「ありがとうございます」だけの返信は、共通コード表どおりU1として総返信率には含めますが、この設計の主指標には入れません。
A案とB案の例は、次のようにします。実際の送信時には、既存の同意・案内方針、ブランド表現、顧客との会話履歴に合わせて調整が必要です。
A案の可変部分
施工事例集をご覧になって、ご不明な点や詳しく知りたいことがございましたら、このメールへお気軽にご返信ください。
B案の可変部分
今後のご案内を合わせるため、現在のお考えに近いものがあれば、番号を一つご返信ください。
1. 土地探しから相談したい 2. 建替え・家づくりの条件を相談したい 3. まだ情報を集めている段階 4. その他(ご自由にお書きください)
B案で選択肢を設けても、顧客を三分類へ無理に押し込めてはいけません。4番の自由記述や「まだ分からない」という回答も受け止めます。返信後は、番号だけを見て定型営業へ流すのではなく、顧客の記述や過去の問い合わせ内容を確認して次の連絡を選びます。
また、B案の選択肢に「個別相談を予約する」と「資料をさらに請求する」を混在させると、選択肢ごとの負担が違います。このテストでは、現在地の把握に目的を限定しました。面談化を測りたいなら、別のテストで日程提示方法を比べます。
送信台帳は結果ではなく経過まで残す
文面テストは、集計表だけでは再現できません。誰に、いつ、どの条件で、実際にどの案を送り、その後何が起きたかを案件単位で残します。月末に担当者の記憶から件数を復元すると、都合のよい返信だけが集まりやすくなります。
台帳には、分析に必要な最小限の項目を置きます。氏名を別の顧客管理システムで参照できるなら、テスト用台帳では顧客IDを使う方法もあります。ただし、ID化しただけで個人情報に関する対応が不要になると決めつけず、社内の情報管理ルールに従います。
横にスワイプして、右側の列を確認できます
| 列名 | 記入内容 | 記入時点 |
|---|---|---|
| 案件ID | 顧客管理上の識別子 | 対象登録時 |
| 対象確認日 | 条件を確認した日 | 対象登録時 |
| 担当者 | 実際の送信担当者 | 送信前 |
| 流入経路 | 自社サイトなど | 送信前 |
| 割付案 | 事前に決めたAまたはB | 送信前 |
| 実送信案 | 実際に送った案 | 送信直後 |
| 送信日時 | 日付と時刻 | 送信直後 |
| 判定期限 | 送信日から定めた期限 | 送信直後 |
| 初回反応日時 | 最初の本人反応 | 反応時 |
| 反応コード | 共通コード(P1~U1)と補助タグ | 反応時または期限後 |
| 主指標該当 | 該当・非該当 | 判定時 |
| 例外 | 誤送信、電話先行など | 発生時 |
| 次の行動 | 返信、電話、休止など | 判定時 |
| 完了日 | 次の行動を終えた日 | 対応後 |
この表では、割付案と実送信案を分けている点が重要です。送信ミスを消さずに残すことで、テスト結果の問題と業務手順の問題を区別できます。判定期限も案件ごとに持たせるため、期間未了の顧客を「反応なし」へ早く入れる事故を防げます。
入力担当も決めます。送信者が送信日時と実送信案を記録し、返信を受けた担当者が反応コードを更新し、週次の確認者が期限超過と未入力を点検する、といった役割分担です。全員が入力できる状態だけを作っても、誰も完了責任を持たない台帳になります。
追客そのものの未対応や期限超過が多い場合、文面差を比べる前に送信漏れを減らす必要があります。その場合は、工務店の追客漏れ点検|未対応・期限超過を探す手順を使い、対象登録、期限、担当者、次回行動が欠けていないかを先に点検すると、テスト母集団を安定させやすくなります。
実施中は反応率で勝者を決めない
テストを始めると、最初の数件でB案に返信が集まり、「もうBでよいのでは」と判断したくなります。しかし、初期の差は、たまたま検討度の高い顧客が片方へ入っただけかもしれません。予定した期間または対象件数に達するまでは、通常の反応率を理由に文面を切り替えない方が比較しやすくなります。
一方、どのような場合でも終了まで続けるわけではありません。誤解を招く記述が見つかった、停止希望が想定外に増えた、案内内容が実際のサービスと一致していない、顧客から苦情があった、といった場合は中止や修正を優先します。テスト計画は顧客対応上の問題を放置する理由にはなりません。
- 事象を記録
- 顧客への必要対応を優先
- 影響範囲を確認
- 一時停止を判断
- 文面・対象・手順を修正
- 同じテストとして再開するか新規テストに分ける
この流れで注意したいのは、文面を途中修正したまま同じB案として集計しないことです。意味に影響する修正なら「B2」など別の文面IDを付けます。誤字修正でも、顧客の受け取り方に影響し得るなら変更日を残します。
週次確認では、A案とB案の勝敗ではなく、運用品質を見ます。対象条件外の混入、未送信、案の取り違え、判定期限未入力、返信への未対応がないかを確認します。反応内容を読む必要がある場合も、閲覧権限を必要な担当者に限定します。
横にスワイプして、右側の列を確認できます
| 週次点検項目 | 問題なしの状態 | 問題があった場合 |
|---|---|---|
| 対象条件 | 全件に確認記録がある | 対象外を例外欄へ移す |
| 割付 | 決めた順序どおり | 原因を記録し次回から修正 |
| 実送信 | 割付案と一致 | 手順逸脱として分離 |
| 判定期限 | 全件に設定済み | 送信日から再計算 |
| 顧客対応 | 返信への対応漏れなし | テスト集計より対応を優先 |
| 文面内容 | 実態と一致し誤解がない | 送信停止と影響確認 |
| 停止希望 | 受付当日に全配信元で停止済み | 直ちに送信対象から外し、停止後の送信有無を確認 |
| 途中集計 | 運用監視のみに使用 | 勝敗決定に使わない |
この表から分かるのは、途中確認の目的が「早く勝者を選ぶこと」ではなく、「比較できる状態と適切な顧客対応を守ること」だという点です。途中で成績を担当者へ強く共有すると、期待する案を熱心な顧客へ選ぶなど、無意識の運用差が生じることもあります。
電話で反応があった場合は、メール返信と同じ扱いにするかを事前に決めます。主指標が「検討状態を把握できたこと」なら、メールを読んだ顧客からの電話も該当させる余地があります。ただし、メールとは無関係な担当者の架電で把握した場合は、文面の反応として混ぜず、別経路と記録する方が結果を説明しやすくなります。
集計では率より先に分子・分母と偏りを見る
テスト終了後は、いきなり返信率を比較せず、集計対象が正しく確定しているかを確認します。A案とB案について、割付件数、実送信件数、条件外件数、配信不能件数、判定期間未了件数を並べます。分母の作り方が違えば、率の比較に意味がなくなります。
たとえば、A案は配信不能を分母から外し、B案は含めると、B案が不利になります。本記事では、共通コード表の記事と同じく、不達・配信不能は両案とも分母から除外して件数を別記します。後から結果を見て分母を変える場合は、当初集計と変更後集計を併記し、変更理由を書きます。
以下は、集計方法を示すための架空データです。若葉ホームが実際に得た成果ではなく、計算例にすぎません。期間は4週間、単位は顧客件数です。
横にスワイプして、右側の列を確認できます
| 集計項目 | A案 | B案 |
|---|---|---|
| 割付件数 | 12件 | 12件 |
| 手順逸脱(別欄へ分離) | 1件 | 0件 |
| 正しく送信 | 11件 | 12件 |
| 配信不能(分母から除外し別記) | 1件 | 0件 |
| 判定期間未了 | 0件 | 0件 |
| 事前ルールによる集計対象(分母) | 10件 | 12件 |
| 検討状態が分かる本人返信(主指標) | 2件 | 4件 |
| うち面談希望(P2) | 1件 | 1件 |
| 停止希望(X2、主指標とは別) | 0件 | 1件 |
この表では、主指標の割合はA案が「2件÷10件×100=20%」、B案が「4件÷12件×100=約33%」です。ただし、集計対象は合計22件、期間は4週間にすぎず、B案が常に優れていると確定する材料にはなりません。両案の差は2件分で、仮にFisherの正確確率検定を当てはめても両側p値は約0.65と、偶然の範囲と区別できません。B案では停止希望も1件あり、面談希望は両案とも1件です。
したがって、この架空例で「B案を永久に採用」とは判断しません。事前ルールでも、差が2件以内なので「継続比較」に当たります。「三択によって検討状態の把握が増える可能性はあるが、面談希望の増加は確認できず、停止希望の内容確認も必要」と読みます。次の期間に同じ条件で再度比較する、選択肢の表現を見直してB2案にする、返信後の案内手順を点検する、といった判断が考えられます。
担当者別、流入日別、曜日別に細かく分解しすぎるのも危険です。件数が少ないほど、一件の違いが大きく見えます。分解は、明らかな偏りや手順差を見つける目的に限定します。「火曜日のB案が最強」といった細かな結論を作るのではなく、片方だけ特定担当者に集中していないかを確認します。
率の差を業務量へ置き換える
文面を標準化する前に、反応増加が現場で扱えるかも考えます。選択式にしたことで返信は増えても、すべてに長文の個別返信が必要になり、翌日の対応が遅れるなら、返信後の分岐も設計しなければなりません。
仮に月間対象が20件で、A案の該当返信が4件、B案が7件だった場合、差は月3件です。これは「7件÷20件=35%」と「4件÷20件=20%」の差であり、15ポイント差です。ところが、この数字だけでは価値を判断できません。追加3件が面談へ進むのか、現状確認で終わるのか、対応に何分必要かを見ます。
金額換算は、成約率や粗利を根拠なく当てはめない方が安全です。まずは「追加で発生する返信対応件数」「一件当たりの標準対応時間」「期限内に対応できる担当者数」といった、自社で実測できる業務量へ置き換えます。
勝敗ではなく四つの判定へ分ける
小規模テストの結論は、「Aの勝ち」「Bの勝ち」だけではありません。標準化、継続比較、修正再テスト、中止の四つに分けると、無理に勝者を作らず次の行動を決められます。
標準化は、主指標が一貫して良いだけでなく、顧客への不利益となる反応が増えておらず、担当者が同じ手順で運用できる場合に選びます。一回の小さな差だけでなく、事前に決めた回数だけ同じ方向が続き、案件内容を読んでも説明可能であることを条件にします。
「複数回で同じ方向」を曖昧にしないため、判定ルールはテスト開始前に数字で決め、設計票へ書きます。次は、月の対象が各案10件前後の会社を想定した一例です。数字は自社の件数と判断期限に合わせて変えて構いませんが、結果を見てから変えてはいけません。
横にスワイプして、右側の列を確認できます
| 判定ルール | 設定例 | 理由 |
|---|---|---|
| 最低件数 | 各案の集計対象が10件未満の期間は判定しない | 1件で10ポイント以上動く状態を避ける |
| 小さな差 | 主指標の該当件数の差が2件以内なら継続比較 | 1~2件は偶然の偏りで容易に生じる |
| 方向の反復 | 同じ案が上回る期間が3期間連続したら標準化を検討 | 一回の偶然を標準化しない |
| 累計の確認 | 全期間を合算しても同じ方向か確認する | 期間ごとの揺れを打ち消して見る |
| 悪影響の歯止め | 停止希望(X2)や苦情が増えた案は、主指標が良くても標準化しない | 顧客への不利益を優先する |
| 参考の検定 | 累計でFisherの正確確率検定などを参考に計算してもよい | 小さな件数でも使える方法だが、有意でないことは「差がない」証明ではない |
この表のうち、検定は必須ではありません。小規模な工務店では、有意な差が出るほどの件数が集まらないことが普通です。そのため、「件数の下限」「差の幅」「方向の反復回数」「悪影響の歯止め」という四つの事前ルールで、無理に勝者を作らない判断を優先します。
継続比較は、差の方向はあるものの件数が少ない、片方に検討度の高い顧客が偏った、特別なイベント期間が含まれた、といった場合です。文面を変えず、同じ設計票のまま次の期間へ延長します。途中で条件を変えるなら、別テストとして分けます。
修正再テストは、仮説の一部は支持されそうでも、文面に改善余地がある場合です。たとえば三択には返信があるものの、「まだ情報収集中」に回答が集中し、次の行動につながらないなら、選択肢ではなく返信後の案内を見直すことも考えられます。
中止は、誤解、苦情、停止希望の増加、実態と異なる案内、社内で処理できない反応増などがある場合です。また、対象案件がほとんど発生せず、比較のために不自然な顧客まで含めなければならない場合も、そのテスト設計を中止して対象場面を選び直します。
横にスワイプして、右側の列を確認できます
| 判定 | 選ぶ条件 | 次の行動 |
|---|---|---|
| 標準化 | 事前に決めた回数(例:3期間)連続で同方向、累計も同方向、悪影響なし、運用可能 | 標準文面と利用条件を更新 |
| 継続比較 | 最低件数未満、差が2件以内、偏りの可能性、期間要因あり | 文面と条件を変えず延長 |
| 修正再テスト | 仮説に手応えがあるが内容に課題 | 新IDを付けて差分を再設計 |
| 中止 | 誤解、苦情、運用不能、対象不成立 | 顧客対応と原因修正を優先 |
| 判定保留 | 記録欠損や誤送信が多い | 集計せず業務手順を直す |
この表から読み取れるのは、判定保留も正式な結論だということです。記録が崩れているのに数字だけを比較すると、文面ではなく入力品質を評価してしまいます。保留の場合は、テストを長引かせる前に、対象確認、割付、送信、記録のどこで崩れたかを特定します。
標準化する場合も、すべての追客へ展開しません。「自社サイトから紙の施工事例集を請求し、3~5日経過し、電話不通で、面談未予約」という適用条件とセットで登録します。見学会後、見積提出後、長期休眠客には別の目的と文面が必要です。
案件が営業パイプライン上のどこにあり、次の行動が何かをそろえたい場合は、工務店の営業パイプライン管理|停滞と次の行動を確認すると接続できます。文面テストは顧客段階の定義そのものを作る作業ではなく、定義済みの一場面で次の行動を促す手段として位置付けます。
うまく比較できないときは原因を三層で直す
差が出ないとき、すぐに「文面は関係ない」と結論づけるのは早計です。問題は、設計、実施、顧客状況のいずれかにあります。この三層を分けると、文面を無制限に書き換えることを避けられます。
設計の問題には、対象が広すぎる、主指標が遠すぎる、A案とB案の差が小さすぎる、複数要素を同時に変えた、といったものがあります。実施の問題には、担当者ごとに送信時刻が違う、送信漏れがある、返信の分類が統一されていない、片方だけ追い電話をしている、といったものがあります。
顧客状況の問題には、繁忙期や長期休暇、イベント直後、金利や補助制度に関する関心変化など、文面以外の要因が含まれます。ただし、確認済み資料がない制度や市場動向を、反応差の原因として断定してはいけません。台帳で確認できる事実と、担当者の推測を分けます。
横にスワイプして、右側の列を確認できます
| 症状 | 確認する層 | よくある原因候補 | 修正案 |
|---|---|---|---|
| 両案とも反応がない | 設計 | 求める行動が重い、送信時点が遅い | より近い行動へ主指標を変更 |
| 結果が担当者で逆転 | 実施 | 送信後の電話、説明量、対応速度が異なる | 担当者別割付と後続手順を統一 |
| 片方だけ除外が多い | 実施 | 割付後に対象判定している | 対象確認を割付前へ移す |
| 返信は増えたが面談が増えない | 設計 | 返信依頼と面談導線が接続していない | 返信後の分岐を別に設計 |
| 停止希望が増えた | 顧客対応 | 圧迫感、頻度、期待との不一致 | 一時停止し内容と送信履歴を確認 |
| 月ごとの変動が大きい | 顧客状況 | 流入数・流入内容・イベントが異なる | 同じ条件で複数期間を見る |
| 記録が埋まらない | 実施 | 項目過多、責任者不明 | 必須列を減らし入力時点を決める |
この表からは、症状ごとに直す場所が異なると分かります。反応がないたびにコピーライティングだけを変えると、送信時点や対象条件の問題が残ります。反対に、運用が安定しているのに差分が弱すぎるなら、顧客の行動負担に関わる要素へ踏み込む必要があります。
件数が集まらない場合
予定期間中に対象が数件しか発生しない場合は、対象条件を途中で広げず、期間延長を検討します。どうしても業務判断の期限があるなら、勝敗を決めず、案件記録から「送れたか」「返信内容を分類できたか」「後続対応が可能か」という運用可能性までを結論にします。
別の流入経路を追加するなら、経路別に記録し、A案とB案の双方へ同じように配分します。自社サイト経由3件と一括資料請求経由20件をまとめると、全体結果が後者の性質に支配されます。総数に加えて経路別の分子・分母を示します。
途中で文面の誤りが見つかった場合
顧客の判断へ影響しない軽微な表記修正でも、変更日時を残します。案内内容、条件、期限、サービス範囲に関わる誤りなら送信を止め、すでに送った顧客への訂正が必要か社内で判断します。その後の文面は新しいIDにし、修正前後を一つの案として集計しません。
反応後の対応が追いつかない場合
返信を増やすテストは、営業担当者の仕事も増やします。返信後24時間以内に対応する社内ルールがあるのに守れないなら、テスト対象を一日当たりの上限で区切る、当番を決める、返信内容別の確認項目を準備するなど、受け皿を先に直します。
自動返信や未提供の自動判定機能を前提にせず、現在使っているメール、顧客管理表、担当者の手作業で実行できる範囲を設計します。自動化を導入する場合も、誰が例外を確認し、誤分類を直し、停止希望へ対応するかは残ります。
一回のテストを会社の改善資産へ変える
テストが終わったら、完成文だけをテンプレート一覧へ保存するのではなく、適用条件と判定理由を一緒に残します。文章だけが独り歩きすると、数か月後に別の担当者が、対象外の顧客へ同じ文面を送ってしまいます。
保存する成果物は、「設計票」「文面台帳」「案件別記録」「判定メモ」「標準化後の利用条件」の五つです。これらを一つのフォルダや管理画面で参照できるようにすると、次のテストで対象条件や反応コードを再利用できます。
判定メモは長い報告書でなくても構いません。少なくとも、実施期間、A・Bの分子と分母、除外件数、主指標、補助指標、確認した偏り、顧客対応上の問題、最終判断、次回の見直し日を記載します。
横にスワイプして、右側の列を確認できます
| 保存物 | 必須内容 | 次回の用途 |
|---|---|---|
| テスト設計票 | 対象、除外、仮説、差分、判定期間 | 条件を再現する |
| 文面台帳 | 文面ID、全文、変更日、変更理由 | 途中変更を識別する |
| 案件別記録 | 割付、実送信、反応、例外 | 分子・分母を再計算する |
| 判定メモ | 数字、偏り、問題、決定 | 結論の根拠を引き継ぐ |
| 標準利用条件 | 使用場面、禁止場面、次の対応 | 誤った横展開を防ぐ |
| 見直し予定 | 見直し日、責任者、確認指標 | 効果の固定化を避ける |
この表から読み取れるのは、最終文面より「なぜ、誰に使うか」の方が再利用価値を持つということです。担当者が交代しても、適用条件と例外が残っていれば、過去の判断をゼロからやり直さずに済みます。
標準化後も、反応率が永続的に維持されるとは限りません。流入経路、資料内容、顧客層、営業体制が変われば、同じ文面の役割も変わります。月次で勝敗を再計算し続ける必要はありませんが、テンプレート改定時、資料変更時、対象条件変更時には、過去テストをそのまま根拠にできるかを見直します。
追客の結果として失注や休止に至った案件は、文面の良し悪しだけで説明しないことも大切です。顧客の理由、提案内容、時期、競合状況などを別に振り返る場合は、工務店の失注振り返り|次の提案に生かす確認項目へ切り分けます。追客文面テストは接点の改善、失注振り返りは案件全体の学習と、担当範囲を分けることで結論が混ざりません。
最後に、自社用の「小規模追客文面テスト設計票」を次の順で埋めれば、初回テストを開始できます。
1. 比較する顧客場面を一つに限定する 2. 対象条件と除外条件を具体的に書く 3. 文面から最も近い主指標を一つ選ぶ 4. A案とB案で変える要素を一つに絞る 5. 固定部分と個別変更を許す部分を分ける 6. 担当者や流入経路の偏りを抑える割付を決める 7. 判定期間、使う反応コード、判定ルール(最低件数・差の幅・反復回数)を送信前に決める 8. 案件単位で割付案、実送信案、反応、例外を記録する 9. 途中では顧客対応と運用品質を点検する 10. 分子・分母・除外・偏りを確認して四つの判定へ分ける 11. 文面と一緒に適用条件、判定理由、見直し日を保存する
小規模な工務店に必要なのは、大量配信を前提とした複雑な実験環境ではありません。対象をそろえ、一度に一つだけ変え、案件単位の事実を残し、勝敗を急がず反復する仕組みです。その仕組みがあれば、「担当者の感覚で文章を直す」状態から、「どの顧客場面に、どの依頼方法を使うかを説明できる」状態へ移れます。
参考にした公式資料
記入例・計算例は編集上の例です。制度の受付状況や仕様は変わるため、実行前にリンク先の最新情報をご確認ください。