成長戦略: AB テストを使用してアクティビティを評価および最適化するにはどうすればよいでしょうか?

電子商取引業界は大小さまざまなプロモーション活動で溢れており、O2O分野では補助金戦争が頻繁に繰り広げられています。拡大の初期段階では、ユーザーを引き付けるためにお金を費やして譲歩することが当然最も効果的な方法ですが、一定の規模に達すると、狂ったようなプロモーション補助金モデルはまだ効率的でしょうか？パーソナライズされた運用戦略は必要ですか?この活動の実際の効果は何ですか?

上記の問題を解決し、科学的な活動効果評価システムを確立するために、現時点で最も簡単な方法はABテストです。

1. 評価システムを構築するには？

ABテストは現在、製品のグレースケールリリース段階で広く使用されています。また、プレシジョンマーケティングなどの成長戦略など、ABテストの用途はより広範です。

ある種の計画を検証する場合、その概念は非常に単純で、変数を制御するだけです。しかし、ビジネスの世界は特に複雑であり、無関係な変数をすべて制御することは非常に困難です。そのため、ABテストは非常に人気があり、「真実」をテストするための一般的な標準となっています。

ABテストの考え方に基づいて、ランダムグループ化により、2つのグループの他の変数が基本的に一貫していることを保証できます。実験グループに影響を与えることで、実験グループとコントロールグループのパフォーマンスの違いを観察し、影響の効果を評価できます。

次に、電子商取引業界におけるプロモーション活動を例にとり、プロモーションの評価システムの構築を試みます。

まず、ラベルを通じて潜在的なグループを選別し、一部のユーザーをランダムにテストグループとして選択します。介入なしに、ユーザーのコンバージョンを秘密裏に観察します。

• 実験グループのユーザーに対しては、ターゲットを絞ったクーポンやテキストメッセージのアウトリーチを通じて介入し、その後はユーザーがコンバージョンするまで静かに待ちました。
• 対照群では、ユーザーはすべて自然にコンバージョンしますが、実験群のユーザーは介入によってコンバージョンします。実験グループでは、確かに割引に惹かれて注文したユーザーもいましたが、クーポンがなくても自然に購入する可能性のあるユーザーもいました。

したがって、コントロール グループのコンバージョン率をクーポンなしの自然なコンバージョン率として使用すると、次のユーザー関連指標が得られます。

• ユーザーベースライン = 介入の総数 * 自然コンバージョン率
• ユーザー増加 = 介入総数 * (介入コンバージョン率 - 自然コンバージョン率)
• ユーザープロモーション率 = ユーザープロモーション / ユーザーベースライン

同様に、ビジネス分析の観点から、実際の販売結果を評価できます。

1. GMV ベースライン = ユーザー ベースライン * 平均注文額
2. GMVの増加 = ユーザーの増加 * 平均注文額
3. 費用 = 注文あたりの割引額 * 注文するユーザー数 + SMS メッセージごとの料金 * 関係する人数の合計
4. 純GMV増加 = GMV増加 - コスト

最後に、ビジネスパフォーマンスを評価するための包括的な指標が得られます。

1. GMV純増加率 = GMV純増加 / GMVベースライン
2. ROI = 純 GMV 増加 / コスト

上記には非常に多くの指標がありますが、最も重要なものはどれでしょうか?

上記の指標をリストする目的は、指標の分解と計算プロセスを理解しやすくすることです。しかし、さまざまな役割については、最終的には、その役割に関連する成果指標にのみ焦点を当てる必要があります。

• 運用やマーケティングの場合、評価目標は月間アクティブユーザー数に重点を置く可能性があるため、ユーザー改善率をより重視することになります。複数の活動を横に比較することで、活動の有効性を特定し、徐々に根本原因を探ることができます。
• 営業担当にとっては、考慮すべき要素は比較的複雑ですが、GMV純増率とROIという2つの指標を通じて、活動の全体的な効果を直接評価することもできます。

このうち、 GMV 純増率は、活動が GMV に与える影響を反映します。現在の目標が、なんとしても GMV を増やすことである場合は、GMV 純増率の高い活動形態または活動強度を選択する必要があります。利益を重視する必要がある場合は、分析にROIも含め、GMV の純増加率が高く、ROI が比較的優れた活動を選択する必要があります。

2. 最適化戦略を構築するにはどうすればよいでしょうか?

上では、ABテストを通じて業務や営業が活動計画を最適化できると述べていましたが、具体的にはどのように実施すればよいのでしょうか。

異なるプロモーション形式や異なる活動強度の効果をテストする必要がある場合は、実験グループをさらに細分化する必要があります。

たとえば、実験グループ 1 では 100 以上の購入に対して 20 オフのクーポンを配布し、実験グループ 2 では 100 以上の購入に対して 10 オフのクーポンを配布することができます。最後に、コントロール グループとのアクティビティ効果の違いを比較して分析します。 100 元以上の購入に対して 20 元の割引が適用されるクーポンの GMV 増加は高くなる可能性がありますが、コストが高いため、GMV と ROI の純増加は高くなりません。

同様に、ターゲットクーポン、ターゲット優待価格などの異なる形式のプロモーションでは、100 マイナス 20 や 200 マイナス 40 など、同じ割引に対する異なるしきい値も同様の方法でテストできます。

ABテストを複数回実施した後、過去のテストデータに基づいて予備的な判断を行い、目標に合った最適なプロモーションプランを特定できます。

3. AB テストの落とし穴は何ですか?

方法論は常に良さそうに見えますが、実装となると、予想外の問題に直面することがよくあります。上記の AB テスト方法を使用してアクティビティの効果を評価および最適化する際の落とし穴を見てみましょう。

1. テストグループの人数が少なすぎる:テストグループと実験グループの人数がまったく同じである必要はありませんが、各グループの人数が統計的に有意であることが保証される必要があります。実験グループが 10 万人で、テストグループが 10 人だけの場合、テストグループの結果は個人によって大きく影響され、最終的には異常な結果につながる可能性があります。
2. 実験グループの人数が少なすぎる:どのクーポンのしきい値がより効果的かをテストしたい場合は、複数の実験グループに分割して異なるクーポンを発行する必要があります。グループが多すぎると、各実験グループの人数が少なくなり、結果が不正確になります。
3. あなたのテスト グループは、他の誰かの実験グループです。実際には、完全にクリーンなテスト フィールドは存在しません。テスト グループは、干渉のないユーザーの自然な変換を表現できると考えていますが、他のアクティビティによってユーザーがすでに実験グループに分類されていることを知りません。社内の対立であれば、データが戻った後に他の実験に参加しているユーザーを排除することができます。しかし、社外の競合他社によって妨害された場合は、知るすべがありません。複数の実験を総合的に評価することによってのみ、単一の活動で直面する可能性のある特殊な状況に備えることができます。
4. あなたの実験グループは他の誰かの実験グループです。同様に、外部の競合他社は、たまたまあなたの実験グループのユーザーをターゲットにした、より集中的な活動を行っている可能性があるため、結果は想像に難くありません。
5. 介入タイムラグ:ユーザーを識別し、クーポンを申請してから最終的な SMS 配信まで、一定のラグがあります。システムがユーザーが注文したかどうかを判断できない場合、ユーザーは注文した後にのみクーポンを受け取ります。一方では、エクスペリエンスに影響します。他方では、ユーザーが注文をキャンセルしてから別の注文を行う可能性があり、その結果、フルフィルメント コストが増加します。テキストメッセージを送信する前に注文したユーザーを除外すると、実際の介入は比較的購買傾向の弱い人々に対して行われることになり、不正確な結果につながります。そのため、マーケティングシステムの完全性と各部門の協調的な実行が重要になります。

結論

現実世界は複雑で、それを解明して手がかりを得るのは簡単ではありません。立ち止まるよりも、実験してみるほうが常に良いです。実践することで、落とし穴を一つずつ避ける方法を学ぶことができます。

私たちは皆、フレームワークを構築し、そのフレームワーク内で繰り返し探索し、可能性のある手がかりを見つけようとしています。最終的には、これらの手がかりがネットワークを形成します。

出典: Moji Data Products