イベントプロモーションのためのデータ分析、今すぐ学ぼう

PSM はすべてのマーケティングシナリオに適しているわけではありません。一般的に、十分なサンプルサイズ、有意な実験効果、および信頼性の高い傾向モデリングを備えたシナリオに適しています。一部のシナリオでは、コントロールグループの範囲を定義することが困難です。このとき、すべてのユーザー (実験グループのユーザーを除く) をコントロールグループの選択範囲として使用すると、最終的なエラーが大きくなる可能性があります。

01 はじめに

実際の評価作業では、すべてのマーケティング活動が AB 実験でテストされているわけではなく、また、AB 実験でテストされたすべてのマーケティング活動が活動の効果を正確に評価できるわけではありません。より典型的な状況は次のとおりです。

シナリオ1：バナーポジションで大きなプロモーションを実施予定ですが、アクティビティ開始までの時間が短いです。AB実験にはR&Dによるカスタマイズ開発が必要で、R&Dのスケジュールリソースがない場合は、オペレーションが全ユーザーを対象にアクティビティを実施することが多いです。プロモーションの入出力を事後的に評価する場合、実験グループとコントロールグループを厳密に比較することはできません。活動に直接参加したユーザーを実験グループとして使用し、プロモーションに参加しなかった大多数のユーザーをコントロールグループとして使用すると、実験グループとコントロールグループ自体に大きな違いが生じます（プロモーションに参加したユーザーの方が一般的に積極的で、補助金に対して敏感です）。この場合、より合理的な結論を得るためには、どのように評価すればよいでしょうか。
シナリオ 2:ライブストリーミングプラットフォームが新しいライブストリーミング機能を開始し、AB 実験を実施しました。実験グループでは新しい機能を見ることができましたが、コントロールグループでは見ることができませんでした。しかし、その後の評価では、実験グループのユーザーのデータは新機能を見ることができ、機能を使用するためにクリックしたため、良好なパフォーマンスを示したものの、新機能を使用するためにクリックしたユーザーの普及率は非常に低いことが判明しました。AB実験の実験グループとコントロールグループを直接比較した場合、有意な結論を導き出すことはできませんでした。では、このライブ放送室の新機能は本当に効果がないのでしょうか?

02 PSM法の紹介

上記 2 つのシナリオにおけるマーケティング活動の効率評価を解決するために、実際の状況に応じてコントロールグループをマッチングすることがよくあります。傾向スコアマッチング (PSM) はマッチング方法の 1 つであり、実験グループとコントロールグループ間のより合理的な比較を可能にします。

PSM 法は、一般的に医学、公衆衛生、経済学などの分野で使用されます。たとえば、研究課題が喫煙が公衆衛生に与える影響である場合、ランダム化比較実験を実施するには、多数の実験ユーザーを募集し、喫煙グループと非喫煙グループにランダムに割り当てる必要があります。この実験設計は実装が容易ではなく、科学的研究倫理にも適合しません。

この場合、観察研究は最も適切な研究方法です。しかし、最も入手しやすい観察研究データに直面した場合、調整を行わないと、間違った結論に達しやすくなります。たとえば、喫煙グループの中で最も健康な人と非喫煙グループの中で最も悪い人を比較し、喫煙は健康に悪影響を及ぼさないと結論付けてしまうなどです。

統計的な観点から見ると、観察研究ではランダムなグループ化の方法を使用しておらず、大数の法則に基づいて実験グループと対照グループ間の交絡変数の影響を弱めることができないため、体系的なバイアスが生じやすいためです。 PSM は、この問題を解決し、グループ間の干渉要因を排除するために使用されます。

PSM の定義は非常に直感的で、ユーザーが実験グループに属する「傾向」です。異なる特性を持つユーザーには、介入される可能性が等しくなければなりません。理論的には、各実験グループのユーザーをコントロールグループ内の同じスコアを持つユーザーと一致させると、同質の実験グループとコントロールグループが得られ、A/B 実験を行ったかのように見せかけて、自由にグループを比較することができます。

実際の作業では、複数期間の観察を通じて PSM 方式が特定のマーケティングシナリオに適していることが検証されれば、PSM モデルを商品化することができます。運用担当者は毎回アルゴリズムに要件を送信する必要はなく、簡単な入力で最終結果を得ることができます。

1) 入力

サンプルセットの決定は PSM で最も重要なステップであり、これには実験グループのユーザーとコントロールグループのユーザーの決定が含まれます。実験グループのユーザーは、通常、戦略によってリーチされたユーザー、またはコア戦略を実際に体験したユーザーから選択されます。マーケティングキャンペーンの特性に応じて具体的に定義されます。コントロールグループには範囲が与えられ、モデリングを通じて、実験グループと類似したユーザー特性を持つユーザーが、与えられたコントロールグループ範囲から実際のコントロールグループとして選択されます。

一般的に、コントロールグループに選択されるユーザーの範囲は、アクティビティに参加する傾向があるが、実際には参加していないユーザーである必要があります。たとえば、特定のアクティビティページにもアクセスし、そのアクティビティを体験したユーザーは実験グループであり、アクセスしたがアクティビティを体験しなかったユーザーは選択されたコントロールグループです。

2) PSMモデリング

まず、傾向スコアを推定する必要があります。このステップは直接モデリングの問題です。独立変数はユーザー機能変数です。必要に応じて機能の前処理が行われ、LR または LR + LightGBM などのより複雑なモデルが適用されて傾向スコアが推定されます。
次に、傾向スコアのマッチングが実行されます。各ユーザーの傾向スコアに基づいて、現在の実験グループのユーザーに対してほぼ同質のコントロールグループがマッチングされます。十分な数のユーザーがいる場合、単純なアプローチは、置換なしで 1 対 1 のマッチングを実行することです。つまり、実験グループの各ユーザーに対して、最も近い傾向スコアを持つコントロールグループのユーザーを見つけてペアにします。マッチングプロセス中、ペアリングされたユーザーのスコア差が特定のしきい値を超えないように制限できます。適切なマッチングでない場合は、あまりにも異なるユーザー同士がマッチングされるのを防ぐために、それらのユーザーは破棄されます。
モデルの出力と評価: モデルの出力には、実験ユーザー、一致したコントロールグループのユーザー、および傾向スコアが含まれます。評価指標には、トレーニングセット上のモデルの AUC (値が高いほど、傾向モデリングの精度が高くなります。一般に、AUC ≥ 0.85 が有効であると見なされます) と各特徴次元の一致関係値 (値が高いほど、この特徴次元の一致関係が良好です) が含まれます。

3) 効果計算

PSM を通じて実験グループと同様のユーザー特性を持つコントロールグループを構築することで、効果計算のロジックは AB 実験と同様になります。

03 PSM法の実践

前述のシナリオ1を事例として、AB実験を行わないマーケティング活動の有効性を分析します。

サンプルセットの範囲を決定する

実験グループ: プロモーションページをクリックして赤い封筒を受け取ったユーザーA1は、ユーザー数が10,000であると仮定して、PSM実験グループの入力としてuesr_idの詳細をエクスポートします。
コントロールグループの範囲: プロモーションページにアクセスしたが赤い封筒を受け取らなかったユーザー B1 は、ユーザー数が 50,000 であると仮定して、PSM コントロールグループの選択範囲入力として uesr_id の詳細をエクスポートします。

PSMモデリング

コントロールグループ範囲B1から、PSMモデリングを通じて、A1と同様のユーザー特性を持つユーザーB2が構築されます。実験グループのユーザー1人が、同様の特性を持つコントロールグループのユーザー1人を見つけるため、B2のユーザー数も10,000人になります。モデルのAUC=0.89、その他の特徴マッチング値は良好です。

結果計算

信頼性: AUC>0.85、モデル効果は良好で、マッチング結果を参照として使用できます。
活動補助金効率の計算：実験グループA1のサンプルサイズは10,000、貢献された総GMVは500,000元、総投資コストは50,000元です。PSMによって構築されたコントロールグループB2のサンプルサイズは10,000、貢献された総GMVは300,000元、総投資コストは25,000元です。プロモーション活動の最終的に計算された入力出力比率は、ΔGMV/Δcost = (500,000-300,000)/(50,000-25,000) = 8 です。したがって、プロモーション活動の入力出力比率は 8 であると結論付けることができます。つまり、1 元の投資で 8 元の GMV がもたらされます。