マーケティング活動を評価するには？

01 はじめに

実際の効率評価業務では、すべてのマーケティング活動でAB実験が行われているわけではなく、すべての企業がPSMモデルを製品化しているわけではありません。AB実験やPSMモデリングがない場合、他の評価方法はありますか？今日は、比較的一般的で使いやすい分析方法である二重差分法を紹介します。

02 DIDの紹介

2.1 DIDの概要

二重差分法 DID の英語名は Differences-in-Differences で、「二重差分法」や「差分の差」とも呼ばれます。二重差分推定の本質は、パネル データの固定効果推定です。二重差分は、単純に 2 回の差分を取ることと理解できます。政策効果評価の強力なツールとして、二重差分法はますます多くの人々に支持されています。要約すると、いくつかの理由があります。

• これにより、内生性の問題が大幅に回避されます。政策は一般にミクロ経済主体に対して外生的であるため、逆因果関係の問題はありません。
• 省略変数バイアスの問題を軽減します。
• 従来の政策効果評価法は、主に政策が行われたか否かを示すダミー変数を設定し、回帰分析を行うものでした。これに対し、二重差分法はより科学的なモデル設定が可能で、政策効果をより正確に推定することができます。
• 二重差分法の原理とモデル設定はシンプルで、理解しやすく、適用しやすいです。

2.2 DIDモデル

ベースライン DID モデルは次のように設定されます。

このうち、du はグループ化ダミー変数です。個人 i が戦略の実施によって影響を受ける場合、個人 i は治療グループに属し、対応する du 値は 1 になります。個人 i が戦略の実施によって影響を受けない場合、個人 i はコントロール グループに属し、対応する du 値は 0 になります。 dt は戦略実装用のダミー変数です。戦略が実装される前は dt の値は 0 になり、戦略が実装された後は dt の値は 1 になります。 du·dt は、グループ化ダミー変数と戦略実施ダミー変数間の相互作用項です。その係数 a3 は、戦略が実施された後の純効果を表し、戦略の有効性を評価するために使用できます。

なぜ a3 は戦略の純粋な効果を反映できるのでしょうか?これは次の表に反映されています (次の表は二重差分法の 5 つの単語の真の意味も反映しています)。

二重差分法の基本的な考え方は、戦略の実施前後の対照群と実験群の差を比較することにより、戦略の効果を反映する二重差分統計量を構築することである。この考え方と上表の内容を簡単なモデル（1）に変換します。このとき、DIDの下での戦略の望ましい純効果を得るには、モデル（1）の相互作用項の係数a3にのみ注意する必要があります。 DID の考え方は次の図に反映されています。

モデル(1)は、グループ化ダミー変数duと戦略実行ダミー変数dtのみのシンプルなモデルであり、それが構成する多項式回帰式も比較的シンプルである。実際に自身の戦略評価に適用した場合、影響する要素は2つだけではない。したがって、モデルには2つ以上の変数が存在し、具体的な問題については具体的に分析する必要がある。

二重差分法の最も重要な推定値の 1 つは、グループ間に共通の傾向があるというものです。これは共通効果とも呼ばれ、戦略が課されていない場合、2 つのグループは同じ変化の傾向があると想定されます。戦略を適用せずに2つのグループに共通の傾向がない場合、この時点で得られる係数a3は他の要素の影響を受け、戦略実施の効果を反映できないため、DID法は機能しません。したがって、DID を戦略評価に使用する前に、DID の堅牢性テストを実施し、主に共通の傾向をテストして、DID の適用が実行可能であることを確認する必要があります。

03 DIDの実践

マーケティング部門が広告を開始し、その広告が効果的かどうかを評価するよう依頼されたとします。その効果を評価する基準は、広告が GMV の増加をもたらしたかどうかです。運用スタッフが日常の評価で最もよく使用する方法は、前後の比較です。以下に示すように、広告によってリーチしたユーザーのうち、広告前の GMV は 100 万で、広告中の GMV は 150 万でした。つまり、広告によって GMV が 50 万増加したことになります。では、この 500,000 は本当にすべてこの広告キャンペーンによってもたらされた増分利益なのでしょうか?

もちろん、広告前と広告中の間には自然な時間差があるため、そのようなことは起こりにくいでしょう。たとえば、広告前は4月で、広告期間は5月です。5月にはメーデーなどの祝日があります。観光関連企業にとって、休日には取引が自然に増加します。したがって、このとき、増分から自然増分を減算するには、前述の二重差分法を使用する必要があります。

自然な増分としてどのユーザーを選択する必要がありますか? 仕事でよく使用されるユーザーは次のとおりです。

• 市場の非広告アプローチを直接使用してユーザーにリーチする利点は、シンプルで大まかであり、市場の自然な傾向を参照するだけでよいことです。欠点は、広告によってリーチされたユーザー自身が GMV をもたらす可能性が高いユーザーである可能性がある一方で、広告によってリーチされていないユーザーは比較的アクティブではない可能性があり、GMV の成長は広告によってリーチされたユーザーの成長とまったく同じであることです。
• 第三者のインターネットユーザーサンプルのPANELデータベースを活用し、 PANELデータベースから会社を訪問したターゲットユーザーグループをマッチングします。広告が届く人は実験グループ、広告が届かない人はコントロールグループです。利点は、PANELデータベースが基本的にインターネットユーザーベース全体を代表できること、そして広告が届くかどうかに基づいて実験グループとコントロールグループを選別できることです。欠点は、会社の広告のターゲットユーザーがPANELデータベースの特定の都市グループなどの小さな部分である場合、最終結果に大きな誤差が生じる可能性があることです。
• PSM 方式は、広告が届かなかったユーザーを除外するために使用されます。これは実際には、PSM 方式を紹介した前回の記事で言及した PSM+DID です。主に PSM モデリングを使用してコントロール グループを構築し、その後 DID を使用してエラーを修正します。この記事では主に AB 実験と PSM モデリングが利用できない場合に評価を行う方法を紹介するため、PSM + DID についてはここでは詳しく説明しません。

さて、下の表に示すように、コントロール グループを構築したと仮定します。すると、純 GMV 増加は 300,000 になります。つまり、広告によってリーチしたユーザーの取引量は 500,000 増加しましたが、広告がなかった場合、これらのユーザーの取引量は当然 200,000 増加するため、最終的な純 GMV 増加は 300,000 になります。

04 追記

二重差分 DID は確かに日常業務で最も速くて簡単な評価方法ですが、その精度は AB 実験ほど良くないことがよくあります。プロジェクトにさらに資金を投資する価値があるかどうかを本当に判断したい場合は、変更されていない戦略に基づいて複数の DID 評価を実施し、効果値が安定しているかどうかを確認することをお勧めします。

著者: データパーソンの私有地

出典：データ人間の私有地（shujuren_qishu）