業務活動の有効性を定量化し分析する方法

駆け出しのアナリストの多くにとって、活動の有効性を評価し、ビジネスチャンスに対する洞察を得ることは、仕事の中で最も価値のある側面であると同時に、最も面倒なことでもあると私は考えています。

1. 活動の背景

モバイルインターネットユーザーの成長率が飽和状態に近づいているため、ユーザー増加の解決策は、新規顧客の獲得から既存ユーザーの活性化へと移行する必要があります。

サードパーティの広告媒体アプリ（WeChat、TikTokなど）を使用して、既存ユーザーをターゲットにした素材を配信し、ユーザーの活性化を促進することは、多くの企業にとって、既存の既存ユーザーのアクティビティを増やす（以下、総称して「チャネル活性化」という）ための効果的な方法となっている。

ある会社のマーケティング部門も「チャネル活性化」プロジェクトをテストするための予算を投入し始めました。プロジェクトが開始されてから一定期間が経過し、大量のユーザーデータが収集・蓄積されましたが、

チャネルのアクティベーションは DAU の増加にどの程度貢献しますか?
さらに多くのリソースを投資し続ける価値はあるでしょうか?
この活動の ROI はいくらですか?期待に応えていますか?

リーダーやビジネス関係者にとって大きな懸念事項であるこれらの問題に対して、アナリストはデータに基づいて公正かつ客観的な回答を出す必要があります。

2. 分析フレームワークと指標システム

1. 分析フレームワーク

活動の全体的な増分効果の評価
ROI計算
アクティブユーザーの品質評価

2. 指標システム

（１）交通規模

データ指標:

デイリー
アクティビティに参加したユーザーの数（例：チャネルのアクティベーションによって正常に呼び戻されたユーザーの数）
アプリの UV がアクティビティを通じて初めて呼び出されたとき (たとえば、アプリの UV がチャネルを通じて初めて呼び出されたとき)
アクティビティを通じて初めてアプリを呼び出す日次ユーザーの割合（例：チャネルのアクティベーションを通じて初めてアプリを呼び出す日次ユーザーの割合）

解決できる問題:

アクティベーションのコア指標である DAU が期待される目標に到達したかどうかを観察します。
チャネルのアクティベーションによって呼び戻すことができるユーザーの規模を評価する。
DAU の純増加への貢献を評価する。

（２）ユーザーの質

データ指標:

維持率（翌日再来店率、7日再来店率、30日再来店率）
1日あたりの平均使用時間
コア機能浸透率
コア機能平均PV
群衆プロフィール（性別、都市、購買力）

解決できる問題:

チャネルリコールユーザーの質を評価する
不正行為のチャンネルがあるかどうかを監視する

（３）ユーザーの行動

データ指標:

オフサイトコンバージョンファネル (例: 広告表示 - 広告クリック - アプリ呼び出し成功 - 特定ページへのディープリンク)
サイト内のコア行動のコンバージョンファネル (例: アクティビティページ - リストページ - 詳細ページ)

解決できる問題:

オフサイトチャネルからアプリへのユーザーのパスがスムーズかどうかを評価し、製品のバグや改善の機会を発見します。
アクティビティの現地ホスティング戦略が合理的かどうかを評価する

3. 分析プロセス

1. 活動効果評価と活動ROI分析

DAU (またはアクティブ日数) の貢献度を定量化する場合、ユーザーの自然なアクティビティを差し引くこと、つまり「純増分」貢献度を計算する必要があります。寄付は、日常寄付と長期寄付に分けられます。

1 日の貢献度とは、その日にリコールされたユーザーがその日の DAU にどれだけ貢献したかを表します。
長期的貢献とは、リコールされたユーザーがその後復帰することにより、その後の特定の期間内に継続的に貢献するユーザー日数の増加を指します。たとえば、イベント後、参加した 50 人のユーザーは、イベント前よりもその後の 30 日間で 1 人あたり平均 10 日多くアクティブになるため、アクティベーションの増分貢献は 1,500 日になります。

AB 実験は、帰属と定量化の問題に対処するのに最適であることは認めざるを得ません。アイデアは、トラフィックを均一な量と特性を持つ 2 つのグループ (コントロールグループと実験グループ) にランダムに分割することです。実験グループのユーザーは、コントロールグループのユーザーと製品戦略のみが異なります。したがって、同じ時間軸における 2 つのユーザーグループ間の指標の違いは、完全に戦略の違いに起因すると想定できます。

ただし、この広告活性化プロジェクトに該当する AB 実験を設計することは不可能ですが、AB テストの考え方に基づいて、実験グループと「類似」するユーザーグループをコントロールグループとして構築することは可能です。具体的なプロセスは以下のとおりです。

アクティベーションチャネルによって呼び出されたユーザーを実験グループとして使用し、アクティベーションチャネルによって呼び出されなかった既存のユーザーをコントロールグループとして使用しました。
ユーザーの将来のアクティビティに影響を与える可能性のある機能 (モデル、新しいチャネル、過去のアクティビティなど) を選択し、「同じ機能」の原則に基づいて、2 つのユーザーグループを N 組の実験グループとコントロールグループに分けます。特定のグループに含まれるサンプルが少なすぎると、2 つのサンプルグループ間のインデックスの差が信頼できなくなるため、できるだけ間隔で特徴を離散化するように注意してください。たとえば、「新しい日付間隔」という特徴は、7 日以内、8 ～ 14 日、14 日以上と離散化できます。
実験群と対照群の各群間の指標の差と、実験群の合計指標差（各群の指標差×人口の割合の合計に等しい）を計算します。

上記の方法により、当日の DAU に対するライブストリーミングの貢献度と、今後 30 日間の DAU に対するライブストリーミングの合計増分貢献度を計算できます。

実は、アクティベーションの DAU への短期的な貢献度を 1 回だけ計測するより簡単な方法があります。これは、「ファーストアトリビューション」という考え方に基づいており、「アクティベーションを通じて最初にアプリを呼び出す UV」を通じて定量的に評価します。つまり、ユーザーがアプリを複数回起動している場合、アクティベーション広告のクレジットは、アクティベーション広告を通じて初めてアプリが呼び出されたときにのみカウントされます。

注目すべきは、最初のアトリビューション方法は、「新製品機能の評価」の効果の定量化にも適用できることです。通常、「アプリのリリース後に初めて機能にアクセスしたユーザーの数」を、その機能の DAU への純貢献度として使用できます。

アクティビティコスト会計では、「総コスト消費量/総 DAU 増加量」を使用して各 DAU 増加量のコストを計算し、ROI が期待どおりかどうかを評価できます。

2. ユーザー行動分析とユーザー品質評価

「一般的な非アクティベーションユーザー」「同時期の類似アクティビティ」「過去の類似アクティビティ」などを比較ベンチマークとして利用し、ユーザー行動ファネル、リテンション率、コア行動PV、1人あたりの平均利用時間などの指標をもとに、このアクティベーション戦略に騙しや深刻な不正行為のチャネルがあるかどうかを特定し、アクティビティに惹きつけられたユーザーの質を評価することができます。しかし、これは今回の共有の焦点ではないので、詳しく説明しません。