シナリオの復元: 音楽アプリは、新規ユーザーに登録時に 7 日間のメンバーシップ ボーナスを提供します。登録後、ユーザーは 1 か月間のボーナスを受け取るかどうかを選択できます。質問: このアクティビティをどのように評価しますか?

1. 活動評価におけるよくある間違い

まず、 evaluate/evaluate/judge を動詞として使用するすべての質問に対して、答えは「良いか悪いか」の 1 つだけであることを覚えておいてください。

たとえば、この活動をどのように評価しますか? 次のように答えることができます。

1. この活動は非常に良いので継続されるべきです。
2. この活動は良くないので実行できません
3. この活動は良いことでも悪いことでもなく、無駄だ
4. この活動は何も変えていないので、やっても無駄だ

これが評価分析の中心的な結論です。これら 4 つの文がなければ、他のすべては意味をなさない。例えば：

• イベント期間中に4万人の新規ユーザーが登録
• イベント期間中の登録者数はイベント前より1万人増加した。
• イベント期間中の新規ユーザーのクリック率は80%でした。
• イベント期間中、新規ユーザーは30％の金利を享受できます

これらは結論ではなく、単なる分析プロセスです。結論を出さずに、これらのプロセス指標をただ投げ出すと、ビジネス側から「だから何？だから何？何を分析したの？結論はどこにあるの？」と簡単に質問され、結局は恥ずかしい思いをすることになります。

II. 活動評価における重要な問題

活動を評価するには、まず良い/悪い評価をしなければなりません。評価が良ければ、継続して実行できるかどうか、何回実行できるかを確認します。評価が悪ければ、どこに問題があるか、絶望的に悪いのか、それとも保存して継続して使用できるのかを確認します。

データ + 注釈 = 判断。したがって、良い/悪い判断を下すには、次の 2 つが必要です。

1. 明確な評価指標。
2. 目標値を明確にします。

基準を満たしていれば良いですが、基準を満たしていなければ良くありません。とても簡単です（下の図を参照）。

単純に思えますが、実際には、操作では次のようなことが頻繁に行われます。

1. 困惑:上司に言われたからやっているのに、なぜ?私も知りませんし、聞く勇気もありません。
2. Dai Toudainao:とにかく新しい人を募集したいだけなんです、OMG!
3. 近道をする:すでに実行されている/他の人が実行しているから、そのまま実行します。
4. 困難な状況に挑む：これは、データでは測定できないユーザーの精神的リソースを変えることです。

つまり、10 人のオペレーターのうち、現在の状況と目標を正確に説明できるのは 2 人だけです。このとき、データアナリストには独立した判断能力が求められます。ビジネス ロジックを分析し、ビジネス プロセスを整理することによってのみ、客観的な結論を導き出すことができます。ここでは、完全に混乱したシナリオを例として取り上げ、操作の目的を明確にする方法を説明します。

3. 評価モデルをゼロから構築する方法

最初のステップは活動プロセスを整理することです

運用活動によってユーザーの行動が変化し、それがデータ指標の変化に反映されます。評価モデルをゼロから構築する場合、最初のステップは、アクティビティの具体的なプロセスと、アクティビティによって引き起こされる可能性のあるユーザー行動の変化を理解することです。たとえば、質問内の新規ユーザーのメリットは、次のように分類できます (下図を参照)。

行動の変化を理解した後、これらの行動を記録するためにどのようなデータを使用できるか、またどのような指標が変化を反映できるかをさらに検討できます。整理すると、活動の結果を測定するための指標が明確にわかります。これらのタスクは、計画段階で運用担当者が実行する必要があります。事前に適切に実行されていない場合は、後で補わなければなりません。

ステップ2: 主要指標のスクリーニング

アクティビティはさまざまな側面に影響を与える可能性があります。たとえば、上記の質問には贈り物を贈るイベントがあります。あなたはこう言いました:

1. 新規ユーザー登録を増やすことができます - 問題ありません。
2. 会員購入の可能性を高めることができる - チャンスがあるようだ
3. 顧客ロイヤルティを高め、顧客離れを減らすことができる - 理にかなっているように思える
4. DAUを増加できます！ ——そうですね、理論的には新規登録が増えればDAUも増えると思います。

データを見ずに人々の言うことだけを聞くと、もちろん上記は意味をなします。しかし、もし本当にすべてをぶち壊して、離脱していないユーザーが何パーセントで、そのうち無料会員が何パーセントで、商品自体が何パーセントで、曲数が何パーセントなのかを計算してほしいと頼んだら、それが明確にわかるとしたら奇跡でしょう。したがって、問題を明確にしやすくするために、評価指標に優先順位を付ける必要があります。

目標があらかじめ設定されている場合、活動の主な指標は目標と密接に関連し、直接影響を受ける指標が優先されるべきです。たとえば、新規ユーザーを引き付けるための活動であれば、主な指標は新規登録ユーザーの数になります。新規ユーザーの維持率を高めるための活動であれば、1 ～ 7 日以内の維持が主な考慮事項になります。

これは単純なことのように思えますが、実際にはオペレーターが状況を利用するのは簡単です。オペレーション部門は、影響力のある指標について語りたがることが多く、「私の活動はユーザーの精神的認知を深いレベルで変え、それによってデータでは測定できない広範囲にわたる影響を達成しました」などとさえ言います。つまり、彼らは多くの指標を持ち込み、良さそうな指標について話し、良くない指標については話さないのです。

データ評価を行う際に最もタブーなのは、何百もの指標を作成し、非常に複雑な評価式を作成することです。混ざり合うものが増えるほど、言葉遊びの余地が増え、状況をごまかしやすくなります。評価がシンプルで明確であればあるほど、問題を特定しやすくなります。

ステップ3: 判断基準を設定する

主要な指標が明確で、判断基準がわかります。標準を見つけるための基本的な考え方は 4 つあります。

1. 全体的な結果から始めて、合計金額を確認します。たとえば、今月 100,000 人の新規ユーザーが必要な場合は、100,000 人を達成する必要があります。
2. 何もしていないときと比較して、増加を確認します。例えば、活動がなければ月給は5万ですが、活動があれば5+5万、プラス5万を基準に給与を決めます。
3. 過去の活動と比較して効率を確認します。例えば、新規会員獲得活動には通常、新規会員1人当たり100元の費用がかかるため、今回はそれを超えることはできません。
4. 参加していないユーザーと比較して違いを確認します。例えば、グループを非参加グループ/参加グループに分け、参加グループの新規登録数/維持率を比較します。

企業の観点から見ると、最初の方法が間違いなく最も実用的です。しかし、活動を組織するという観点からは、誰もが自分の貢献を強調したいので、方法 2、3、または 4 を使用する傾向があります。オペレーションでは、自然成長率（活動がない場合の自然成長率）について話すのが好きです。そして、自然成長率を低く計算しすぎたり、マイナスの数値にしたりして、活動が非常に印象的であるように見える傾向が常にあります。

いわゆる自然成長率は、活動が頻繁でない場合にのみ計算できることに留意する必要があります。多くのビジネス（電子商取引や O2O など）では、大きなアクティビティが小さなアクティビティに埋め込まれており、区別がつかないようなアクティビティが継続的に行われています。現時点では、これは当てはまりません。

同様に、参照グループを設定する前提は、参照グループにはアクティビティリマインダーやアクティビティ参加機能がまったくなく、参照グループとアクティビティグループのユーザーの質が似ていることです。この制限が満たされない場合、その活動が効果的であると直接結論付けることは困難です。これらの方法は科学的に見えますが、実際にはトリックの余地がたくさんあります。問題を明確に議論したいのであれば、基準を単純かつ直接的に設定してください。

ステップ4: 結果に影響を与えるプロセスを見つける

上記のステップ 1、2、3 はすべて、判決に至る道を開くためのものです。 「良い/悪い」の判断があります。なぜそれが良いのか、なぜ悪いのかをさらに分析することができます。このとき、業務プロセスを洗練・整理し、成果に影響を与える重要なポイントを見つける必要があります。例えば、新規顧客獲得活動、広告チャネル、広告文言、登録プロセス、登録後の特典の促し方、会員特典獲得までのプロセスなどが影響します（下図参照）。

これらの指標を分析するときは、優先順位に注意してください。たとえば、新規ユーザー登録に関連する問題などです。まず、各ユーザー ソース チャネルの配信の強さ、アクティビティがタイムリーに開始されているかどうか、そしていつ配信と組み合わされているかを確認する必要があります。その後、コピー、イベントギフト、受取後の行動などについて詳細な分析を実施します。

IV. 要約

面接でこの質問を使用すると、新人、初心者、ベテランの違いが一目でわかります。

Cainiao:ユーザーの増加、製品体験、ブランドの影響力、商業収益など、4 つの主要な側面を考慮する必要があると思います。その後、ブランドの影響とその測定方法について質問する機会をつかむことができ、基本的にこの質問で彼を困らせることができます。初心者と初級者の間の最大の違いは、データを収集する必要があることすら知らないことです。初心者は、収集するのが難しいが印象的に聞こえる指標を、何もないところから思いつくのが大好きです。

初心者：新規登録数、翌日、3日、7日間の新規ユーザーの維持率、新規ユーザーの会員獲得率、新規ユーザーの維持市場、新規ユーザーのクリック数、会員権を購入した新規ユーザーの数、新規ユーザーの権利や利益の利用頻度などを考慮する必要があると思います...（100を超えるさまざまな指標はここでは省略します）。ニューラルネットワークモデルを確立し、総合的な評価を実施します。

はい、新人はまず指標を積み上げるのが好きで、指標が多ければ多いほど良いようです。 2つ目に、私はモデルについて話すのが好きです。モデルが使えるかどうか、自分で使ったことがあるかどうかに関係なく、モデルについて話すのは素晴らしいことだと思っています。彼らが無視しているのは、基準の問題だけです。新参者を批判したいなら、「なぜ 50,000 の成長は良いのに、49,127 は悪いのか？」「ニューラル ネットワーク評価モデルを構築するとき、良い活動と悪い活動を誰がラベル付けするのか？活動全体にラベル付けするのか、それとも特定の指標にラベル付けするのか？異なる種類の活動を一緒にラベル付けする必要があるのはなぜか？」と聞いてみてください。これらの質問は基本的に新参者を混乱させます。

結局のところ、活動評価は、高度な技術よりも明確な思考が重要であり、明確な思考よりも誠実さを維持することが重要である。新規顧客の誘致、活性化の促進、維持、変換、分裂など、一般的な運用活動に関する基本的な理解があれば大丈夫です。通常の運用データと過去の活動を理解していれば、基本的に正しい回答を出すことができます。恐れられるのは、ビジネス プロセスについての知識があまりにも少なく、他の人が何をしているのかさえ理解していないことです。

著者: 地に足のついた教師チェン

出典: ダウン・トゥ・アース・アカデミー