指標の適用と業務活動の定量化

「データ駆動型オペレーション」、この概念について語る人が増えています。私の個人的な理解では、「データ駆動型運用」とは、業務データの理解から運用戦略を抽象化し、運用戦略の実施プロセスをデータで追跡し、最終的に運用戦略の実施効果をデータで評価することを意味します。
私たちが業務で言う「データ」とは、狭義の意味でのデータのことであり、実際にはさまざまな指標のことを指します。

インジケーターとは何ですか?
「インジケーター」という単語を英語の「indicator」という単語と同一視する方が正確だと思います。それは何かを定量化する指標、つまり数字の列です。
実際、誰もが仕事の中で意識的または無意識的に指標を使用しています。機能する限り、その定義を気にする必要はありません。重要なのはそれをいかにうまく使うかです。
運用に関して言えば、指標を使用する際には、まずプロセス指標と結果指標を区別する必要があると思います。
例 1: 当社は電子商取引会社であり、製品 A の売上を増やすためにプロモーションを実施したいと考えています。商品Aのページのトラフィック、クリック数、お気に入り、購入数、平均注文額、販売量のうち、どれがプロセス指向の指標で、どれが結果指向の指標でしょうか？トラフィック、クリック、収集は明らかにプロセス指標であり、売上は明らかに結果指標ですが、購入数や平均注文額はどうでしょうか?これらは実際には顧客の購入プロセスにおける指標であり、コンバージョンファネル全体に属します。したがって、まず第一に、これらはプロセス指標であり、「購入数 × 平均注文額 = 売上」は実際には結果指標です。

したがって、プロセス指標と結果指標は分離されておらず、重要なのは運用目的にあります。プロセス指標は、一般的に高頻度の追跡と指標の変化に基づくタイムリーな調整を必要としますが、結果指標は一般的に活動の目的から抽象化されているため、運用活動の評価に適しています。

高品質な指標を設計する方法
指標の品質を判断するには、信頼性と妥当性の2 つの側面から測定する必要があります。
信頼性とは、何かを測定する際の指標の正確さ、精度、安定性を指します。いわゆる妥当性とは、ある指標によって測定された情報が、まさに研究者が期待する情報であることを意味します。
例 2: インジケーターを定規と比較します。スケールが正確 (1 mm は実際には 1 mm であり、1.2 mm ではありません)、精度が高い (10 センチメートルや 10 進数ではなく、ミリメートルまで測定できます)、結果が安定している (定規が異なる時間に長くなったり短くなったりするのではなく、繰り返し測定の結果が一貫している) 場合、これらの 3 つの点が優れている場合、これは優れた定規、つまり信頼性の高いインジケーターです。
例 3: 長さを測るには定規を使用します。定規がどれほど優れていても (信頼性が高い)、目的が重さを測ることであれば、定規がどれほど優れていても (信頼性が高い)、ニーズを満たすことはできません (妥当性が不十分)。重さを測るには、はかりを使用する必要があります (妥当性が高い)。

上記の 2 つの例を見ると、適切なインジケーターを構築する方法がわかるはずです。優れた指標には、信頼性と妥当性に加えて、計算が簡単で高速、理解しやすい、一般化可能（さまざまな運用活動に適用でき、水平に比較できる） 、持続可能（安定した品質と長期的な可用性）などの特性も必要です。

インデックス組み合わせアプリケーション - 総合インデックス
多くのビジネスシナリオでは、複数の指標に注意する必要があります。現在のビジネスシナリオを例にとると、都市運営チームの総合力を測定するには、容量規模、受注能力、顧客評価、チームの安定性、配送コストなど、複数の角度から始める必要があります。各角度から 1 ～ 2 つの指標を導き出すと、混乱に陥ります。
したがって、複数の側面を包括的に測定するのではなく、包括的な指標を使用することをお勧めします。最も一般的に使用されるのは加重複合指数です。
総合的なチーム力＝輸送力×p1＋受注力×p2＋顧客評価×p3＋チーム安定性×p4＋配送コスト×p5
なお、総合指数を算出する際には、各指標を標準化し、統一された単位の数値に変換した上で合計する必要があることに留意する必要がある。 p1-p5 は重みです。側面が重要であればあるほど、重みは高くなります。p1から p5 の合計は常に 1 でなければなりません。
どのようなコア指標に注目すべきでしょうか?
現在の当社のビジネスにおいて、誰もが注意を払う必要がある中核的な指標は次の通りだと思います。
注文受諾率、注文あたりの平均コスト、肯定的なレビューの割合、評価率 これらも結果ベースの指標です。以上です。それほど複雑なことではありません。これら 3 つのコア指標と 2 つの次元の組み合わせから、
1. 都市 → グリッド → 人/店舗
2. 月 → 週 → 日 → ピーク → 時間 は、問題を見つけて特定するのに十分です。現在、特に懸念されているのは、ランチラッシュアワーのコア指標です。データの蓄積は、ある程度までしか役に立ちません。データベースがすべてを教えてくれると期待しないでください。それは不可能です。
問題を発見して特定した後、何をすべきでしょうか?調査、訪問、アンケートなどさまざまな方法を使用して問題の根本原因を見つけ出し、問題を解決するための運用アクションを策定できます。
もちろん、データサポートグループは今後も研究成果を生み出し、誰もがより簡単かつ正確に運用戦略を策定し、より適切に実行できるようにしていきます。
業務活動の定量化
前のセクションでは、指標に関する関連知識を整理しました。これを基に、業務活動の定量化について議論を始めることができます。
- 優れた運営にはどのような要素が必要ですか?
 私の意見では、優れた運用活動には少なくとも以下の要素が必要です。
 1. キャンペーンの目標と予算を明確にする
 2. 明確な対応関係と実行プロセス
 3. 信頼性の高いプロセスインジケーター
 4. 結果を正確に測定する
 5.科学的かつ合理的な効果評価方法
 6. 知識の蓄積
 7. 賢い責任者
- どのようなプロセスと結果の指標が必要ですか?
 現在のO2O配送事業の運営を例にとると、短期的な活動を行う場合、追跡する必要があるプロセス指標には、少なくとも、予算、活動の対象人数、活動に反応した人数、活動ルールを満たした人数、支出率（予算に対する支出額の割合）が含まれます。
 長期的なキャンペーンや戦略の場合は、重点を置くべき中核的な指標である成果指標の変化のみを追跡することをお勧めします。
- 業務活動をどのように評価するか?
 これはこの記事の最も核心的な部分かもしれません。私の観点からすると、業務活動の評価は、明確な活動目標は達成されたかという2 つの質問に答えるだけです。予算は超過していますか?
 活動目標が達成され、予算が管理されていれば、それはうまく運営された活動です！
- 活動目標が達成されたかどうかをどのように判断しますか?
 活動目標は、中核となる成果指標を中心に策定する必要があります。活動の有効性を判断するには、中核となる成果指標に質的な変化があるかどうかを測定する必要があります。評価を開始するにはどうすればよいですか?
 まず、コアビジネス指標を 1 ～ 2 層に分解します。なぜこれをするのですか?コアビジネス指標は複数の要因の影響を受けることが多いため、私たちは、業務上の行動が直接影響を与え、コア指標と密接な関係があるレイヤーにコアビジネス指標を細分化するように努めています。
 例 4: たとえば、ランチのラッシュアワー時の受注率を上げることを目標に活動している場合、受注率はコアとなる結果指標となります。評価する際には、運用アクションの応答関係に基づいて、受注率をプッシュされた注文の数とアクティブなキャパシティの数に分割します。直接影響を与えるのは、アクティブなキャパシティの数です。アクティビティの対象グループが過去 1 か月間に登録されたアクティブ容量である場合、アクティブ容量インジケーターを 1 つのレイヤーに細分化して、過去 1 か月間に登録されたアクティブ容量と、過去 1 か月間に登録されていないアクティブ容量をカウントする必要があります。
 次に、時間軸、つまりアクティビティの前後の比較から結果指標を比較する必要があります。アクティビティの前後のデータの比較は、ビジネスサイクル全体にわたって行う必要があることに注意してください。たとえば、ビジネスに明らかな 7 日間のサイクル変動がある場合、運用アクティビティは 7 日間全体にわたって行う必要があります。同時に、平均レベルの変化を比較するために平均法が使用されます。皆さんはこの点に特に注意するべきです!
 例 5: 例 4 に引き続き、アクティビティの開始後、評価を開始する前に少なくとも 7 日間データを収集する必要があります。評価にあたっては、イベント開催後 7 日の平均受注率を算出し、イベント開催前 7 日の平均受注率と比較しました。条件が許せば、イベント前の 2 つの期間、つまり 14 日間の平均データを取得することをお勧めしますが、この 14 日間に同様のアクティビティが行われていないこと、およびポリシーに大きな変更がないことを確認してください。
 では、ランダムな変動ではなく差異とみなされるためには、イベント前とイベント後の数値の差はどの程度大きくなければならないのでしょうか?大まかな目安としては5％、つまり活動前後のデータの差が5％以上になると、活動の効果が顕著に表れると言えます。洗練された方法では、時間を延長し、アクティビティの前後の 2 つの期間のデータに対して分散分析を実行する必要がありますが、これについてはここでは詳しく説明しません。
 また、成果ベースの指標については、イベント期間中毎日追跡する必要はありません。本当に重要なのは、活動の期間が 1 つのビジネスサイクルを超える必要があることです。1 つのビジネスサイクルを超えたら、結果指標をまとめ、活動前の指標と比較する必要があります。
 最後に、条件が許せば、活動を実施する際には、活動の効果を横断的に比較するための参照システムを見つけることが推奨されることを付け加えておきたいと思います。これにより、システム的な影響が排除されます。例えば、全国的に受注率が上がっている。ある場所でイベントを開催したら受注率が上がった。それがイベントの効果だというのは無理がある。都市をグループ化し、同じグループ内の都市の中で、同様の規模の都市を基準として探すことができます。
- 私たちは予算管理に注意を払い、活動の入出力比率を注意深く監視する必要があります。 いかなる業務も予算の考慮から切り離すことはできませんが、これが現在私たちの最も弱い部分でもあります。イベント前に総予算を見積もり、イベント実施中に予算消費量（日次統計）を監視することが非常に重要です。
 総予算が超過していないかに注意するだけでなく、ROI、つまり投資収益率を計算する必要があります。投入産出比率の計算方法は、活動ごとに異なる必要があります。
 例 6: たとえば、輸送能力を動員する活動がある場合、費やされるコスト、動員される輸送利用者の数、およびこの輸送能力の部分によって配達される注文の数を計算するには、利用者あたりのコスト + 1 日あたりの輸送能力あたりの平均補助金、注文あたりのコスト + 注文あたりの平均補助金を計算する必要があります。
 ROI を計算するだけでなく、活動を実行する際の都市全体のコスト状況と、それがマクロ予算の制約を満たしているかどうかにも注意を払う必要があります。最良のシナリオは、アクティビティの実行中に全体的なコストが増加も減少もしないことです。つまり、お金を使うべき場所に移動させる必要があるのです。
- イベント後のその後の影響の測定 短期的なイベントが終了した後、イベント後に結果指標がどのように変化するかを追跡することも必要です。理想的な状況は、活動が終了した後も、結果に基づく指標が活動時の優れたレベルを維持し、短期的な活動が長期的にプラスの利益をもたらすことを意味します。
 一部の業務活動によってもたらされる遅延効果と連鎖効果を無視することはできません。
- 類似した活動の効果を比較し、経験を要約する 類似した活動、または異なる期間に実施された同じ活動の場合でも、活動間の比較を観察するために活動データをアーカイブする必要があります。多くの探索的活動では、実験目標を達成するために、一連の活動として計画する必要があります。たとえば、価格底打ちテストの場合、段階的かつ地域タイプ別に一連のテストを実行し、各時点のデータアーカイブからルールをまとめる必要があります。
 業務がより高度になるにつれて、一連の活動を計画し実行する能力が必要になります。
まとめ
そんなにたくさんの言葉を書きたくなかったんです。しかし、表現したいことが多すぎるので、簡単にまとめると次のようになります。
1. 指標の設計は信頼性と妥当性に焦点を当てる必要がある
2. 地域と時間の2つの側面を組み合わせた3～5個のコア指標に焦点を当てる
3. 業務活動の定量化では、プロセス指標と結果指標を区別する必要がある。
4. 運用効率の評価には、ビジネスサイクル全体の平均を計算する必要があり、その差が 5% を超える場合にのみ言及する価値があります。
5. 予算と入出力比率に注意する
6. アクティビティでは、データと経験をアーカイブし、アクティビティ間の効果を比較する必要があります。