A/B テストを通じてコミュニティ運営モデルを反復するにはどうすればよいでしょうか?

製品の開発でも、業務の運用でも、私たちは毎日、仮説-テスト-検証-定義という反復的なプロセスを経ています。継続的な反復的な探索と実験を通じてのみ、より多くの成長ポイントを見つけることができます。この記事では、主にA/Bテストを通じてコミュニティ運営ゲームプレイモデルを反復する方法について説明します。見てみましょう〜

記事の概要:

1. ユーザー成長理論
2. ABテスト運用プロセス
3. 製品の反復

新規顧客の獲得など、現在グロース活動を行っている際、他者の手法を学んだり、独自にアイデアを出したりすることがあります。検証可能な論理的裏付けや、自社製品やユーザーに適しているかどうかがわからないまま、直接実行することは必ずしもありません。その結果、活動があまり効果的でなく、安定した運用戦略を生み出せません。そのためには、持続的に反復できる独自の成長方法を開発する必要があります。

以下に私が取り組んだ事例を紹介します。皆さんとコミュニケーションを取り、さらなる成長思考モデルを学べることを楽しみにしています。

1. ユーザー成長理論

製品の開発でも、業務の運用でも、私たちは毎日、仮説-テスト-検証-定義という反復的なプロセスを経ています。継続的な反復的な探索と実験を通じてのみ、より多くの成長ポイントを見つけることができます。

ユーザー成長の方法論: ノーススター指標を決定し、それを具体的かつ実行可能な最適化シナリオと指標に分解し、A/B テスト実験を計画して分類し、効果的な方向性についてさらに調査と実験を実施します。

次に、上記の文章を説明するために、私が個人的に参加した反復実験という実際のケースの例を挙げます。このケースから、成長と反復とはまさにこのことだということを皆さんに理解していただければと思います。

まず、イベントの背景をご紹介します。

当社には、大学生向けの CET-4 および CET-6 プロジェクトを担当する小規模チームがあります。無料のトラフィック コースを宣伝して大学生を引き付け、その後、プラットフォーム上で他の高額コースを宣伝します。コミュニティ サービスを追加すると、完了率とユーザー更新コンバージョン率が向上することが初期段階で検証されています。そのため、今後のサークルクラスではコミュニティ サービスを追加します。次に、コミュニティ サービスを継続的に反復してテストし、コミュニティ運営の効率を向上させる必要があります。

私たちのノーススター指標は、ユーザー価値（1クラスの価値＝総回転数/クラスリーダー数）を高めることであり、総回転数はクラスを更新する人数と関連していることが分かりました。さらに細かく分類すると、クラスを更新する人数は友人数とクラス受講率と関連しており、クラス受講率はコミュニティのサービスに対するユーザーの信頼の向上に関係しています。コミュニティのサービスには、質問への回答、ライブ放送、学習リマインダーなどが含まれます。したがって、最終的に増やしたいのは、Q&A、ライブ放送、学習促進などのシナリオでコースに再登録するユーザーの数です。

以下に示すように、この North Star インジケーターのフローチャートを直接見ることができます。

ノーススター指標を分解すると、当初実施すべき運用アクションはコミュニティサービスへの参加者の割合を増やすことだということがわかりました。運用プロセス全体を整理し始めたところ、最終的なノーススター指標に影響を与える可能性のある変数がいくつか見つかりました。この時点で、ABテスト検証を行い、変数を修正して、ノーススター指標へのプラスとマイナスの影響をテストする必要があります。

2. A/Bテスト運用プロセス

運用プロセスを整理していくと、ユーザーの学習行動プロセスに、学習体系（定時開講とオンデマンド学習）とグルーピング（グルーピングありとグルーピングなし）という2つの変数が出現することがわかりました。定時開講とグルーピングは人的運用コストが比較的高いため、中止するかどうか、この2つの変数がコース修了率や1回の授業受講の価値にどの程度影響するかは、実験を行って検証する必要があります。

AB テストの 1 つを例に挙げてみましょう。

（１）裁判の目的を明確にする

たとえば、私たちの実験の 1 つは、スケジュールされた授業開始とオンデマンド学習モードが 1 つの授業の価値に与える影響を比較することです。登録しながら学習するモデルの価値が、スケジュールされたクラスを持つ単一エントリクラスの価値と同等かそれ以上である場合、このモデルを直接採用して人件費を削減することができ、その逆も同様です。

（２）A/B対照群を設定する

検証方法:

• 対照群 A: レベル 4 語彙サークル クラスの通常のクラス トピックを受講するユーザー。
• 対照群 B: レベル 4 の語彙サークル クラスに登録し、オンデマンド学習の特別トピックを受講したユーザー。

テストの精度を確保するには、2 つのサンプル A と B が次の条件を満たす必要があります。

1. ユーザー規模も同様ですが、小さすぎず、少なくとも 600 人以上であり、グローバルな特性を表現できる必要があります。
2. ユーザー属性は類似しており、代表的です。たとえば、ターゲットユーザーは主に大学生です。
3. テスト環境は、グローバルな特性を表すことができます。たとえば、以前のユーザー コース パスが使用され、1 つの変数のみが保持され、他の環境は同じです。

以下に示すように、コース更新の連絡方法とユーザーの更新パスを決定するためのコミュニティ運営 AB テスト プロセス プランを作成します。

（コミュニティ運営ABテストプロセス計画）

このプロセス プランを整理し、それに合わせて運用アクション全体をスケジュールして、独自の運用リズムに従うことが非常に重要です。

さて、イベント開催前の準備は完了し、結果を待つばかりでしょうか？まだやるべき非常に重要な仕事が残っています。

データ収集要件:

テスト計画が決定した後、アクティビティがオンラインになる前に、BI でデータ要件を提起し、データが以下のポイントを満たすことができることを確認することが非常に重要です。そうしないと、実験が終わった後にデータの専門家に要件を提起すると、データが取得できないという厄介な状況に陥る可能性があります。

アクティビティ データが次の条件を満たしていることを確認します。

1. 独立したユーザーを、一貫した属性を持つ 2 つのサンプル グループ A と B に均等に分割できます。たとえば、当社のコースは 2 つのトピックに分かれており、ユーザーは A と B に分かれています。
2. それぞれの独立したユーザーを識別できるため、各サンプルのユーザー データを追跡できます。たとえば、コースの受講、個人アカウントの追加、学習行動、コースの更新といったユーザーの行動経路のデータを追跡できます。
3. A と B の変数はオンラインで調整できます。たとえば、今回の実験変数の 1 つは、さまざまな学校システムです。特別ページで、オンデマンド学習とスケジュールに基づく授業開始の 2 つの授業開始モデルを直接設計しました。
4. 変数によって生じた A と B 間のデータの違いを分離できます。たとえば、2 人のサンプル ユーザーの更新については、それぞれソースとのコース リンクを設定し、各サンプルの異なるチャネルからの更新コンバージョン数を取得できるようにします。

上記の準備が完了したら、オンラインでアクティビティを開始し、最終的なデータ結果を確認できます。

（３）データを分析する

イベント終了後、更新されたコースの変換サイクルに基づいて、イベント終了から 3 日後にデータを取得するための BI を探し始めることができます。上記の例を引き続き使用して、2 つの AB テストのデータを分析してみましょう。

学習行動データの比較 (以下のデータはデモンストレーション目的のみで変更されており、実際のデータではありません):

ユーザーの学習行動データ（保持率と完了率）

データから、グループ B のスケジュールされたクラス開始モードのユーザーの 7 日間 TAD (7 日間の累積アクティブ日数) と完了率は、グループ A のドロップイン学習システムのそれらよりも大幅に高く、グループ化されたグループ A の 7 日間 TAD と完了率は、グループ化されていないグループ B よりも大幅に高いことがわかります。

単一クラス値データの比較:

（コンバージョンデータの継続報告）

データから、グループ A の学習モデルにおける単一クラスの価値 (総売上高 / コースを受講するユーザー) は、グループ B のスケジュールされたクラスよりも大幅に高いことがわかります。また、グループ A のグループ化モデルのユーザーにとって単一クラスの価値は、グループ B のスケジュールされたクラスのユーザーにとっての価値よりも大幅に高いことがわかります。

（４）結論

当社のコミュニティ運営のノーススター指標を振り返ると、登録とグループ化の2つの学術システムではユーザーの単一クラス価値が高く、その後のコミュニティ運営プロセスは引き続き使用できます。

3. 製品の反復

以上の結論は、オンザスポット学習とグループPKを採用したコミュニティゲームプレイモデルの方が効果的であるということです。ただし、WeChatグループにおけるグループPKの手動操作コストは非常に高いため、コミュニティユーザー規模が大きい場合は、製品側のグループ化モデルを採用して人的資源を解放し、コミュニティの運営効率を向上させる必要があります。

どの学習モデルがユーザーにとってより効果的かを検証する実験に加えて、どのコミュニティ変換モデルがより効果的かをテストするためのコントロール グループを設定するなど、他の実験も実行でき、継続的に反復して最適化することで運用効率を向上させることができます。

出典：李俊龍（アルジェリア）