成長事例丨Keepの成長実験の設計

成長は、製品の反復と同様に、継続的な実験のプロセスです。最も科学的なアプローチは、反復からデータを要求し、そのデータに基づいて反復することです。成長についても同じことが言えます。つまり、データが成長を推進するのです。

戦略と成長にはそれぞれ独自の方法論がありますが、抽象化すると、実際には同様の意味を表します。

データを通じて問題を発見 → 仮説を提案 → 解決策を設計 → より多くのデータを取得 → 仮説を検証 → より細かい粒度で問題を発見 → より正確な仮説を提案。

これは、無数のクローズドループロジックのセットのステップバイステップのプロセスです。実際の結果とコストに応じて、どのステップが目標を達成できるか、または時間内に損失を停止できるかが決定されます。

各方法論セットには、独自の論理的なクローズドループと、さまざまな適用可能なシナリオがあります。実行中に混乱が生じることもあります。最も適切なアプローチは、出力された方法論を分解し、理解して消化し、遭遇した混乱に基づいて独自の方法論を出力することです。

成長実験は通常、A/B テストの形で行われます。A/B テストは手段にすぎず、目的ではないことを理解することが重要であり、日常生活でも使用できます。

2. 成長実験を設計する前に問題を特定する方法

2.1 明確な目標を持つ（目標に基づいてデータを探す）

明確な目標を持つということは、実験を開始する需要の源が、データの分析後に発見された問題ではなく、他の需要の源によって提案された明確で測定可能な目標であることを意味します。

たとえば、上司が今四半期の GMV を 30% 増やすというタスクを割り当てたとします。次に、主要な指標を 2020Q1GMV として定義し、関連する指標を既に確立されている成長モデルまたは式から取得できます。

GMV はトラフィック * コンバージョン率 * 平均注文額に等しくなります。トラフィックには、自然トラフィックとチャネル トラフィックが含まれます。自然トラフィックには、製品独自の APP、ミニプログラムなどが含まれ、チャネル トラフィックにはさまざまな外部チャネルが含まれます。

実際の状況に応じて、対応する粒子サイズ分析を選択します。

2.2 明確な目標がない（データに基づいて目標を見つける）

明確な目標がないということは、実験を促す需要源が特定の目標に絞られていないことを意味します。現在最適化が必要な特定のコンテンツを最適化することで、全体的な効果を向上させるという最終目標を達成したいと考えています。

現時点では、衝動的に計画を立てたり、リソースを無駄にする低品質の実験を設計したりすることを避けるために、科学的な方法を使用して比較的合理的な目標を見つける必要があります。

a. ユーザーからのフィードバックを収集する

製品のユーザー フィードバック ポータル、アプリ ストアのレビュー、ソーシャル プラットフォーム、その他のチャネルを通じてユーザー フィードバックを収集します。

ユーザーからのフィードバックをフィルタリング、整理、分析することで、成長に関連する問題を特定し、これらの問題を解決することを目的とした成長実験を設計できます。

ユーザーからのフィードバックは比較的ランダムであり、その影響を判断するのは困難です。製品全体とは直接関係がないため、さらに検証し、優先順位に焦点を当てるには他の手段が必要になる場合があります。

b. システム監視

より完全なデータ システムを備えたシステムでは、監視を通じて問題を発見できます。

監視指標とアラームルールを事前に設定することは、一定期間のワンタイムソリューションであり、問​​題発見の効率を向上させ、需要分析のコストを削減します。

例えば、成熟したコミュニティ製品の日次維持率は平均 30% です。日次維持率が正常変動範囲内であれば、他の場所に力を注ぐことができます。維持率が正常変動範囲内にない場合は、異常が発生していることを意味します (一般的には維持率が低いことを指します)。

まず、実際の業務状況に基づいて、本当に異常な状況であるかどうかを判断する必要があります。異常な状況であると判断された場合は、成長実験を使用して異常データを正常範囲に戻す場合があります。異常な状況ではない場合は、アラームルールを調整する必要がある可能性があります。

たとえば、K12 製品のアクティビティが月曜日から金曜日に比べて週末に低くなるのは普通です。また、チケット購入製品のアクティビティが休日後に低くなるのも普通です。

c. 定期的な見直し

レビュー方法は具体的には効果回帰として表現できます。有効性回帰は、以前の成長アクションで目標が達成されたかどうかを確認することです。達成された場合は、さらなる最適化の余地を探ります。達成されなかった場合は、その理由を分析し、次の成長アクションを通じて目標の達成に努めます。

3. 成長実験事例丨KEEPコミュニティ

3.1 実験の背景と目的

（１）ユーザーの他のユーザーへの注目度を高める

• 現在の動的詳細ページ（ダイナミクス、記事、動画）の1日あたりの平均PVは10,000であることが分かっています。
• 動的詳細ページ（ダイナミクス、記事、動画）の現在の注目度は5％であることがわかっており、目標は6％に上げることです。
• 統計的有意性は95%に達する必要がある

統計的有意性については、ここでは詳しく説明しません。市場には検索エンジンで見つけられる専門的な統計ツールがあります。

（２）実験前の準備 - 指標の定義

【(年/月/日)フォロー率】定義：ユーザーの累計フォロワー数（年/月/日）/ユーザーのコンテンツを閲覧した他ユーザーの累計数（年/月/日）。 (ユーザーが作成した複数のコンテンツの重複を排除する)

【閲覧】定義：該当コンテンツが1画面に60%表示されます。ページに 5 秒以上留まります。

3.2 成長実験

ステップ1: 実験仮説を立てる

仮定1:

【もし】コミュニティフィードにフォローボタンを追加する

【予想】月間注目度20％アップ

【なぜなら】

• コミュニティ フィードは、直帰率が最も低い第 1 レベルのページであり、コンバージョン パスが短縮されます。
• フィード フローの主な目的は、ユーザーをより長い時間、体験に没頭させることです。現在、フォローするには[友達を追加]または[ダイナミック詳細]のより深いレベルに進む必要があり、ユーザーの流れがある程度中断されます。フィード上にボタンを配置すると、エクスペリエンスがよりスムーズになります。
• ユーザーはフォローするためにより多くのアクションを取り、無意識のうちにフォローを比較的重要な操作とみなします。フィード ストリームにフォロー ボタンを配置すると、ユーザーは [友達追加] でフィルターしたり、[ダイナミック詳細] でより多くのコンテンツを表示したりする必要がなくなります。フィード ストリームの 1 つのダイナミックだけでフォローする意思を判断できるため、フォローのシナリオが洗練され、多様性を追求し、フォローをあまり重視しないユーザーを満足させることができます。これは、製品がユーザーの心に微妙に影響を与える必要がある方向でもあります。

ベストプラクティス:

Tik Tokフィードで出版社を直接フォローできます

定量分析

• [フィード ストリーム > ダイナミック詳細 > フィード ストリーム > ダイナミック詳細] (ループ) パスでフォローをクリックしたユーザーの数
• ユーザーがフィード内でフォローしていないユーザーの投稿に「いいね！」すると、そのユーザーをフォローしているユーザーの数

仮定2

[If] ロジックを追加: いいねはデフォルトで自動的にフォローされますが、パーソナルセンターではいいねとフォローを同時に設定できます

【予想】月間注目度30％アップ

【なぜなら】

• 前の点と同様に、製品はユーザーがフォローを重い操作と見なさないようにガイドし、ユーザーがより注意を払うようにする必要があります。
• 「いいね！」と「フォロー」の意味は、コミュニティの運営によってそれぞれ異なります。「いいね！」とフォローを同期するかどうかの設定可能なロジックにより、ユーザーに選択権が与えられ、この 2 つに対する理解が異なるさまざまなユーザー グループのニーズに対応できます。
• フィード内の投稿に基づいてフォローすることを決定したユーザーは、現在、いいね + フォローを完了するために 3 つの手順 (いいね、投稿をクリック、フォロー) を完了する必要があります。仮説を使用した後は、1 つのアクションをクリックするだけで済み、複数の操作を実行する場合はコストを削減し、効率を飛躍的に高めることができます。

ベストプラクティス

一般的に、コンバージョンパスを短くすると、コンバージョン率が向上します。

Weibo にも同様のロジックがあり、コンテンツを通じてユーザーをパブリッシャーのフォローに誘導しています。

定量分析

• [フィード ストリーム > ダイナミック詳細 > フィード ストリーム > ダイナミック詳細] (ループ) パスでフォローをクリックしたユーザーの数
• ユーザーがフィード内でフォローしていないユーザーの投稿に「いいね！」すると、そのユーザーをフォローしているユーザーの数

仮定3

[If] 訪問者がコミュニティを閲覧し、ユーザーやトピックをフォローできるように権限を開きます。 （ログイン後、フォローしているデータを同期するかどうかを選択し、端末に応じて同期してください）

【予想】月間注目度5％アップ

【なぜなら】

• ユーザーは閲覧するためにログインする必要がないため、コンバージョン経路が短縮されます。
• しかし、製品にとって、ユーザーログインは最も基本的な関心と信頼を表します。常にゲスト状態にあるユーザーは多くなく、あまりアクティブではありません。

ベストプラクティス

観光客ユーザーに対しては、粘り強さと静かなコストを生み出し、誠意を示し、まずユーザーに価値を与え、ユーザーからの将来の登録を求めることもできます。

Curiosity Dailyでは、ログインしていないときでも閲覧、収集、調査への参加などが可能です。

定量分析

• ダウンロード
• ログインページUV
• ログインユーザー数

仮定4

[If] Weiboと同様に、ログインに成功した後、ユーザーに簡単なユーザーアンケート（フィットネスに重点を置いたコンテンツ）を記入するよう誘導し、個人の状況に基づいて従うべきフォームを推奨します。

【予想】月間注目度25％アップ

【なぜなら】

• Weibo、ZCOOL、Haohaozhuなど、さまざまな分野のコミュニティアプリは、ユーザーに習慣を教育し、受容性を高めています。ユーザーアンケートのフィードバックは、コンテンツの推奨やプッシュ戦略に適用され、より正確なプロモーションを実現できます。
• しかし、Keepのビジネスモデルと現在の第1レベルページCの位置（スポーツ）を見ると、KEEPの中核は依然としてツール属性であることがはっきりとわかります。
• したがって、コミュニティの重みを増やすかどうかは戦略的な考慮が必要です。

ベストプラクティス

Weibo のさまざまなガイド付き注意と自動注意のメカニズムでは、選択的参照の違いを考慮する必要があります。

定量分析

• ユーザーセグメンテーション: コンテンツの閲覧時間とスポーツ機能の使用時間の比率が 2:1 を超える

ステップ2: ICEモデルのスコアリングと優先順位付け

優先順位: 仮定 1 > 仮定 2 > 仮定 4 > 仮定 3

スコアリング基準 - 予想される影響

採点基準 - 成功確率

採点基準 - 容易さ

ステップ3: 実験設計

内容の重複を避けるため、ここでは後続の内容を説明する新しい実験仮説を導入する。

1) 実験仮説

ユーザーがダイナミック詳細に 5 秒以上留まると、フォロー ボタンがより明るく大きくなります。

【推定】月間注目度を20％（5％→6％）増加できます。

滞在は、ユーザーのコンテンツへの関心を反映し、ひいてはパブリッシャーへの関心を示すことができます。5秒では、ユーザーの関心は比較的強いものの、コンテンツに完全に浸っているわけではありません。このとき、フォローボタンの視覚的な変化は、過度に邪魔にならず、嫌悪感を与えることなく、ユーザーに注意を払うように促すことができます。

ベストプラクティス

(仮説 2 と同じ) Weibo にも同様のロジックがあり、コンテンツを通じて発行者をフォローするようにユーザーを引き付けます (強力なリマインダー)。

定量分析

• 記事の詳細と動的詳細に 5 秒以上滞在した後にパブリッシャーをフォローするユーザーの数と割合。
• ユーザーがパブリッシャーをフォローする際にそのパブリッシャーの詳細を閲覧する平均時間。

2) 実験指標

【月間注目度】定義：1ヶ月間にフォローしたユーザーの総数／その月にそのユーザーのコンテンツを閲覧した他のユーザーの総数。 (ユーザーが作成した複数のコンテンツの重複を排除する)

【閲覧】定義：該当コンテンツが1画面に60%表示されます。動的詳細ページに 5 秒以上滞在します。

実験の変更は動的詳細（ダイナミクス、ビデオ、記事）の 3 つのページにあるため、実験前後のデータの比較では、他の要因によって干渉されないように、この部分のデータの違いのみがカウントされます。

コア指標: (上記の 3 つのページはそれぞれ 1、2、3 と番号が付けられています) 1 月のページ注目率、2 月のページ注目率、3 月のページ注目率。

逆指標：1 月のページのフォロー解除率、2 月のページのフォロー解除率、3 月のページのフォロー解除率。

【フォロー解除率】定義：該当ページをフォロー後フォロー解除したユーザーの数／該当ページをフォローしていたユーザーの数。

補助指標：（上記3ページはそれぞれ1、2、3に対応します）ページ1は平均滞在時間、ページ2は平均滞在時間、ページ3は平均滞在時間に焦点を当てています。

[継続時間/注目度比] ユーザーがページに注目するために滞在する平均時間。

実験の 5 秒と比較して、5 秒時点でのボタン スタイルの変更がユーザーの最終的な注意に与える影響を測定します。

3) 実験的な観客

• 注意力の習慣があるユーザー
• 特定のユーザー習慣なし
• 注意力のない習慣のあるユーザー

[フォロー習慣のあるユーザー] 定義: フォロー数/アクティブ(コミュニティに参加)日数 ≥ 1 (アクティブ日数ごとに新規フォロー 1 人)

【特定の習慣を持たないユーザー】定義：0.3＜フォロワー数/アクティブ日数（コミュニティ参加日数）＜1

【フォロー習慣のないユーザー】定義：フォロワー数/アクティブ日数（コミュニティ参加日数）≤0.3

4) 実験設計 - A/Bテスト

a. バージョン区分と理由

3 つのバージョン:

• 戦略レベルで詳細を分解すると、27 の組み合わせ (3 つのユーザー グループ、3 つのページ、3 つのスタイル) を検討し、運用コストを評価できます。この場合、記事の詳細ページのみが考慮されます。
• 大きな変化のあるスタイルは、強力なリマインダーに対応し、ターゲットの変換に重点を置いています。たとえば、ボタンが 50% 大きくなり、色が大きく変わり、アニメーションが非常に鮮やかになります。
• 小さな変化を伴うスタイルは、経験の継続性に重点を置いた弱いリマインダーに対応します。スタイルの例: ボタンが 20% 大きくなり、色がわずかに変わります。

（この段階での発散的思考はアイデアの実証のみであり、次の2回の計算では途中で関与する分解ユーザーグループは考慮されません）

b. 記事詳細の月間注目度が6%に上昇した場合

現在の注目度は 5% ですが、目標は 6% に上げること、統計的有意性は 95% に達すること、記事詳細の毎日の UV が 10,000 であることがわかっています。

• [注意力のあるユーザー] [リマインダーなし]
• [注意力のあるユーザー] [リマインダーが弱い]
• [注意力のあるユーザー] [強力なリマインダー]
• [特定の習慣ユーザーなし] [リマインダーなし]
• [特定の習慣のないユーザー] [リマインダーが弱い]
• [特別な習慣のないユーザー] [強い注意]
• [ユーザーをフォローする習慣がない] [リマインダーがない]
• [注意力のないユーザー] [リマインダーが弱い]
• [注意力のないユーザー] [強い注意喚起]

グループあたりのトラフィック分布: 10000/9≈1111

残りの場所はすべて[注意力のある習慣のあるユーザー][リマインダーなし]に割り当てられ、実験が結論に達する前にアクティブユーザーへの影響を軽減します。

実験の時間

ツールで計算すると、6900/1111≈6.2 日となり、7 日の整数に切り上げられます。

5) 実験結果を分析する

実験グループ:実験変数処理を受ける被験者のグループです。

対照群:実験仮説に対して、実験変数処理を受けない被験者グループです。

集中：

• 実験群と対照群のトラフィックが均等に分散され、十分なサンプルが得られているかどうか
• 実験期間は十分に長いですか? 週末や休日の影響を受けますか? ユーザーの目新しさの影響を受けますか?
• 各グループにはすべてのユーザー タイプ (高頻度、中頻度、低頻度) がカバーされていますか?
• 実験グループのコア指標をコントロールグループのコア指標と比較して、コア指標が改善されたかどうか、補助指標が改善されたか同じままだったかどうか、逆指標が改善されてマイナスの影響をもたらしたかどうかを確認します。
• コア指標が統計的有意性の要件を満たしているかどうか（サードパーティの統計ツールは検索エンジンで見つけることができます）

6) 実験の次のステップ

新しいサイクルを始める

著者：紫原真之介

出典：小子オリジナル製品ノート