商品のコンバージョン率を30%向上させた成長実験

成長実験を実施する手順は、一般的に、実験アイデアの生成、実験アイデアの分類、実験の設計、実験の開発、実験結果の分析、および成長レポートの作成に分けられます。以下、一つずつ紹介させていただきます。

1. 実験的なアイデアを生み出す

1. 実験の目的を明確にする

発見した問題に基づいて成長実験を実施します。

特定のボタンのコンバージョン率が低すぎませんか?あるいは、特定の機能の保持率が低すぎるのでしょうか?問題を発見して初めて、最適化の方向性が分かります。たとえば、登録機能のコンバージョン率が 30% しかないことがわかった場合、登録機能のコンバージョン率を 30% から 50% に上げるという実験目標を設定できます。以下では、登録機能のコンバージョン率が低いケースを例に挙げて説明します。

2. 問題の原因を見つける

実験の目標を達成するためには、問題の原因を突き止める必要があります。

問題の原因は定性的および定量的方法の両方を通じて見つけることができます。

定性的な面では、ユーザー調査、ユーザーユーザビリティ調査、その他の方法を使用して、登録機能のコンバージョン率が低い理由を理解することができます。

定量的な面では、データを通じて洞察を得ることができます。たとえば、ファネルモデルを使用して、ユーザー離脱率が最も高い場所を確認できますか? ユーザーセグメンテーションを通じて、どのユーザーの登録コンバージョン率が高く、どのタイプのユーザーの登録コンバージョン率が低いかなどを把握できますか。

3. 原因に基づいて解決策を見つける

問題の原因がわかれば、解決策を見つけやすくなります。

定性的、定量的、ベストプラクティス的な方法を通じて解決策を見つけることができます。

定性的手法と定量的手法は「問題の原因を見つける」ことに似ているため、ここでは紹介しません。

ここでベストプラクティスについてお話ししましょう。ベストプラクティスとは、一般的にコンバージョン率を高める可能性があると認識されている方法です。たとえば、B=MAT モデルと Lift モデル。

B=MAT モデルでは、ユーザーのコンバージョン率行動を改善したい場合、ユーザーに十分な動機を与え、ユーザーの抵抗を減らして能力を向上させ、適切な状況でトリガーリマインダーを提供する必要があります。

Lift モデルは、主に価値提案、関連性、明確さ、不安、気晴らし、緊急性に分かれています。

価値提案。ユーザーが得られるメリットを正確に認識できるように、明確で強力なマーケティングスローガンが必要です。
関連性。ランディングページとコンバージョンページはユーザーの期待に応え、価値提案と密接に関連しています。
明瞭さ。体験プロセスはスムーズで、ユーザーは次に何をすべきかを明確に把握できます。
不安感。削減を行い、ユーザーに選択肢を与えすぎないようにします。ユーザーの期待や習慣に合わないことは行わないでください。
注意力が散漫になる。視覚的な感染と情報ノイズを軽減します。
緊急。ユーザーに迅速な意思決定を促すための飢餓感を生み出し、保有効果と損失回避をうまく活用します。

ここでは上記の方法を使用し、「登録機能の変換率が低い」という問題の解決策が次のようになると仮定します。

ページ上の不要な登録プロセスを短縮します。たとえば、登録時にユーザーに電子メールアドレスなどの個人情報を入力するよう要求しません。携帯電話番号と確認コードを入力するだけで、ログインして登録できます。
登録ボタンを強調表示します。

4. 実験仮説の形成

最後に、これまでのステップに基づいて実験仮説を立てる必要があります。ここで、実験仮説のテンプレートを皆さんと共有したいと思います。

「[特定の変更が行われた場合]、[データに裏付けられた根本的な理由]により、[特定の指標]が[X％]改善すると予想されます。」

上記に基づいて、私たちの実験仮説は次のようになります。

[ファネル分析により、メールアドレスなどの個人情報を入力する際にユーザーの半数近くが離脱している]ため、[登録時にメールアドレスなどの個人情報の入力を求める]と、[登録コンバージョン率]が[30%]向上すると予想されます。
【登録ボタンを1.3倍の大きさに拡大】すれば、【コアプロセスが強調される】ため【登録コンバージョン率】が【10％】向上すると期待できます。

2. 実験のアイデアを分類する

ICE は、実験的なアイデアの優先順位付けに役立ちます。 ICE は、予想される影響 (Impact)、成功の確率 (Confidence)、容易さ (Ease) に分かれています。

予想される影響とは、この実験が何人のユーザーに影響を及ぼすか、また、実験が成功した場合、指標がどの程度改善すると予想されるかを指します。
成功の確率とは、実験が成功することを証明するデータや証拠が何であるかを指します。
容易さは、実験を完了するためにどれだけの人的資源、物質的資源、その他のリソースを投資する必要があるかを指します。

3 つの指標それぞれに 0 ～ 10 のスコアを割り当てます。最終的な総合スコア = 期待影響スコア + 成功確率スコア + 容易さスコア。

3. 実験を設計する

1. 選択された実験指標

ここでは、コア指標、補助指標、逆指標の 3 種類の指標に注意する必要があります。

コア指標は、実験を決定する主要な指標であり、最も直接的な指標でもあります。この登録コンバージョン率を最適化する実験で注目すべきは、登録コンバージョン率が上昇したか、下降したかということです。
補助指標は、実験によって間接的に影響を受ける可能性がある指標です。たとえば、登録コンバージョン率を最適化すると、日々のアクティビティとアクティベーション率にどのような影響があるでしょうか?
ネガティブな指標は、実験のネガティブな影響を測定する指標です。たとえば、ページ離脱率、注文キャンセル率、アプリアンインストール率などです。登録コンバージョン率を最適化するこの実験には、逆指標は含まれません。

2. 実験の対象となるユーザーを特定する

この成長実験ではどのような人々をターゲットにしているのでしょうか?オペレーティングシステム、ブラウザの種類、地域、ソースチャネルなどでグループ化できます。たとえば、登録コンバージョン率を高めるための実験では、Baidu 検索を通じてアクセスする新しい Android ユーザーをオーディエンスとします。

A/B テストを実行するときは、実験グループとコントロールグループが必要です。ここでは、すべての新しい Android ユーザーが Baidu 検索を通じて見つかるという前提を想定しています。

ここで、新規ユーザーが登録するときにメールアドレスなどの個人情報を削除する実験を行うとします。

実験グループ: 修正版を使用したユーザー。
コントロールグループ: 変更前のバージョンを使用していたユーザー。

これを行う利点は、他の変数が実験に与える影響を回避できることです。

3. 試験サンプルサイズの推定

対象者を明確にした後、実験が有効であることを証明するために必要なサンプルサイズも把握する必要があります。

ここで、「統計的有意性」の概念を導入する必要があります。統計的有意性とは、2 つのグループの態度の違いが偶然ではなく体系的な要因によるものであることを意味します。 A/B テストを使用してこの実験を行い、コンバージョン率に差があることがわかった場合、統計的有意性が 95% であれば、コンバージョン率の差が実際のものである確率は 95% であり、その差がエラーによって生じた確率は 5% であることを意味します。

一般的には、統計的有意性が 95% を超えることが推奨されます。

以前のバージョンの登録コンバージョン率が 20%、新しいバージョンの登録コンバージョン率が 25%、統計的有意性が 95% であると仮定すると、各バージョンに少なくとも 670 個のサンプルを割り当てる必要があります。

統計的有意性を 99% に上げたい場合は、少なくとも 700 のサンプルサイズが必要です。

このツールが必要な場合は、私の公式アカウントに「成長ツール」と返信するだけで入手できます。

4. 実験の推定期間

サンプルサイズがわかったので、実験がどのくらい続くかを見積もる必要があります。実験によっては、実験の真の結果が非常に短時間でわかる場合もありますが、実験によっては、真の結果を得るのに時間がかかる場合もあります。

ここでは公示を使用します:

実験時間 = 必要なサンプルの総数 / 1日あたりのページ訪問数

「登録時にメールアドレスなどの個人情報を削除する」という実験では、サンプルサイズが 1400 (新バージョンと旧バージョンでそれぞれ 700 サンプル) 必要で、毎日登録ページにアクセスする人数が 140 人であると仮定します。すると、実験期間は 1400/140 = 10 日になります。

4. 開発実験

まず、データを埋め込む必要があります。

サードパーティの A/B テストツールを使用している場合は、実験指標 (上記で説明) を決定し、この指標に対応するユーザーの動作を見つけて、追跡要件を書き留める必要があります。データは自動的に A/B テストソフトウェアに返され、A/B テストソフトウェアは実験のメトリックを自動的に計算します。

実験を手動で分析する場合は、実験指標を確認してからユーザーの行動を確立する必要もあります。技術が開発され、追跡ポイントが完成すると、データはデータベースに戻され、分析のためにデータをエクスポートできるようになります。

第二に、埋め込まれたポイントをテストする必要があります。データの信頼性を保証します。

最後に、A/Bテストバージョンを開発してリリースします。

5. 実験結果の分析

1. 評価結果の信頼性

各バージョンの訪問数とコンバージョン数をツールに入力すると、統計的有意性の計算に役立ちます。統計的に有意な差がある場合、実験結果が信頼できることが証明されます。

コントロールグループの訪問数が 1,000 回でコンバージョン数が 60 回、実験グループの訪問数が 1,000 回でコンバージョン数が 150 回であるとします。この情報をツールに入力すると、この実験には有意差があり、この実験の結果は信頼できるという結論に達しました。

2. 3種類の指標に注目する

先ほど述べたコア指標、補助指標、逆指標に注目する必要があります。

コア指標: 実験グループのコア指標は、コントロールグループと比較して改善されていますか?
補助指標: 補助指標の変化は期待どおりであり、コア指標の傾向と一致していますか?
逆指標: 明らかな悪影響はなく、逆指標の変化を受け入れることができるでしょうか?

3. 4つの状態を観察する

実験グループの指標が対照グループの指標と比較して大幅に改善された場合、実験グループが勝利します。
実験グループの指標が対照グループと比較してわずかに改善された場合、実験グループが勝利します。
実験グループの指標が対照グループと比較して減少した場合、対照グループが勝利します。変更後、指標は増加せず、減少しています。このとき、原因を見つける必要があります。ファネルのセグメント化、ユーザーのグループ化などを行うことで原因を見つけることができます。
実験グループの指標と対照グループの指標を比較して大きな変化がない場合は、対照グループが勝利したことを意味します。指標が変化しない場合は、最適化する必要はありません。そのままにしておいてください。

4. 次のステップを明確にする

この実験の仮説は成功した。成功すれば、この点に関してさらに他の実験を実施できるかどうかを検討できるでしょうか?この実験のアイデアは他の実験にも応用できるでしょうか?
この実験はわずかな成功を前提としています。メトリックがわずかにしか変化していない場合は、満足できるレベルになるまで反復することができます。
この実験的仮定は失敗します。期待が満たされなかった場合は、この成長実験から何を学んだかを振り返り、検討する必要があります。そしてコードをクリーンアップします。