洗練されたユーザー成長事例！

ABtest はますます注目を集めています。高速で柔軟な比較実験により、問題を迅速に特定し、大規模なリソースの浪費を回避できます。したがって、適切な実験を設計することが重要です。

1. A/B テストとは何ですか?

簡単に言えば、製品最適化における A/B テストの適用方法は、製品が正式に反復されリリースされる前に、同じ目標に対して 2 つ (またはそれ以上) のプランが策定され、ユーザートラフィックがいくつかのグループに分割されます。各ユーザーグループが同じ特性を持つことを保証するという前提で、ユーザーは異なるプラン設計を個別に確認できます。複数のユーザーグループからの実際のデータフィードバックに基づいて、科学的なサポートが提供され、製品決定に役立ちます。

A/B テストの適用方法によって、事前、並列、科学的という 3 つの主要な特性が決まります。

事前: A/B テストは実際には「事前」実験システムであり、予測的な結論であり、「事後」の帰納的結論とは大きく異なります。データを使用してバージョンの品質をカウントおよび分析するのと同じ方法は、まずバージョンをリリースし、データを通じて効果を検証することです。ただし、A/B テストでは、科学的なテスト設計、代表的なサンプリングサンプル、トラフィックのセグメンテーション、および小規模トラフィックのテストを通じて、代表的なテスト結論を取得します。このようにして、非常に小さなサンプルサイズを使用してすべてのトラフィックに一般化し、信頼性を高めることができます。

並列処理: A/B テストは、2 つ以上のソリューションを同時にオンラインでテストすることです。この方法の利点は、各バージョンの環境の一貫性が確保され、より科学的かつ客観的な方法で長所と短所を比較しやすくなることです。同時に、検証時間も節約され、1 つのバージョンを検証した後に別のバージョンをテストする必要がなくなります。

科学性:ここで強調されるのは、トラフィック分布の科学的な性質です。 A/B テストの正しいアプローチは、類似した特性を持つユーザーをテストグループに均等に分散して、各グループ内のユーザー特性の類似性を確保し、データの偏りを回避してテスト結果をより代表的なものにすることです。

2. A/Bテストに関する誤解

誤解1: 異なるバージョンを交互に表示する

まず、このアプローチは真の A/B テストではないことを明確にする必要があります。この現象は今日の広告でよく見られます。ランディングページのコンバージョン率を向上させるために、広告主はさまざまなバージョンの広告をローテーションで表示することを選択します。

ただし、このアプローチでは、各バージョンが同じ環境になることは保証されません。たとえば、プライムタイムが平日の午後 7 時と午後 3 時の場合、視聴者層は大きく異なるため、最終的な効果が異なるかどうか、または異なる効果の理由さえも判断するのは困難です。

正しいアプローチ: ソリューションのさまざまなバージョンをオンラインで並行して (同時に) テストし、すべてのバージョンのテスト環境の違いを最小限に抑えます。

誤解2: 異なるアプリマーケットを選択してリリースする（テストのためにユーザーをランダムに選択する）

データの重要性を事前に認識している企業の中には、新バージョンがユーザーの使用に実際にどのような影響を与えるかを検証するために、異なるバージョンをパッケージ化して、異なるアプリケーション市場にリリースすることを選択する企業もあります。特定のバージョンのデータパフォーマンスが最高であることがわかったら、そのバージョン全体をオンラインでリリースすることを決定します。

さらに、社内の従業員も含め、一定数のユーザーをランダムに選んで予備試験を実施し、データのフィードバックに基づいて反復バージョンを決定します。これは、A/B テストの科学的なトラフィック割り当ての原則に違反しており、シンプソンのパラドックス (つまり、特定の条件下での 2 つのデータセットは、個別に検討すると特定の特性または傾向を満たしますが、一緒に検討すると、反対の結論につながる可能性がある) に簡単につながる可能性があります。

正しいアプローチ: 各試用版のユーザー特性が同様になるように、トラフィックを科学的に割り当てます。

誤解3: ユーザーに自分のバージョンを選択させる

多くの企業では、新しいバージョンのページに古いバージョンに戻るための入り口を残し、ユーザーがどのバージョンを使用するかを選択できるようにし、戻るボタンのクリック率を収集して最適なバージョンを決定します。ただし、このアプローチは、新しいバージョンでのユーザー行動データの統計分析には役立ちません。ユーザーが新しいバージョンのエクスペリエンスが悪いと思うからではなく、単に古いバージョンに慣れているという理由で新しいバージョンを離れる可能性があり、最終的には不正確なテスト結果につながるからです。

正しいアプローチ: ユーザーがさまざまなバージョンの実際の使用体験を実証できるようにします。企業は、各バージョンのデータパフォーマンスにリアルタイムで注意を払い、データフィードバックに基づいてテストトラフィックをタイムリーに調整する必要があります。

誤解4：テスト結果の理解と分析が浅すぎる

この誤解には、2つの異なる内容が含まれます。

まず、実験バージョンがオリジナルバージョンよりも優れたパフォーマンスを示した場合にのみ、実験は成功すると彼らは考えています。実際、A/B テストは最適なバージョンを選択するために使用されるツールです。実験の結果には、実験バージョンが改善された (実験バージョンが最適)、大きな違いがない (両方のバージョンが許容可能)、実験バージョンのパフォーマンスが元のバージョンよりも悪い (元のバージョンが最適) の 3 つが考えられます。これら 3 つの結果は、実際には実験が成功したことを示しています。

第二に、実験の全体的なデータ結果のみに基づいて、すべてのシナリオのパフォーマンスを推測することはできません。たとえば、A/B テストの結果、実験バージョンのパフォーマンスが元のバージョンよりも悪いことが判明した場合、すべての地域またはチャネルでその影響はマイナスであると想定されます。

ただし、各バージョンの異なるブラウザのデータを細分化すると、特定のブラウザの明らかな欠点により、全体的なテストデータが貧弱になる場合があります。したがって、テストデータの全体的なパフォーマンスのみに焦点を当てるのではなく、セグメント化されたシナリオによって生じる結果の偏差を無視してください。

正しいアプローチ: テストデータ全体を分析する際には、複数の次元からのテストデータの結果を考慮する必要があります。

3. A/B テストはどこで使用できますか?

A/B テストは製品の最適化における欠陥を補うことができますが、すべての製品に完全に適しているわけではありません。 A/B テストの結果には大量のデータサポートが必要なので、Web サイトの毎日のトラフィックが多ければ多いほど、結果はより正確になります。一般的に、A/B テストを実施する場合は、各バージョンの 1 日あたりのトラフィックが 1,000 UV を超えることを確認することをお勧めします。そうでない場合、テストサイクルが非常に長くなるか、正確な (結果が収束する) データ結果を取得するのが難しくなります。

A/B テストに適した製品についてお話しした後、コンテンツの最適化と適用シナリオの 2 つの側面から、A/B テストをどこで使用できるかを説明します。これが皆さんのインスピレーションの源になれば幸いです。

コンテンツを最適化する

製品UI

異なる業界の製品には異なるスタイルが必要であり、同時に会社のブランドを補完することも必要です。 A/B テストを使用して UI を最適化すると、ユーザーに優れたインタラクティブエクスペリエンスと視覚的エクスペリエンスを提供できます。

コンテンツ

名前が示すように、これはユーザーが読むテキストコンテンツを指します。画像のキャプションやボタンのテキストから記事のタイトル、セクションのテーマまで、製品のあらゆる部分に適用されます。これらの部分のコピー内容を変更して、さまざまなソリューションのデータ効果をテストすることができます。

ページレイアウト

場合によっては、製品の UI やコピーライティングの内容を調整する必要がなく、レイアウトを変更するだけで成長効果が得られることもあります。

製品の特徴

製品に新しい機能を追加したいのですが、ユーザーの期待に応えられるかどうか判断が難しいです。やみくもにリリースすると、損失が発生する可能性があります。 A/B テストを使用して、ユーザーに対して真の責任を負います。たとえば、新しい有料の写真閲覧機能が正式にリリースされる前に、ソーシャルプロダクトでは、その機能の使用状況と有効性を検証するために A/B テストを実施する必要があります。

推奨アルゴリズム

これらには、コンテンツベースの推奨アルゴリズム (ユーザーの履歴に基づいて類似コンテンツを推奨)、協調フィルタリングベースの推奨アルゴリズム (同様の興味を持つユーザーの行動に基づいて関連コンテンツを推奨)、および関連ルールベースの推奨アルゴリズム (コンテンツ自体の関連性に基づいてユーザーにコンテンツを推奨) が含まれ、最終的にはユーザーの粘着性を高めます。

IV. 応用シナリオ

広告ランディングページ

ランディングページは、インターネットマーケティングにおいてトラフィックを誘致し、変換するための重要なステップです。訪問者が広告 (またはマーケティングページ) を見た後にランディングページをクリックするようにし、製品やサービスへの関心を維持し、さらに好印象を育み、最終的に登録、購入、共有などの変換行動を完了することが非常に重要です。 A/B テストはマーケティング ROI を最大化するのに役立ちます。

Web/H5ページ

広告やマーケティングに加えて、製品の公式ウェブサイトページ（PC またはモバイル）は、ユーザーが製品について知るための重要なチャネルです。したがって、ユーザーに製品情報をよりよく理解させ、さらなる行動を起こす意欲を刺激し、それによって登録率、購入率、ダウンロード率などを高めることが、Web ページ最適化の主な目標です。 A/B テストを使用すると、より低コストでページを表示するための最適な方法を見つけることができます。

アプリのユーザーエクスペリエンス

Cエンドユーザーの大量流入により、製品の複雑さが増し、新バージョンの意思決定リスクも大幅に増加しています。製品のコアビジネスデータの安定した成長を維持することは、各アプリのバージョン目標です。A/Bテストを通じて、各バージョンのデータパフォーマンスは、各バージョンの正式リリース前に検証され、各イテレーションで確定的な成長を達成できます。

メディア広告の掲載と管理

メディアおよび広告テクノロジー企業の場合、A/B テストを使用して、デザインとデータに基づいた革新的な広告製品を最適化できます。

テストは、広告効果と広告リソースの充填率を最適化して広告単価を上げるという目標を達成するために使用できる一方で、既存の広告製品がユーザーエクスペリエンスに与える影響を測定することもできます。また、ユーザーエクスペリエンス広告製品を継続的に改善することで、モバイル広告ビジネスの収益を高めることができます。

グレースケールリリース

現在、製品の最適化と反復を行う方法は、通常、すべてのユーザーにオンラインでバージョンを直接リリースすることです。オンラインで事故（またはバグ）が発生すると、ユーザーへの影響は大きく、問題解決のサイクルも長くなります。場合によっては、以前のバージョンにロールバックする必要があり、ユーザーエクスペリエンスに重大な影響を及ぼします。 A/B テストでは、バージョンを少数のユーザーにリリースすることで、すべてのユーザーの間でオンライン事故や重大なバグが発生する可能性を効果的に減らすことができます。大多数のユーザーはバグに気付かないため、可能な限り優れたユーザーエクスペリエンスが保証されます。