ユーザーの成長を促す実験: A/B テストのベスト プラクティス

インターネットにおける競争の後半で科学的成長を達成するためには、 A/B テストを成長エンジンの役割を果たさせることが必須です。この記事では、ビジネスのコンバージョン率を向上させるための A/B テストの価値、チーム内で A/B テストを効果的に推進する方法、および A/B テスト システムの科学的な設計プラクティスについて説明します。

1. Toutiaoの成長の秘訣：A/Bテスト主導

TikTokは現在最も急成長している企業と言え、街を歩く人々の携帯電話でも人気を博しており、テンセントに深い危機感を抱かせ、対応を迫った。2017年後半から、TikTokは驚異的な爆発的な成長を見せている。

親会社であるバイトダンスは評価額750億ドルで、実験を重視し、A/Bテストを活用して科学的な成長を推進する企業である。

A/BテストはToutiao製品にとってごく自然なことであり、トップマネジメントの張一鳴氏をはじめ、会社全体がそれを非常に重視しています。 36Krはかつてレポートでこう書いている。「今日頭条が新しいアプリをリリースする際、その名前はN個のパッケージにまとめられ、大手アプリストアで複数のA/Bテストを経て決定されなければならない。張一鳴は同僚にこう言った。「たとえそれが最良の名前だと99.9%確信していたとしても、テストしたところで何の意味があるというのか？」

Toutiao は、名前が付けられた日からデータ思考を採用してきました。創設チームは、ブレインストーミングセッションや投票、最終決定を下す上司を招かず、科学的な実験アプローチを採用し、データ観察を通じて Toutiao の名前を決定しました。

App Storeの無料アプリ上位10位を抽出し、名前（キャッチーな口語表現、感情的なアプリ、特殊な音をシミュレートするアプリ、企業名＋目的のアプリなど）ごとに分類し、各カテゴリの割合を分析しました。分析の結果、キャッチーで平易な言葉が最も効果的であると結論付けられました。

次に、異なるチャネルでA/Bテストを実施し、同様の事前効果を持つ公開チャネルを特定し、まったく同じインターフェース、機能、ロゴで個別にリリースしました。また、各チャネルのユーザーダウンロード数やアクティビティなどのコアデータ指標をカウントし、最終的にToutiaoが最も効果的であることがわかりました。

2. A/B テストとは何ですか?

A/B テストは、同じ最適化目標に対して 2 つのプラン (2 つのページなど) を作成し、一部のユーザーにはプラン A を使用し、他のユーザーにはプラン B を使用させる製品最適化手法です。異なるプランのコンバージョン率、クリック数、維持率などの指標をカウントして比較し、異なるプランの長所と短所を判断して決定を下します。

上の図は、A/B テストの典型的な例です。

A/B テストがより成熟している企業では、A と B の 2 つのバージョンだけに限定されない場合があります。ABC テスト、ABCD テスト、さらには ABCDE テストが行​​われることもあります。

場合によっては、AABテストなど、より特殊なA/Bテストが登場することもあります。ABテストシステム全体の精度を検証する必要があるため、2つのコントロールグループを設定する必要があるため、AABテストと呼ばれます。

同時に実行される実験の数に関係なく、それらを A/B テスト、または英語では ABtest または ABtest と呼ぶことができます。

公開データと詳細な業界調査を組み合わせて、業界の A/B テスト頻度の概要をまとめました。これによると、企業の市場価値や規模は、A/B テストの頻度と正の相関関係にあることがわかります。

Googleのような大企業は、比較的成熟した A/B テスト システムとデータ分析プラットフォームを備えており、推奨アルゴリズムの A/B テストなどの比較的複雑な実験から比較的単純な A/B テストまで、平均して週 2,000 件の A/B テストを実施しています。 BATなどの国内大手インターネット企業も、毎週何百ものA/Bテストを実施している。

弊社が提携している企業の多くは、インターネット金融、電子商取引、 O2O 、その他製造業など、幅広い業界の企業です。これらの企業は、成熟した A/B テスト プラットフォームを独自に開発する能力とエネルギーを持っていないため、Testin A/B テストと提携して、A/B テスト サービスを迅速にビジネスに適用することを選択しています。

たとえば、Testin A/B テストを使用する前は、インターネット ファイナンスのユーザーは 1 週間に 0.1 件の A/B テストしか実行できませんでした。CloudTest A/B テスト サービスを使用した後、A/B テストの頻度が大幅に改善され、1 週間に約 30 件の A/B テスト実験を実行できるようになりました。

もちろん、週 30 回の実験のうち、約 1/3 の実験ではコンバージョン率指標が 5% ～ 30% 増加しますが、残りの 2/3 の実験は理想的ではなく、データ指標の良好な改善は達成されません。

この例から、製品アイデアの約 2/3 が期待を満たしていないことがわかります。つまり、コンバージョン率は実際には元のバージョンほど良くないということです。これは、A/B テストが必要な根本的な理由でもあります。製品に関する決定は製品の直感に基づいて行われますが、改善の 2/3 は最適なソリューションではありません。

上記のグラフは、Microsoft Bing検索エンジンの A/B テスト成長曲線を示しており、2008 年から 2015 年までの Bing の A/B テスト実験の成長をカバーしています。

Bing 製品の初期には、1 週間あたりの A/B テストの頻度は 10 ～ 50 回に維持されていたことがわかります。2012 年以降、1 週間あたりの Bing A/B テストの頻度は急速に増加し始めました。

グラフの右下隅にある緑色の曲線は、Bing モバイルの A/B テスト頻度の成長曲線です。このグラフから、Bing はデータの増加とビジネス開発を促進するために A/B テスト実験を非常に重視し、真剣に実施していることがわかります。

3. A/Bテストの適用シナリオと事例

まず、モバイル アプリケーションにおける A/B テストの 4 つの主要な適用シナリオ、つまりアプリ、ランディング ページ、バックエンド アルゴリズム、ミニプログラムについて見てみましょう。

APP側は現在、モバイルインターネットの成長の主なキャリアです。PCやH5（一般的な友達のスクリーンスイープアクティビティなど）や広告ランディングページは、ランディングページに分類できます。推奨アルゴリズム、広告アルゴリズム、各人の数千の顔など、バックエンドアルゴリズムのシナリオもあります。

現在、最も急速に成長しているアプリケーション シナリオはミニ プログラムです。

さまざまなシナリオで A/B テストの焦点は異なりますが、中心となる目標は、誰もがよく知っている「北極星指標」、または DAU や MAU など A/B テストで設定される特定の目標であるビジネスの成長を中心に展開することです。

事例1: カメラ写真撮影アプリケーション

Camera360 を例にとると、同社は製品の最適化の決定を支援するために Testin A/B テスト サービスを選択しました。

この事例は、自社製品を商品化する過程で、店内の絵文字や小道具の決済率を高めたいと考えた試みであるが、決済目標を達成するには、まずは店舗入口のクリック率を高める必要がある。

そこで、複数の入店プラン（アイコンスタイルやコピーライティングの変更）を設定し、A/Bテストでどのプランが入店クリック率を最大化できるかを検証しました。

検証の過程では、日本、中国、韓国などのターゲットグループを対象とした関連テストも実施しました。最終的に、このエントリーのテストバージョンを7〜8個同時にリリースし、A/Bテストを通じて全体のクリックスルー率を約80％向上させました。

ケース2

この事例は、インターネット金融業界のアプリです。サインインボタンのコピーを変更することでサインイン数を増やし、リテンション率を向上させたいと考えています。ボタンのコピーを「サインイン」から「サインインしてお金を稼ぐ」に変更し、A/B テストを実施して、バージョン A と B にそれぞれ 5% のトラフィックを割り当てました。

テストの結果、新バージョンのサインイン数は、元のバージョンと比較して 4.17% 増加していることがわかりました。95% 信頼区間の結果は、少人数のグループのテスト結果をすべてのユーザーに拡張した後、1.7% ～ 6.6% の増加が得られる確率が 95% あることを示しました。p 値は 0.05 未満であり、新バージョンと旧バージョンの間に統計的に有意な差があることを示しており、検出力は 100% であり、統計的検出力が有意であることを示しています。

このシンプルな A/B テストにより、アプリの保持率が大幅に向上しました。

このテストでは、Testin A/B テストの視覚化機能も使用し、開発者の介入なしに関連する要素の属性を直接変更することで比較機能を実現しました。

では、製品に A/B テストが必要になるのはいつでしょうか?

A/B テストを実施するには、複数のバージョンの開発や、使用可能な A/B テストおよびデータ分析プラットフォームの構築などのコストがかかることはわかっています。

入出力比率を考慮すると、A/B テスト プラットフォームを構築するために必要な条件は 2 つあります。1 つは、製品決定の影響が大きいこと、もう 1 つは、製品ソリューションの選択が難しいことです。

決定が製品に大きな影響を与えるが、選択が難しくない場合は、A/B テストを実施する必要はありません。たとえば、 WeChatやサードパーティのログイン方法をアプリに追加するかどうかを決定すると、製品に大きな影響を与えますが、業界ではすでに共通のソリューションがあるため、決定は難しくありません。

たとえば、エントリ ポイントが非常に深く、ユーザー数が少ない非常に小さな機能を追加する場合、A/B テストの優先度は高くありません。 A/B テストは、製品の決定が大きな影響があり、選択が難しいという両方の条件を満たす場合にのみ最適です。

自社で実施しているテストを例にとると、影響の大きさや選定の難易度などからテストする機能の優先順位を決定し、どの機能に対してA/Bテストを実施するかを決定します。

4. A/Bテストの3つの要素

Ziroom、 36kr 、Bullet SMS、 51 Credit Cardなどのパートナーとのコミュニケーションを通じて、A/Bテストの実装には3つの重要な要素があることがわかりました。

• まず、人的要素、つまりチーム全体の思考習慣や考え方です。
• 2 番目は、成長ワークフローであるビジネス プロセスです。
• 3番目はツールです。

詳しく言うと、「人」の観点から、最も重要なことは、データ主導の成長とA/Bテスト主導の意思決定の思考習慣をチーム全体に求めることです。

同時に、グロースチームや製品チームのリーダー自身がこの認識を持たず、A/B テストは重要ではないと考え、製品の最適化の決定を下すために経験に頼る場合、A/B テストを実施するのは困難になります。

APP にしろ、現在のミニプログラムにしろ、新製品が次々と登場しており、製品の競争は極めて熾烈です。また、現在のインターネットトラフィックの配当期は徐々に終了し、顧客獲得コストは増加傾向にあります。今後もビジネス成長を遂げたいのであれば、A/Bテストを実施し、データで成長を牽引していくことが最も効果的です。

業界の発展傾向により、すべてのチームが徐々に成長のために科学的な実験を使用する道へと移行することが決定されます。現在のチームで A/B テストの推進が困難であっても、近い将来、A/B テストが製品の成長の最も重要な原動力になると信じています。

私は多くの欧米のグロース仲間と深い交流をしてきましたが、欧米のインターネット企業ではA/Bテストの雰囲気がより強いと実感しています。主に米国では人件費が比較的高いため、インプットとアウトプットの比率に特に注意を払っており、非常に早い段階で運用の洗練段階に入っていました。

ビジネスプロセスの観点から:

• まず、製品の形式、つまりアプリ、ミニプログラム、公式アカウント、または Web サイトのいずれに基づいているかに注意を払う必要があります。 A/B テストの実装計画は、ビジネス シナリオによって異なります。
• 次に、A/B テストが製品イテレーションまたは成長チームのワークフローに適切に統合されているかどうかを検討する必要があります。ベスト プラクティスは、製品最適化イテレーション プロセス全体とリリース リズムを A/B テストと緊密に結合して、組立ライン操作を形成することです。これが、BAT などの企業が毎週これほど高い頻度で A/B テストを実施できる理由です。

ツールに関しては、1つは自社開発し、もう1つはサードパーティのサービスを使用するというものです。

自社開発のサービスは制御性やビジネス連携の面で一定の利点がありますが、一般企業にとっては研究開発費や人件費が非常に高くなります。また、A/B テスト サービスの開発には比較的厳密なデータ統計が必要であり、専門のデータ アナリストを配置する必要があります。

Testin A/B テスト サービスなど、現在市販されているサードパーティ ツールを使用すると、コストを最小限に抑え、A/B テスト サービスの実装を加速できます。

たとえば、ミニプログラムのユーザーが同じ日に Testin A/B テスト サービスに接続した後、同じ日に 3 つの A/B テスト実験を実行しました。独自のツールを開発するか、サードパーティのツールを使用するかにかかわらず、重要なのは自分のチームに適合させることです。

5. A/Bテストのベストプラクティス

A/B テストの最適なプロセスは、次の 4 つのステップに分けられます。

• データを分析する：登録コンバージョン率など、既存のオリジナルバージョンのさまざまなデータ指標を分析します。たとえば、登録コンバージョン率が 10% しかない場合は、このコンバージョン率に関するアイデアを考え出します。
• アイデアを提案する: たとえば、登録プロセスを改善したい場合、以前はユーザーはテキスト メッセージの確認コードを入力する必要がありましたが、これを画像の確認コードに変更して、改善の代替計画を立てる予定です。この基本的な仮定により、コンバージョン率を高い確率で向上できると推定されます。
• 重要度のランク付け: チームのリソースが限られているため、すべての要件とアイデアを検証することは不可能です。そのため、重要度をランク付けし、A/B テストの最も重要な改善計画を選択してから、4 番目のステップに進む必要があります。
• A/B テスト: このプロセスでは、A/B テスト データを監視する必要があります。一般的に、結果は 2 つあります。1 つは、実験が無効であることをデータが証明すること、もう 1 つは、実験が有効であることをデータが証明することです。多くのテストを行った結果、ほとんどの A/B テスト実験において、1/3 は効果的であることが証明され、2/3 は効果がないことが証明されました (効果が元のバージョンとあまり変わらないか、効果が元のバージョンよりも悪かった)。

ここで注意すべき点は、すべての実験が指標の成長に大きな影響を与えると証明されるわけではないということです。その場合、実験を行う必要はありません。

このような状況に遭遇した場合は、チームメンバーに落胆しないように伝える必要があります。いくつかの実験が効果がないと判明したからこそ、効果的な成長方法が見つかるのです。

実験の失敗は、高確率で起こる出来事です。最良のアプローチは、短時間だけテストして経験的な意思決定という従来の方法に戻るのではなく、テストの頻度を増やしてテストを継続することです。

チームで A/B テストを一度も行ったことがない場合は、次の 3 つの提案を参考にしてください。

1. 主要なボタンの異なるコピーライティングのコンバージョン率をテストするなど、最も単純なコピーライティングの A/B テストから始めます。
2. チーム内でより多くの経験を共有し、成功した経験を共有してください。誰もが、うまくいくことに挑戦したいと思っています。失敗した経験を毎日共有しないでください。失敗した経験を共有しすぎると、あなたとあなたのチームは A/B テストに疑問を持ち、チームの士気に影響を与えます。
3. 現在、アプリ、Web/H5、ミニプログラムをサポートしている Testin A/B テストなどのサードパーティの無料 A/B テスト ツールを優先的に使用できます。

6. エンタープライズ A/B テスト成熟モデル

上記では、A/B テストを実装するための 3 つの重要な要素と、A/B テストのベスト プラクティス プロセスについて紹介しました。このセクションでは、エンタープライズ A/B テスト成熟モデルについて説明します。

エンタープライズ A/B テストは、スタートアップ段階、成長段階、成熟段階、大規模アプリケーション段階の 4 つの段階に分けられます。この機能の成熟度を示す最も重要な指標は、1 週間に何回 A/B テストを実施できるかです。

立ち上げ段階にあり、平均して週に0～1回のA/Bテストを実施できます。組織全体はA/Bテストを試みる初期段階にありますが、社内に成熟したA/Bテスト実験プラットフォームはありません。実験には、依然として最も単純な転用方法とデータ分析方法が使用されています。

今回のA/Bテストは、標準的なA/Bテストではなく、実験評価システムの観点から、コンバージョン率など最も基本的な指標は設定されていますが、まだ体系化されていません。

体系的指標とは何ですか?つまり、単一の指標から多次元の指標システムへと進化し、実験が製品に及ぼす多面的な影響を体系的に追跡します。

第 3 段階は比較的成熟した段階です。この時点では、1 週間に 3 ～ 10 件のテストが完了できます。A/B テストは製品の反復プロセスの一部となり、多様な A/B テストのニーズを満たすために、ビジュアル A/B テストやバックエンド A/B テストなどの高度な機能が必要になります。

成熟段階および大規模適用段階では、OEC という用語が使われます。 OEC は、多くの個別指標を加重平均して得られる複合指標である総合評価指標として理解することができます。 OECの設定を通じて、組織全体のパフォーマンス開発を導きます。

7. A/Bテストシステム設計機能

上記では、A/B テストの実装方法について説明しました。次に、一般的な A/B テスト システムを設計するために必要な機能について説明します。

1. 科学的なトラフィックセグメンテーション

独自性、均一性、柔軟性、方向性、階層化、転換などが含まれます。

1. 一意性とは、正確で効率的なハッシュ アルゴリズムを使用して、ユーザーがアプリケーションにログインするたびにそのユーザーに割り当てられる試用版が一意であることを保証することを意味します。
2. 均一性とは、人を転用する際に各次元の配分比率が均一になるようにすることです。
3. 柔軟性を確保するには、ユーザーが実験中にいつでも実験バージョン間のトラフィック配分比率を調整できることが必要です。
4. 方向性とは、ユーザー デバイス タグやその他のカスタム タグに基づく特定の転送など、ユーザー タグに基づく正確でターゲットを絞った転送を意味します。
5. 階層化され迂回されたトラフィックは、多数の A/B テストを並行して実行するニーズを満たすことができます。

左: 階層型トラフィック迂回メカニズムが有効になっていません。右: 階層型トラフィック迂回メカニズムが有効になっています。

ここでは、階層化されたトラフィック セグメンテーション メカニズムが必要な理由に焦点を当てます。階層型トラフィック メカニズムがない場合、次の制限が存在します。

• 各ユーザーは 1 つの A/B テスト実験にのみ参加できます。
• 複数の実験を同時にすべてのユーザーでテストすることはできないため、対象人口が不十分なために偏った結果が生じる可能性があります。各実験で利用可能な実験トラフィックは進行中の他の実験によって制限されており、柔軟なトラフィック割り当てメカニズムが欠如しています。

階層化されたトラフィック セグメンテーション メカニズムにより、異なるビジネスやシナリオ、または異なる製品モジュール間で A/B テストを並行して実行するニーズに十分対応できます。

1. 科学的統計アルゴリズム

• 科学的統計: 科学的な統計分析方法を使用して実験データを分析し、信頼性の高いテスト結果を提供します。
• 区間推定では、点推定によってもたらされる決定リスクを回避するために 95% の信頼区間が提供されます。統計的有意性判定では、p 値を使用して、異なる実験バージョン間の差異の有意性を判断します。統計的検出力判定では、検出力を使用して、異なる実験バージョンの統計的検出力が十分かどうかを判断します。無駄のない分析では、実験データのノイズを除去し、ノイズ データを削除して、統計結果の品質を向上させます。

上記は基本的な共有内容です。スペースが限られているため、後ほど A/B テストをさらに共有する機会を設けます。

出典: testindata