ABテストのクローズドループを簡単に構築できる7つのステップ

企業がデータにますます注目するにつれて、A/B テストは、ブレークスルーや成長の機会を見つけ、投資リスクを軽減するために、さまざまなシナリオや機能で広く使用されるようになりました。

A/B テストとは何ですか?

A/B テストは、いくつかの客観的な指標を使用してさまざまなソリューションを比較し、どのパスが最も効果的かを測定する評価方法です。その利点は実際の環境にあります。ユーザー行動データと一部のユーザーによって生成されたビジネスデータを通じてさまざまな設計ソリューションを検証し、最終的に最適なソリューションを分析および評価してから正式に適用します。

A/B テストのシナリオは無数にありますが、科学的な A/B テストをどのように実施すればよいのでしょうか?オリジナルフレーバーでは、グループ化と評価という2 つの重要なポイントが提供されます。次に、7 ステップ メソッドを使用して、A/B テストの評価戦略を確定します。

ステップ1: A/Bテスト戦略の開発

A/B テストは常に戦略に基づいています。明確な戦略が確立されて初めて、戦略が有効かどうかを検証するユーザー グループを見つけ、評価と分析に適切な指標を使用することができます。

このステップには通常、戦略提案、戦略スコアリング、戦略決定の 3 つのステップがあります。

適用シナリオに関係なく、A/B テスト戦略策定ステップでは誰もが独自のアイデアを持ち、多くの戦略が生成されますが、各戦略を実験グループ テストとしてオンラインにする必要はありません。そうしないと、資料の準備、ソリューションの実装などの初期段階で多額のコストがかかります。

チーム内で意思決定を行う際に、 ICE モデルを使用してさまざまな指標にスコアを付け、各戦略の 3 つの要素のスコアを合計して、A/B テストで最もスコアの高い戦略を見つけることができます。

ステップ2: テスト対象（評価指標）の選択

戦略評価において、評価指標は非常に重要です。指標をどのように選択すればよいでしょうか。ここでは、 OSM モデルに基づいて、大きな目標 ( O ) から始めて、目標を達成できる戦略 ( S )を見つけ、合理的な指標 ( M ) を使用して、戦略がビジネス目標を達成できるかどうかを追跡する必要があります。

テスト中は、推定される実験サンプルサイズも制御する必要がある。

① サンプル数が少なすぎると、異常なサンプルによって結果が妨害されやすくなり、結果が普遍的でなくなります。

②サンプル数が多すぎてテストトラフィックが多すぎると、試行錯誤のコストが増加し、その後の判断に影響します。

テスト中は、推定される実験周期も制御する必要がある。

① 試験時間が短すぎると、実験群のサンプル数が足りなくなり、有効な結論を導き出すことが難しくなります。

②テスト時間が長すぎると、複数のバージョンをオンラインで維持するためのコストが発生し、状況の制御が困難になります。

推奨される AB テスト ツールは、A/B テスト サンプル計算機です。関連するパラメータを入力することで、テスト実験後のデータを推定できます。ここでは、自分のリズムに合わせてサンプル数を調整できます。

実験に必要なサンプル数に影響する要因:

▲オリジナル版のコンバージョン率

オリジナルバージョンは変換率が低いため、信号が弱くなり、より多くのサンプルが必要になります。

▲新バージョンのコンバージョン率

予想される変換率と元の変換率の差が小さいほど、必要なテストの感度が高くなり、より多くのサンプルが必要になります。

▲統計的有意性の要件

一般的には、少なくとも 95% の統計的有意性が必要であることが推奨されます。統計的有意性の要件が高いほど、結果に求められる確実性が高くなるため、より多くのサンプルが必要になります。

（統計的有意性：最適化バージョンのコンバージョン率がオリジナルバージョンのコンバージョン率と異なる可能性がどの程度あるかを実験者に伝えます。言い換えれば、最適化バージョンの変更が実際にコンバージョン率に影響を与えるかどうかに答えることができます）

ステップ3: 科学的な転換

A/B テストのトラフィック分布が均一であるかどうかは、実験結果に影響を与える重要な要素です。一般的な分布方法は、ユーザー ID やデバイス ID など、ユーザーを識別できる一意のコードに基づいており、アルゴリズムによってユーザーはランダムに異なる「バケット」に分割されます。

⚪たとえば、ユーザーが 60 人いる場合は、これらの 60 人のユーザーの ID を取得し、ユーザー ID に従って分割し、これらの 60 人のユーザーを 6 つの「バケット」にランダムかつ均等に分配します。

「バケット」の転送が完了したら、実験の要件に応じてこれらの「バケット」から対応するトラフィックを選択し、テスト グループに入るだけです。

A/B テストの基本原則は変数を制御することです。転用では、サンプルが均等に分散されていること、つまり、異なる「バケット」の人口特性が均等に分散されていることを確認する必要があります。実験グループを、実験 A は高齢者でいっぱい、実験 B は女の子でいっぱいなど、グループに分けることはできません。このようにして測定された結論とデータはマーケティングの決定に影響を与え、転用は無意味になります。

ステップ4: A/Aテスト

サンプルの均一な配布を保証し、サンプルの違いによる影響を排除するために、通常は A/A テストを A/B テストの前に実行します。また、A/B テスト中にトラフィックの一部を確保し、同時に A/A テストを実行することもできます。

A/Aテストは、その名の通り、実験で出された戦略が一貫していることを意味します。

この前提のもと、各グループ間に有意差があるかどうかを比較します。有意差がある場合、実験のトラフィックの迂回、追跡ポイント、またはデータ統計の少なくとも 1 つに問題があるはずです。したがって、A/A テスト運用の意義は、A/B テストの実験結論の信頼性を高めることです。

一方で、データの正確性を確保するために、ユーザー識別とユーザー転送の問題を適時に解決する必要があります。

一方、サンプルユーザーの属性干渉を排除し、ユーザー特性の一貫した分布を確保し、実験の違いが変数によってのみ発生することを保証できます。

映画会員制商品のコンバージョン率を例に、A/A テストについて説明しましょう。次の図は、映画会員制商品の有料ページでの有料コンバージョン率プロジェクトの A/A テスト結果を示しています。

調査の結果、ユーザーの一意な識別に問題があることが判明しました。修正後、A/A テストを実施しました。最終的に、ユーザー グループ間の差は有意ではなかったため、ユーザーの特徴の分布は基本的に同じであると考えられます。

ステップ5: 戦略的な配信

企業の実際の環境では、多くの A/B テスト実験が行われるため、戦略的な配信では、まず異なる実験間の関係を決定する必要があります。

① 直交実験：実験は互いに影響を及ぼしません。たとえば、実験グループ 1 はさまざまなボタンの色をテストする実験であり、実験グループ 2 はさまざまな広告アルゴリズムをテストする実験です。実験グループ 1 のボタンの色は、実験グループ 2 の広告アルゴリズムの効果に影響を与えないため、実験グループ 1 と実験グループ 2 は直交する実験です。

② 相互排他的実験：実験間には相互影響がある。たとえば、実験 1 では温度制御周波数制限戦略が温度に与える影響をテストし、実験 2 では温度制御輝度低下が温度に与える影響をテストします。実験 1 と実験 2 はどちらも温度に影響を与えるため、実験 1 と実験 2 は相互に排他的です。

グローバル トラフィックのサイズは基本的に固定されています。トラフィック グループごとに同時に 1 つの実験のみを実行することは不可能です。そうしないと、トラフィック不足が発生する可能性があります。

そのため、戦略的配信においては変数を合理的にコントロールし、固定されたノーススター指標を選択した上で、目標を合理的に細分化・細分化し、配信テストを実施し、A/B テストの最終解として最適なパス戦略を選択する必要があります。

ステップ6: データ監視

各社がそれぞれ異なるデータ監視ツールを持っているため、これについては詳しく説明しません。独自のデータテストダッシュボードを持っている企業もあれば、サードパーティのサービスプロバイダーが提供するデータ監視ツールを持っている企業もあります。

AB テストのデータ ダッシュボードは、それほど複雑である必要はありません。目的は、各グループの主要な指標の傾向と、それらが統計的有意性を満たしているかどうかをすばやく表示することです。

ステップ7: 戦略結果の分析と実装

A/B テストが完了したら、データ ダッシュボードを使用して、テストが重要であるかどうか、つまり戦略が影響を与えているかどうかを判断できます。

影響は必ずしもプラスとは限りません。一般的に、実験結果は次のようになります。有意にプラス > 有意にプラス > 有意にマイナス > 統計的に有意ではない。マイナスの有意な結果を恐れる必要はありません。少なくともこの結果は、私たちがすべきでないことを教えてくれます。

A/B テストを完了した後、ビジネス側は、効果の顕著な戦略を拡大し、より多くの人に適用し、戦略の最適化ポイントを見つけ、反復的な A/B テストを実施する必要があります。

著しく効果のない戦略については、効果がない理由を分析し、戦略の反復と最適化を実行する必要があります。

このように、当初の結論に基づいて A/B テストを継続的に実施します。各テストは「ステップアップ」のプロセスです。テストの数が増えるにつれて、メリットは継続的に増加し、チームの自信は徐々に高まり、投資コストは削減され、反復的な成長が達成されます。