Toutiao の成長の秘密を解明 — A/B テスト

2018年、中国のモバイルインターネット利用者の増加は鈍化し、上半期の増加はわずか2,000万人にとどまった。

しかし、そんな逆境の中で逆風に立ち向かったダークホースがいた。

今日頭条アプリの単独利用者の利用時間は3.9％から10.1％に増加し、1.6倍に増加し、百度やアリババを抜いて総利用時間で2位となった。

さらに驚くべきことは、Toutiao製品の急速な成長率が今も続いており、 Toutiaoニュースアプリだけでも毎日100万人以上の新規ユーザーを獲得し続けていることです。

Toutiao がこのような「驚異的な」ユーザー増加を達成した裏には、実はあまり知られていない秘密がある。

Toutiaoは、インキュベートされた製品を社内で革新（またはコピー）し、各製品に保持生死ライン（RIO）を設定します。生死ラインを超えた製品は、Toutiaoの内部トラフィックからサポートを受けることができ、数千万人の毎日のアクティブユーザーに迅速に到達することができます。

Toutiaoは約60の製品に関わっている

Toutiao は非常に強力なデータ監視システムを備えており (データの購入に多額の費用がかかっています)、あらゆる製品の日々の活動と成長データが監視されています。

さらに、革新的な製品の成功率を向上させるために、Toutiao は社内で成長エンジンを開発しました。私たちが機能ボタンの順序に苦労している間、彼らは同時に数十、数百の A/B テストを実施し、製品マネージャーとオペレーターが最適なソリューションを見つけられるように支援していました。

私たちはToutiaoの強力な生死ラインとデータ監視システムを模倣することはできず、当面彼らの成長エンジンを開発することはできません。ただし、A/B テストから学び、最適なソリューションを選択することは可能です。

A/B テストは以前は主に製品分野で行われていましたが、機能の価値を判断するために使用されていました。実際、A/Bテストは運用に浸透してきました。いつか公式アカウントでも小トラフィックの開封率テスト機能が立ち上がれば、とても嬉しいと思います！

01 A/Bテストとは

A/B テストは、制御された実験やランダム化実験とも呼ばれます。簡単に言えば、同じ目標に対してプラン A とプラン B を設計し、一部のユーザーにはプラン A を使用し、一部のユーザーにはプラン B を使用するということを意味します。ユーザーの使用状況を記録し、ユーザーのフィードバックに基づいてどのソリューションが優れているかを比較します。

ここでの「 A/B テスト」には、実際にはプラン A とプラン B しかないと考えないでください。「A/B テスト」は単なる慣用的な名前です。テストにはプラン C、D、E もあります。

定義を読むと、「A/B テスト」という概念はすでに一般的であると思われるかもしれません。複数のオプションを提案し、その中から最も効果の高いものを選択するだけではないでしょうか。

実際、理論的に話すのは非常に簡単ですが、実際に実行するには多くのスキルが必要です。まずは、Toutiao がどのように A/B テストを実施しているかを見てみましょう。

Toutiao の見出しには「ダブルタイトル」機能があり、これは実際には A/B テストの実践です。

おそらく、これはユーザーにタイトル作成の余地を与えるためではないのか、と言う人もいるでしょう。記事には 2 つのタイトルを付けることができます。1つのタイトルが役に立たなくなった場合は、別のタイトルでサポートします。タイトルが 1 つしかないWeChat のパブリックアカウントとは異なり、タイトルが役に立たなくなると、読者の数は基本的になくなります。

実際、Toutiao はタイトルに対するユーザーのフィードバックをより正確に理解し、ユーザーの行動データを把握するために「ダブルタイトル」機能を設定しました。

もちろん、Toutiao の最も強力な A/B テストは「ダブルタイトル」機能ではありません。タイトルだけをテストすると、「クリックベイト」が蔓延してしまうからです。これを踏まえて、Toutiao A/B は「動的」なコンテンツ推奨メカニズムを備えています。ここでの「動的」とは、フィードバック結果に基づいてリアルタイムで更新および調整を行うことを指します。

この「動的」コンテンツ推奨メカニズムはどのように機能するのでしょうか?

同じ解決策について、Toutiao はまず少人数のグループにそれを推奨します。

たとえば、100 人のユーザーがいて、この 100 人がタイトルとコンテンツについて良いフィードバックをした場合、500 人など、より大規模なグループのユーザーにそのプランを推奨します。この 500 人がタイトルとコンテンツについて非常に良いフィードバックをした場合、2,000 人など、より大規模なグループのユーザーにそのプランを推奨します。

ユーザーの行動アクションが収集されます。「Toutiao 推奨システムの原則」に従って、コンテンツに対するユーザーのフィードバックは基本的に 1 時間ごとに確認できます。ただし、データは時間ごとに変動するため、 Toutiao では通常、ユーザーの行動データを表示する時間ノードとして日を使用します。

Toutiao はユーザーの行動アクションを収集した後、ログを処理し、統計を配布し、データベースに書き込みます。

Toutiao システムは、実験データの比較、実験データの信頼性、実験結論の要約、実験最適化の提案を自動的に生成できます。

この観点から見ると、A/B テストは本当に強力だと思いませんか? ソリューションの調査を完了するだけでなく、テストを通じてユーザーの嗜好を理解し、洗練されたコンテンツを推奨し、ユーザーをより効果的に維持するのに役立ちます。

02 A/Bテストの適用

A/B テストは大企業だけが利用できるもので、私たちには関係ないと思われるかもしれません。これは単なる製品の問題であり、当社の業務とは関係がないと思われるかもしれません。

そうなると大きな誤解が生じます。小規模なプレイヤーがプレイできるだけでなく、当社の業務とも密接に関係しています。成長できるオペレーターであれば、会社のリーダーになれる可能性が高くなります。

例えば：

以前、「 Late Night Hair 」編集長のAfuさんをお招きして、マイクロクラスシェアリングを開催しました。マイクロコースの話なので、宣伝効果を高めるためにマイクロコースのポスターを磨かなければなりません。

そこでチーフデザイナーにバージョンを作ってもらうよう依頼したのですが、それが発表されるとすぐに編集部の女性たちが反対して口論を始めたんです。

ある人は、「ユーザーが好むマーケティングコピーの書き方」というトピックは魅力的ではないので、 「ユーザーが好むマーケティングコピーを書くための 10 のヒント」に変更すべきだと考えています。

別の人も同意しましたが、さらに最適化して「ユーザーをバイラルにするコンバージョンコピーを書くための 10 のヒント」に変更する必要があると述べました。

その時、仙兄さんはとても巧みに、ポスターを3つのバージョン作れないかと言いました。各バージョンのポスターを同時に転送できるのは、1 つのベビーアカウントのみです (すべてのベビーアカウントには 5,000 人の友達がいます)。このようにして、どのバージョンのポスターがより効果的かをテストすることはできないでしょうか?

当時は、これが実際に A/B テストの背後にある考え方であることに気づいていませんでした。

その後、私たちはXian Geのアイデアを実装し、3つの投稿者の転送率（投稿者を転送したユーザー/新規ユーザー）をテストしました。転送率はそれぞれ30％、35％、44％でした。最も効果があったのは、「ユーザーの間で広まるコンバージョンコピーを書くための10のヒント」でした。

次に、すべてのベビーアカウントと会社の全従業員を動員してポスターを共有し、最終的に3,000人がクラスに参加しました。これは、これまでで最も効果的なマイクロクラスの共有でもあります。

マイクロコースの応用に加えて、A/B テストは他の多くの場所でも使用できます。

たとえば、App Push ではA/B テストを実行できます。 Ele.me は、さまざまなプロモーション活動がユーザー維持にどれほど効果的かをテストしたかったので、次のようなシナリオが生まれました。

昨日、Xiao Songguo さんは、Ele.me から「15 元のクーポンを受け取れます」というプッシュ通知が届いたが、クリックすると「40 元以上の購入で 15 元割引」と表示されたと興奮気味に話してくれました。それにもかかわらず、彼女はまだたくさんのものを注文しました。

過去の経験から、Ele.me は食事の前に通知をプッシュすることを好みます。そこで、Ele.me のプッシュ通知を確認しました。「45 ドル以上のご注文で 25% オフをお楽しみください」。スタート地点が高すぎて一目見て興味を失ってしまいました。

実はこれ、Ele.me 運営が実施した A/B テストです。

このテストを通じて、注文率から、両方とも15元の割引を提供する場合（両方とも40元を費やすと仮定）、 「40元以上の注文で15元引き」という数字よりも、「15元割引」という数字を直接強調する方が効果的であることがわかりました。

つまり、A/B テストを通じて、最適な成長方法を試すことができるのです。アプリプッシュやマイクロコースのテーマに加えて、有料広告、アプリストア、ランディングページ、新規ユーザーガイダンスプロセスなど、A/B テストを使用できるシナリオは多数あります。

03 A/Bテストのよくある落とし穴

A/B テストは単純に思えるかもしれませんが、実際には多くの複雑な要素が伴います。注意しないと、テスト結果が科学的な軌道から外れてしまう可能性があります。

1) テスト環境の違いを無視する

ある日、公開アカウントがタイトルの A/B テスト機能を開発した場合、タイトルをテストするために次のソリューションのどれを使用しますか?

a. 上海のユーザーを 3 つのグループに分け、各グループに 3 つの異なるタイトルを同時にプッシュします。
b. 上海のユーザーを 3 つのグループに分け、異なる時点で各グループに 3 つの異なるタイトルをプッシュします。

オプション b を選択した場合は、おめでとうございますが、残念ながら残念です。

不適切な例を挙げると、プラン B のテスト方法は、平日の午後 3 時と夕方のゴールデンタイムを選択してテストを収集し、テレビに広告を出すようなものです。

ローテーションプレゼンテーション中のテスト環境は同じではなく、対象者も大きく異なるため、最終実験後のデータ結果には必然的に一定の偏差が生じ、説得力が低下します。

2) 一般化しやすい

テスト結果が理想的なデータ改善を示さなかったときにすぐに諦めてしまうと、再び罠に陥ってしまう可能性があります。

国際的な短期レンタルプラットフォームとして、検索は Airbnb エコシステムの非常に基本的な要素です。 Airbnb はかつて検索ページの最適化に関する A/B テストを実施し、新しいバージョンでは物件の写真と家の場所を強調しました (下の図を参照)。

十分に待った後、テスト結果では、新バージョンと旧バージョンの全体的なデータがほぼ同じであることが示され、この最適化はあまり良い効果をもたらさなかったようです。

もしこの時点でAirbnbが全体的なデータパフォーマンスに基づいてこの最適化をあきらめていたなら、設計に多大な労力を費やしたこのプロジェクトは無駄になっていたでしょう。

それどころか、慎重に調査した結果、新しいバージョンは IE 以外のさまざまなブラウザで良好に動作することがわかりました。新しいデザインにより、古いバージョンの IE を使用したクリックが制限される(これは明らかに、全体的な結果に非常に悪影響を及ぼしました) ことに気づいた後、Airbnb はすぐに修正を行いました。

それ以来、IE は他のブラウザと同じ結果を表示するようになり、実験の全体的なデータは 2% 以上増加しました。

Airbnbの例から、全体的な効果が良くない場合でも単純に判断するのではなく、個々の状況を多面的に観察して、群集誤謬による意思決定の偏りを避けることが正しいアプローチであることがわかります。

3) 局所最適値のみが達成される

上記の2つの落とし穴を回避した後、比較的良いテスト結果が得られるかもしれません。興奮して結果を発表しようとしているときに、別の落とし穴「ローカル最適」に足を踏み入れている可能性があります。

金融プラットフォームの新規ユーザーの登録率を高めるためのA/Bテストを例にとると、運営チームは登録ボタンのコピーを継続的に最適化し、「今すぐ登録」と「無料で登録」を比較したところ、「新規ユーザーに100元の紅包をプレゼント」の登録率が最も高かったことがわかりました。

しかし、コピーのテストにのみ重点を置くと、ユーザー登録率を高めるための他のより効果的な仮説を見逃してしまう可能性があります。

正しいアプローチは、ユーザー調査を実施して、ユーザーが登録しない理由を理解することです。通常、金融プラットフォームがユーザーの登録を断念させる理由は、登録プロセスの複雑さ、信頼性の問題、一致する金融商品がないなどです。したがって、登録ボタンのコピーライティングテストを完了した後、これらの側面でも必要な実験を実施する必要があります。