データ操作事例: 情報フローが製品の最適化につながる

この記事の著者は、基本的な推奨エンジンと情報フローの影響要因について、皆さんが予備的な理解を得られるよう導き、情報フローフィードデータ操作の実際のケースを通じて、データ操作の価値をまとめ、皆さんが学習して参考にできるようにします。

1. 情報フローの概要

情報フィードは、私たちの 24 時間のインターネット生活の中で、ほぼどこにでもあるものになりました。地下鉄で通勤しているとき、今日頭条をチェックして最新ニュースを入手することができます。情報フローは、ホットな記事をキューにきちんと配置して、読むことができます。おいしい食事をしたいときは、大衆点評の情報フローが市内の多くのレストランを推奨しています。夜眠れず、仕事で疲れた自分にご褒美として何かを買いたいときは、淘宝網のおすすめ商品の見事な配列は非常に正確で、閲覧を止めることができません...

情報フロー形式は広く使用されていますが、最も初期の応用は、2006 年に Facebook がリリースしたニュースフィード機能から始まった情報コンテンツのシナリオでした。

このプラットフォームは、確立されたアルゴリズムとルールに従ってコンテンツを分類した後に集約し、ユーザーが 1 つのページでスムーズかつ効率的にコンテンツを利用できるようにします。ユーザーは、モバイルインタラクティブネットワークの先史時代のように、ポータルとブログサイトの間を頻繁に行き来する必要がなくなりました。また、プラットフォームは、集約されたコンテンツ表示プラットフォームを提供することで、ユーザーを自身の管轄区域内に効率的に留めています。

情報の流れを表す英語は「Feed」ですが、これは実に巧妙な言葉です。 Feed は英語で「飼料」を意味し、プラットフォームがユーザーに一定の順序でコンテンツを「供給」する情報フローの場面を鮮やかに表現しています。

ユーザーがコンテンツを消費する時間は限られています。プラットフォームは、限られた時間内にユーザーの好みのコンテンツを提供し、ユーザーがプラットフォーム上でより多くのコンテンツを消費できるようにするにはどうすればよいでしょうか (それによってプラットフォームに高い潜在的商業価値をもたらすには)? これは、すべてのフィードシーン運営者が長年研究してきた「推奨ランキング」の問題です。

2. 情報フローの基盤：レコメンデーションエンジン

レコメンデーションエンジンの核心は「適切なアイテムを適切なユーザーにいかに推奨するか」であり、そのため「アイテム」と「ユーザー」のつながりを確立することがレコメンデーションアルゴリズムにおける最も核心的な命題となります。推薦プロセス全体は、基本的に「リコール」→「ソート」→「重みの調整」→「結果の出力」というプロセスとして要約できます。誰もがプロセスを理解できるように、簡単な比喩を使用します。

皆さんは学生時代に軍事訓練に参加したことがあるでしょう。訓練の最後に行われる最後の閲兵式は、訓練プロセス全体のハイライトです。では、キューを合理的に配置するにはどうすればよいでしょうか?

まず、インストラクターはクラス A の生徒全員を遊び場に「呼び」、準備が整うまで待機させます。参加できるのはクラス A の生徒のみです。クラス B とクラス C の生徒は参加する必要はありません。
次に、インストラクターは、チームが不均等に見えないように、背の高い順に学生を「並べる」ように指示します。このとき、学生は背の高い順に並べられていますが、一部の学生は演奏中に軍楽隊で演奏する必要がある可能性があるため、インストラクターはこれらの学生を「調整」して除外する必要があります。
最終的にこのルールに従って編成されたチームが最終公演におけるAクラスのチーム編成となります。

推奨アルゴリズムは非常に奥が深く技術的なテーマですが、この本は主にオペレーターを対象としているため、著者は情報フローのランキングに影響を与える主な要因をより明確なレベルからまとめようとしています。

時間要因。時間は比較的基本的なランキング要素です。多くのコンテンツ製品では、最初は時間を最初のランキング要素として使用します。たとえば、パブリックアカウントは最初は完全に時間で並べ替えられていました。しかし、コンテンツの量が増え続けるにつれて、推奨アルゴリズムを使用してユーザーが最も興味のあるコンテンツを見つけやすくする方法が、他の要素の命題になります。
ユーザーのポートレート要素。この要素の前提は非常に直感的です。「人によって好みは異なります。」人に「ラベル」を付けるべきではないとよく言われますが、アルゴリズムにとっては「ラベル」を付けることだけが人をもっとよく理解できるのです。たとえば、「インターネット実践者」というラベルが付いている場合、あなたに推奨されるコンテンツは、当然、インターネット業界の情報や新しい技術のトレンドなどに傾くでしょう。また、「妊娠中の母親」というラベルが付いている場合、あなたに推奨されるコンテンツには、子育てに関する情報も多く含まれるでしょう。
興味の要因。どちらも人物の理解ですが、ユーザーポートレートは人物の「属性」に重点を置き、興味は人物の「趣味」に重点を置きます。一部の製品は、より直接的な方法でユーザーの興味を理解し、ユーザーが最初にアクセスしたときに興味のある分野を確認するように求め、対応するコンテンツをユーザーに推奨します。次に、「ユーザーが特定の情報を読むのに費やす時間の長さ」、「ユーザーが特定の種類の情報をクリックする確率」など、いくつかの間接的な方法を使用して、ユーザーの興味を間接的に理解することもできます。
正のフィードバック要因と負のフィードバック要因。名前が示すように、これはプラットフォームが推奨するコンテンツに対してユーザーが与える肯定的または否定的なフィードバックを指します。肯定的なフィードバックには「いいね」や「1 回のクリックで 3 回クリック」が含まれ、否定的なフィードバックには「報告」や「二度と見たくない」が含まれます。多くのユーザーもこれをよく認識しており、新しい情報フロー製品に接したときに、この方法を使用して情報フローを「制御」し、自分に最も適したコンテンツを「調整」します。
相互作用要因。これは、肯定的および否定的なフィードバック要素のさらなる洗練と見なすことができます。たとえば、ビリビリの多くのUPホストは、「リツイート、コメント、いいね」を頻繁に使用し、転送、共有、コメント、いいねなどのユーザーのインタラクティブな指標を通じて、自分のコンテンツがアルゴリズムによって高品質のコンテンツとみなされ、より高い露出が得られることを期待しています。さらに、「購入」などのユーザーの特定の行動も、関連アイテムの重みを高めるための推奨アルゴリズムにとって非常に重要なシグナルです。
社会的要因。ソーシャルな関係を持つ製品の場合、推奨アルゴリズムが活躍する余地がさらに広がります。最もユニークな利点を持つのは、中国国内の10億人を超えるユーザーの深い社会的関係情報を蓄積してきたWeChatです。たとえば、「Take a Look」のコンテンツランキングでは、アルゴリズムの推奨にユーザーのソーシャル関係を使用します。特定のコンテンツを「視聴」している友人が増えると、「Take a Look」でのそのコンテンツのランキングは高くなります。
熱係数。時事問題は急速に変化し、最新のニュース速報はより多くの注目を集める傾向があり、その結果、人気のある時事問題はより高い推奨ランキングを獲得します。社会のトレンドは常に変化しています。最新のヒット TV シリーズや最新のファッショントレンドによって、一部の商品が最近人気になり、推奨ランキングが上がることもあります。
手動操作介入要因。推奨アルゴリズムに基づいて並べ替えると、基本的にほとんどの効率の問題を解決できますが、偽のニュースや下品なコンテンツなどの低品質のコンテンツについては、ダウングレードまたはフィルタリングするために手動の介入が必要になります。

3. 問題: 情報フィードをコールドスタートするにはどうすればよいでしょうか?

そうは言っても、私はこれまでツール製品を操作してきた経験を皆さんと共有したいと思います。ほとんどのツール製品が抱えるジレンマは誰もがよく知っていることでしょう。つまり、ユーザーが長期間利用し続け、定着率が低いため、効率と収益化の方法が限られてしまうのです。市場には競合製品が多数存在しており、データ指標を通じて自社製品の価値を迅速に証明できなければ、製品全体がキャンセルされるリスクに直面することになります。

そのため、ユーザーがサイトで過ごす時間をいかに増やすかが、私たちのチームにとって非常に重要な課題となっています。当社のツール製品には、WiFi 接続機能があります。以前は、ユーザーが WiFi に正常に接続した後、リダイレクトされるランディングページは「接続成功」ページでした。それ以外には、他の接続はありませんでした。

しかし、このとき、ユーザーは操作を完了したという感情の高揚期にあり、トラフィックに敏感ではない WiFi シナリオにいます。情報フィードのコンテンツを引き継ぐことで、ユーザーに何らかのコンテンツ消費価値を提供し、同時に商業的な収益化シナリオも作成できないかと考えました。

しかし、私たちはツールプロダクトチームであり、コンテンツ運用の経験はありません。どうすれば0から1の情報フィードを作れるのでしょうか？チームの現状を分析した後、私たちはすぐに次の側面から始めることにしました。まず、情報コンテンツはどこから来ているのでしょうか?当社の姉妹製品の中には、既成の情報コンテンツを備えているものもありますが、特定の推奨アルゴリズムは当社自身で開発する必要があります。当社のアルゴリズムチームにはコンテンツ推奨の経験はありませんが、ソフトウェア配信における推奨の経験にも類似点があり、そこから学び、再利用することができます。

料理上手は、米なしでは料理ができません。私たちには「米」と「料理上手」の両方がありますが、ユーザーが最もおいしいと思うのが「チャーハン」なのか「ライススープ」なのかは、結論を出す前にもっと試してみる必要があります。

推奨ソートにはさまざまな要素がありますが、ツール製品の属性により、使用できる要素は多くありません。状況に応じて、次の 3 つのグループの A/B テスト実験を実施することにしました。

ユーザープロファイルに基づいて並べ替えます。取得できるユーザー属性データには、ユーザーの好みをある程度推測できるユーザーのソフトウェアインストールリストデータや、地元のニュースや近くの観光スポットなどの情報を推奨できるユーザーの地理的位置データなどがあります。これら2つの側面からのユーザーデータを組み合わせることで、ユーザーに適切な情報コンテンツを推奨することができます。
人気順に並べ替えます。当社が取得する情報コンテンツには他のプラットフォームからの人気データが付属していないため、当社製品では人気ランキングは比較的遅れたプロセスです。ユーザーは、クリック動作を通じてアルゴリズムに継続的に「フィード」して学習する必要があります。そうすることで、製品内のより人気のあるコンテンツがより多くのユーザーに推奨されます。
ニュースリリース時間順に並べ替えます。これは、情報のアルゴリズムソートにあまり介入しない基本的なコントロールグループに相当し、最初の 2 つの実験グループの結果を比較するために使用されます。

3つの実験グループの設定に基づいて、戦略を実行するための3つのランダムテストユーザーグループを選択し、「平均情報消費時間」を主要な評価指標として設定しました。実験結果が出るまで 3 日間も待ちました。この 3 日間、私たちのチームはどの戦略が最も効果的かを賭けていました。読者の皆さん、どの戦略が最も効果的だと思いますか?

4. 分析: 問題のより深い原因を見つける

チーム内の賭けは基本的にすべて、最初の 2 つのグループの戦略の方が優れているという見方に集中していました。ユーザーポートレートの方が良いと考える同僚の見解は単純明快です。ユーザーは、自分にとってより関連性の高いコンテンツに、より興味を持つようになります。人気順で並べ替えた方が効果があると考える同僚も正しいです。より多くの人がクリックするコンテンツは、好奇心をそそり、新鮮であることが多いため、自然とより多くの人が読みたくなります。

しかし、当社の運用スタッフが実験データを収集して分類した後、彼らは少し驚きました。時間による分類に基づいた最も人気のないオプション 3 が、実際には最初の 2 つのオプションよりも「平均情報消費時間」が優れていたのです。チームはしばらくの間、少し意気消沈し、アルゴリズムチームの同僚の技術力にも疑問を抱いていました。

オペレーターとして、この時点でデータ分析をさらに一歩進めて、データ指標が真実全体を示しているかどうかを確認する必要があります。

この問題を分析するために、まず問題を細分化しました。

実験データ指標:

設定したデータ指標に問題はありますか?
データ指標の計算に問題はありますか?
各実験計画のデータ指標の計算は同じ口径に基づいていますか?

実験設計:

実験グループ内のユーザーの選択は十分にランダムですか?
実験戦略に必要なデータはすべて必要ですか?
実験的な戦略はユーザーグループにとって完全に効果的ですか?

分解して分析した結果、最初の 2 つのソリューショングループの貧弱なデータ指標が必ずしも真実のすべてではないことがわかりました。まず、「平均情報消費時間」という指標の設定に問題があることがわかりました。結局のところ、私たちの製品はツール製品であり、ほとんどのユーザーは WiFi に接続したらすぐに離れてしまいます。情報フィードは、比較的アイドル状態の一部のユーザーのみを対象とした機能になる運命にあります。

そのため、実験グループ間のユーザーの「平均情報消費時間」は非常に離散的であり、プラン3の個々の極値ユーザーの存在が全体の平均時間データを引き上げました。この問題を解決するには、計算中に極端な値に一定の調整を加え、「平均情報クリック率」のデータ指標を追加して、各ソリューションの有効性をより客観的に評価することができます。

第二に、分析の結果、データ収集上の理由により、計画 1 と計画 2 はそれぞれの戦略の効果を十分に達成できなかったことが判明しました。たとえば、ソリューション 1 の「ユーザーポートレートに基づく並べ替え」では、Android の権限制限により、実験グループの多くのユーザーがインストールリストデータが不完全でした。一部のユーザーの IP の地理的位置識別は十分に正確ではありませんでした。テストでは、広州の一部のユーザーに北京のローカルニュースが推奨されたことが判明し、当然ながら戦略の有効性に影響を与えました。

たとえば、プラン 2 では、一部の「クリックベイト」コンテンツはクリック率が高いため、実験グループユーザーの最初の画面は「クリックベイト」コンテンツでいっぱいになります。コンテンツの質が非常に低く、ユーザーはクリック後すぐに画面から飛び出してしまい、戦略の実験結果が悪くなります。

5. データ操作の考え方の重要性

データ指標をさらに分析せずに実験結果だけを見ると、「時間ソート」がユーザーにとって最適なソリューションであり、今後はこの方向に開発を進めていくべきだとすぐに考えることができます。いわゆるモデルアルゴリズムの最適化は必要ありません。しかし、分析を通じてのみ、事実の全体像をより明確に把握し、反復のための最適化計画を継続的に提案することができます。

ここで反映されているのは、問題分解思考の重要性と、論理的な問題分析思考の重要性です。この本を通じて、読者の皆さんとこれらの思考フレームワークを共有し、より優れたオペレーターになれることを願っています。