Toutiaoの推奨システムを理解するのに役立つ2枚の写真

推薦システムの「先駆者」

2016年、テンセントはToutiaoに80億ドルの評価額で投資しました。周知のとおり、張一鳴はテンセントの投資を拒否しました。現在、バイトダンスの評価額は750億ドルであることもわかっています。このすべてにレコメンデーションシステムが大いに貢献しています。

検索エンジンと推奨システムは非常に似ており、比較的単純なので（批判しないでください）、まずは検索エンジンについて理解しましょう。検索エンジンが推奨システムの前身であるかどうかについては、調べるのが面倒です。

上図に示すように、検索エンジンはオフライン部分とオンライン部分に分かれており、それぞれの部分には異なる使命があります。

簡単に言えば、検索エンジンのオフライン部分はコンテンツの収集と処理に重点を置いています。検索エンジンは、Web クローラーを使用して、Web サイト上の元のコンテンツをクロールし、そのコンテンツをインデックスします。これらのコンテンツは、検索システムのさまざまな要件に応じて、さまざまなインデックスシステムを構築します。たとえば、ニュースタイプのコンテンツの場合、タイムリーなインデックスデータが構築されます。

検索エンジンのオンライン部分は、ユーザーの検索要求に応答し、コンテンツのスクリーニングと並べ替えを完了し、最終結果をユーザーに返す役割を担います。このプロセスを説明するために例を見てみましょう。

ユーザーが検索エンジンに「NBA」というキーワードを入力すると、検索エンジンはキーワードを分析、変換、拡張、修正します。たとえば、NBA と National Basketball Association が同義語であることがわかった場合、それらを拡張します。次に、検索エンジンはさまざまな方法でさまざまなインデックスデータから候補セットを取得します。このステップはリコールと呼ばれます。候補セットを取得した後、検索エンジンはより洗練された計算モデルを使用して各候補コンテンツのスコアを計算し、候補セット内の各項目をランク付けします。現時点では、結果をユーザーに表示することはできず、このプロセスにはルールの介入が必要です。このプロセスは特定の製品目的に役立ちます。「公式サイト保護ルール、すべてのブランド検索語が最初に公式サイトに戻れるようにする」などのルールがある場合は、公式サイトが挿入され、上部に固定され、最終的に結果がユーザーに表示されます。この時点では、検索エンジンの作業はまだ終わっていません。検索エンジンは、ユーザーのクリックフィードバックに基づいてランキングモデルを最適化します。たとえば、ほとんどのユーザーが記事 10 をクリックしない場合、記事 10 はそれ以降、上位に表示されません。

上記の 2 つの画像をまとめると次の画像になります。これが最初にご覧いただきたい画像です。

Toutiaoの推奨システム

前の絵を通して、検索エンジンの原理を理解しました（何をしても理解しているふりをします）。このToutiaoの絵は、前の絵よりも1画多くなっています。2つの絵が非常に似ていることを考えると、もちろん怠け者の私はそれを描きません。想像力を働かせてください。

実際、推奨システムにはオフライン部分とオンライン部分もあります。上の画像（これは画像ではなく PNG です）は、検索エンジンに似た推奨システムのオフライン部分です。

検索エンジンと同様に、推奨システムもコンテンツを取得する必要があります。推奨システムは、データベースのインポート、プロトコルの同期、およびユーザーの送信を通じて推奨コンテンツを取得します。検索エンジンとは異なり、推奨システムではコンテンツを取得する方法が複数あり、コンテンツは検索エンジンのクローラーが取得できるものよりもはるかに構造化されています。推奨システムでは、検索エンジンと同様に、推奨するコンテンツをインデックス化する必要もあります。推奨システムの次元はさらに広がります。

次は、推奨システムのオンライン部分です。なんと、上の写真を見たとき、推奨システムは検索エンジンと非常によく似ているが、もう 1 つ違う点があることに気づきました。

検索エンジンの入力は、ユーザーの検索キーワードです。推薦システムも入力が必要ですが、ユーザーはこのプロセスを認識しません。推薦システムの場合、入力は時間、場所、機器などのシーン情報です。検索エンジンは入力を受け取ると、キーワードを処理します。推奨システムの場合は、ユーザーポートレートクエリを実行します。この場合、推奨システムは、ユーザーがエンティティ語の観点では NBA に興味があり、分類の観点ではスポーツとテクノロジーに興味があることを学習します。ユーザーのポートレートを照会した後、推奨システムはリコールフェーズに入ります。ユーザーポートレートのクエリ結果「NBA、スポーツ、テクノロジー」に基づいて、さまざまな方法でさまざまなインデックスデータから候補セットを取得します。リコールが完了すると、検索エンジンと同様に、推奨システムは事前に設定された推定ターゲットに従って候補セットをランク付けします。同様に、推奨システムも、最終結果がユーザーに表示される前に、ルール介入ステップを経る必要があります。最後のステップでは、さまざまなユーザーのアクションと行動によって、検索エンジンのランキングモデルが継続的に最適化され、推奨システムでの自分のポートレートが継続的に改善されます。

上記の 2 つの画像をまとめたものが次の画像です。これが、今回ご紹介する 2 番目の PNG (画像) です。

レコメンデーションシステムの性質

検索エンジンと推奨システムの 2 つの図から、推奨システムがどのようなものであるかについて大まかな理解が得られます。実際、推奨システムは戦略的な動作です。戦略に関しては、次の 4 つの要素があります。

解決すべき問題入力（解決に影響を与える要因）計算ロジック（入力を出力に変換するルール）出力（具体的な解決方法）

今日のToutiaoについて:

解決すべき課題は「膨大なコンテンツの中からユーザーが好むコンテンツを見つけること」です。

彼の入力は「ユーザープロファイルとコンテンツ機能」です。

計算ロジック: 特定のルールに従ってこれらのコンテンツ機能を「いいね」に変換します。

出力: コンテンツを人気度の高い順に並べ替えます。

推奨システムに関する私のコースはまだ完了していないため、今のところこの部分については詳しく説明しません。上記の記事は、以下のブログで詳しく紹介されます。興味のある学生はフォローしてください。

注: 上記の内容は、個人的な読書や有料コースから要約したものです。

著者: ベルト