Toutiao はなぜいつもあなたが何を見るのが好きなのか知っているのですか?

Toutiaoや Qingmang Reading など、パーソナライズされた情報の推奨を提供するアプリは数多くあります。同じパーソナライズされた推奨を提供しているにもかかわらず、スタイルが異なるのはなぜでしょうか。本日共有する記事では、アプリがどのようにパーソナライズされた情報を推奨するかを 3 つの側面から簡単に紹介します。

Toutiao の仕組みがわかりません。しかし、私は Facebook で働いていたときにニュースフィードのパーソナライズされたおすすめや並べ替えを担当していたので、Facebook がおすすめや並べ替えの品質をどのように測定しているかについて話すことができます。

具体的な実装レベルでは、機械学習モデル、製品データ、ユーザー調査に基づいてレコメンデーションエンジンの有効性を評価する主な方法が 3 つあります。

1. 機械学習モデル

レコメンデーションエンジンの主要な中核は機械学習です(今では誰もがこれを人工知能と呼んでいますが、本質的には依然として教師あり学習です)。機械学習モデルの品質を検査したい場合、学術界にはすでに成熟した実用的な手法が存在します。

モデルの選択（決定木をニューラルネットワークに置き換えるなど）でも、反復的な改善（モデルのトレーニング時に 2 倍のデータを使用するなど）でも、教師あり学習ベースの測定方法を使用できます。最も一般的なのは AUC です。

一方、特定の種類の問題に対しては、より詳細な指標が存在します。たとえば、モデル機能の重要度を使用して、新しく追加された機能が有用かどうかを知ることができます。

2. 製品データ

機械学習モデルがどれほど強力であっても、実際の製品データでテストする必要があります。この側面、KPI については誰もがよく知っています。しかし Facebook では、特にニュースフィードのように 1 つの要素がシステム全体に影響する場合には、単一の指標に頼るのではなく、さまざまなデータを追跡して製品を説明します。

これらのデータには以下が含まれますが、これらに限定されません。

1日/月間アクティブユーザー数（DAU、MAU）
ユーザーインタラクション（いいね、コメント、リポストなど）
ユーザー投稿数
ユーザーの滞在時間と消費されたコンテンツの量
所得
ユーザーインタラクション率（いいね、コメント、長文の閲覧、閲覧されたコンテンツのコレクションの割合など）
ユーザーレポートとブロックの数

さらに、日々の迅速な反復と A/B テストでは、これらの一般的なデータだけでは不十分です。変更の一部を真に理解するには、より詳細なデータも必要です。例えば：

コンテンツタイプの分布はどのように変化するか: ユーザーが生成して転送されたコンテンツの割合、Web リンクと画像とビデオの割合、長いビデオと短いビデオの割合など。
公的アカウントへの影響: この変更によりどのような公的アカウントが恩恵を受けるのか
どのサードパーティの大手企業が影響を受けたか、またその影響は妥当なものであったか: たとえば、私が FB でインターンをしていたときの最も初期のプロジェクトは、スパムアカウントを修正することでした。この変更は Zynga に大きな打撃を与えました (Zynga はトラフィックを集めるためにユーザーによる友人への嫌がらせに大きく依存していたため) が、誰もが妥当だと考え、広報部門に連絡してもらい、その後リリースしました。

さらに、短期的な目を引く効果を防ぐため、重要な製品決定ごとに長期的なバックテストを維持し、決定の長期的な影響を評価します。例えば：

フィードに広告を掲載するかどうかの判断については、少数のユーザーを選択し、長期間広告を表示しない状態にして、そのユーザーのアクティビティを通常広告を表示できるユーザーと比較することで、広告の長期的な影響を測定します。
同様に、ニュースフィードがソートされているかどうかについては、フィードが完全に時間順にソートされているホールドアウトグループもあります。

このようにして、将来のあらゆる時点で、物議を醸す可能性のあるあらゆる決定について、私たちが直面しているトレードオフを明確に把握できるようになります。このレベルの保護があれば、私たちはより多くのリスクを負って、より迅速に意思決定を行うことができます。