Toutiao はなぜいつもあなたが何を見るのが好きなのか知っているのですか?

Toutiaoや Qingmang Reading など、パーソナライズされた情報の推奨を提供するアプリは数多くあります。同じパーソナライズされた推奨を提供しているにもかかわらず、スタイルが異なるのはなぜでしょうか。本日共有する記事では、アプリがどのようにパーソナライズされた情報を推奨するかを 3 つの側面から簡単に紹介します。

Toutiao の仕組みがわかりません。しかし、私は Facebook で働いていたときにニュースフィードのパーソナライズされたおすすめや並べ替えを担当していたので、Facebook がおすすめや並べ替えの品質をどのように測定しているかについて話すことができます。

具体的な実装レベルでは、機械学習モデル、製品データ、ユーザー調査に基づいてレコメンデーションエンジンの有効性を評価する主な方法が 3 つあります。

1. 機械学習モデル

レコメンデーション エンジンの主要な中核は機械学習です(今では誰もがこれを人工知能と呼んでいますが、本質的には依然として教師あり学習です)。機械学習モデルの品質を検査したい場合、学術界にはすでに成熟した実用的な手法が存在します。

モデルの選択（決定木をニューラル ネットワークに置き換えるなど）でも、反復的な改善（モデルのトレーニング時に 2 倍のデータを使用するなど）でも、教師あり学習ベースの測定方法を使用できます。最も一般的なのは AUC です。

一方、特定の種類の問題に対しては、より詳細な指標が存在します。たとえば、モデル機能の重要度を使用して、新しく追加された機能が有用かどうかを知ることができます。

2. 製品データ

機械学習モデルがどれほど強力であっても、実際の製品データでテストする必要があります。この側面、KPI については誰もがよく知っています。しかし Facebook では、特にニュースフィードのように 1 つの要素がシステム全体に影響する場合には、単一の指標に頼るのではなく、さまざまなデータを追跡して製品を説明します。

これらのデータには以下が含まれますが、これらに限定されません。

• 1日/月間アクティブユーザー数（DAU、MAU）
• ユーザーインタラクション（いいね、コメント、リポストなど）
• ユーザー投稿数
• ユーザーの滞在時間と消費されたコンテンツの量
• 所得
• ユーザーインタラクション率（いいね、コメント、長文の閲覧、閲覧されたコンテンツのコレクションの割合など）
• ユーザーレポートとブロックの数

さらに、日々の迅速な反復と A/B テストでは、これらの一般的なデータだけでは不十分です。変更の一部を真に理解するには、より詳細なデータも必要です。例えば：

• コンテンツ タイプの分布はどのように変化するか: ユーザーが生成して転送されたコンテンツの割合、Web リンクと画像とビデオの割合、長いビデオと短いビデオの割合など。
• 公的アカウントへの影響: この変更によりどのような公的アカウントが恩恵を受けるのか
• どのサードパーティの大手企業が影響を受けたか、またその影響は妥当なものであったか: たとえば、私が FB でインターンをしていたときの最も初期のプロジェクトは、スパム アカウントを修正することでした。この変更は Zynga に大きな打撃を与えました (Zynga はトラフィックを集めるためにユーザーによる友人への嫌がらせに大きく依存していたため) が、誰もが妥当だと考え、広報部門に連絡してもらい、その後リリースしました。

さらに、短期的な目を引く効果を防ぐため、重要な製品決定ごとに長期的なバックテストを維持し、決定の長期的な影響を評価します。例えば：

• フィードに広告を掲載するかどうかの判断については、少数のユーザーを選択し、長期間広告を表示しない状態にして、そのユーザーのアクティビティを通常広告を表示できるユーザーと比較することで、広告の長期的な影響を測定します。
• 同様に、ニュースフィードがソートされているかどうかについては、フィードが完全に時間順にソートされているホールドアウト グループもあります。

このようにして、将来のあらゆる時点で、物議を醸す可能性のあるあらゆる決定について、私たちが直面しているトレードオフを明確に把握できるようになります。このレベルの保護があれば、私たちはより多くのリスクを負って、より迅速に意思決定を行うことができます。

3. ユーザー調査

ほとんどの製品データは明示的かつ受動的であるため、制限があります。たとえば、ユーザーの注意を引くために下品なコンテンツをプッシュすると、ユーザーはその瞬間にそれをクリックして読む可能性があるため、データは良好です。

しかし、ユーザーは心の中でコンテンツに対して低い評価を抱く可能性があり、コンテンツプラットフォームとしての製品を軽視する可能性もあります。これは長期的には製品に大きな損害を与えることになります。

シリコンバレーのインターネット界では、KPI では製品の品​​質を完全には表せないというコンセンサスがありますが、この問題の解決方法については企業ごとに答えが異なります。

Twitter の CEO は、ジャック・ドーシーであれ、エヴァン・ウィリアムズであれ、KPI を過小評価し、意思決定をする際に自分の主観的な考えに頼る傾向があります。

Googleと Facebook は別のアプローチを採用し、ユーザーレビューを KPI に組み込むことにしました。

Google は比較的早くからこの分野での取り組みを開始したため、公開されている情報が多くあります。一般的に、彼らは多数の一般人を雇用し、ユーザーの視点から Google 検索ランキングや広告推奨の品質に主観的なスコアを付けます。

スコアリングの量が一定のレベルに達すると、これらのデータは、継続的に追跡および改善できる安定した効果的な KPI になるのに十分になります。 Facebook は、異なる製品分野ではあるものの、パーソナライズされた推奨事項に対して同様のアプローチを採用しています。

回答の最後に、2 つの方法論を繰り返し述べたいと思います。

• 製品の作業を評価するために、単一の KPI に依存しないでください。 KPI も製品も、それを実現することはできない。
• KPI の限界が明確に理解されていれば、数字によって、技術的なものであろうと政治的なものであろうと、ほとんどの無意味な論争に終止符を打つことができます。

モバイルアプリケーション製品プロモーションサービス： APPプロモーションサービス青瓜メディア広告

この記事の著者@宋一松は(Qinggua Media)によって編集および出版されています。転載する場合は著者情報と出典を明記してください。サイトマップ