データ分析: ユーザーの習慣をうまく育てるための 6 つの A/B テスト

Duolingo を体験したことがあるなら、この言語教育プラットフォームはゲームをプレイしているような感覚を与えるかもしれません。ゲームのデザインパターンは、Duolingo のプラットフォームに効果的に適用されています。興味深いゲーム レベルのデザインにより、より多くのユーザーがより長くゲームに没頭できるようになります。

もちろんこれは偶然ではありません。 Duolingo は、教育をゲーム化することの力を長い間痛感してきました。成長担当副社長のジーナ・ゴットヒルフ氏は、ユーザーに送信されるあらゆる情報は、たとえ小さな赤い点であっても、貴重なデータとなると語った。チームが行う必要があるのは、データをテストし、各数値を内部化し、テスト結果に基づいて次のアクションを導くことです。次に、A/Bテストを通じてユーザーの行動習慣をどのように醸成していくのかを紹介します。

その前に、背景を少し説明させてください。Duolingo の使命は「世界に無料の教育を提供すること」であり、そのアプリは無料でダウンロードできます。現在、25 の言語が含まれており、中国語も含まれる予定です。2 億人を超えるユーザーを擁し、最もダウンロードされている教育アプリケーションです。現在、数十億のデータ ポイント (毎月約 60 億のコースが完了) があり、継続的に反復されています。

ユーザーを動機付ける4つの方法

Duolingo にとって最大の課題は、ユーザーのモチベーションを維持することです。他のアプリと同様に、ユーザーを奨励し、固定された行動パターンを養いたい場合、彼らの場合、それは毎日言語コースを完了することを意味します。実際、ユーザーが毎日アクセスできない場合、そのコースは効果がありません。なぜなら、1人でコースを学習するのは困難であり、オンライン学習は常にユーザーに気を散らすものをもたらすからです。プロダクト マネージャーのZan Gilani 氏は、次のように述べています。「MOOC (大規模公開オンライン コース) の修了率は非常に低く、わずか 1 ～ 2% 程度です。」これらの課題を克服するために、Duolingo はゲームを利用して 4 つの方法でユーザーの日常の習慣を変えています。

• 詳細な目標
• 明確な進歩
• ユーザーへの外部トリガー
• ユーザーにお金を投資させる

Duolingo では、「詳細な目標」がアプリに統合されており、ユーザーはコースユニットを完了することで次のコースユニットのロックを解除できます。例えば、「フィットネス」を目標にすると、この目標は非常に漠然としていますが、毎日1マイル走ることは簡単で、目標を達成することが可能になります。

ユーザーに「連勝」をさせる

Duolingo はユーザーによる継続的な使用に重点を置いています。これを基に、Duolingo はユーザーの使用習慣の形成と一致する強力なゲーム メカニズムを構築しました。 Duolingo は、 Snapchat (強力な関係性を持つ有名なソーシャル アプリ)、Facebook、Headspace などのアプリでユーザーにリマインダーを送信します。ユーザーがゲームを継続的に使用した場合、つまりゲームで連勝を維持した場合に報酬が与えられます。

同時に、Duolingo はユーザーに毎日の目標を設定することを奨励しており、これによりユーザーが毎日アプリにログインすることをある程度制限できます。新規ユーザーにとって、継続的にログインすることは目標を持つことを意味するため、チームはアカウント設定に目標設定機能を追加しました。現在でも、同社のチームはこの指標を使用して業務成果を測定しています。 「これは、ユーザーがリーダーボードに残るために毎日何かをしなければならないビデオゲームのようなものです。」

ユーザーの継続性を確保するため、ギラニ氏はDuolingo本社からユーザーに送信された電子メールを公開し、ハリケーン・イルマによるインターネット障害についてユーザーに説明し、アクティブな状態を維持するためにDuolingoに再度ログインするようユーザーに要請した。

A/Bテスト1: プロセスを視覚化する

通常、ユーザーは自分の進捗状況を確認したいと考えていますが、Duolingo アプリではユーザーが進歩した日数を確認することはできません。そのため、チームはページの上部にこの時間表示を追加しました。結果は顕著で、毎日のアクティビティは 3% 増加し、14 日間の保持は1% 増加しました。

A/Bテスト2: ユーザーに対して「継続性」の重要性を強調する

次に、各コースの後のユーザーの「連続値」を強調するために、Duolingo は以下に示すように円を使用してコースの進行状況を表示します。その結果、1 日のアクティブ ユーザー数が 1% 増加し、14 日間のリテンションが 3% 増加しました。

A/B テスト 3: 外部トリガー

メールやアプリなどの通知はユーザーに不快感を与えやすいですが、「目標達成」は外部からのトリガーによるユーザーの嫌悪感を軽減します。 「Duolingoに戻ってきてください」という言葉は、とても味気なく、うっとうしい響きでした。 Duolingo の通知には、「アプリを開いてください」ではなく、「24 日間経過したことを忘れないでください」と表示されます。この励ましは、ユーザーが目標を維持するのに役立ちます。 ”

ここで言及する価値があるのは、押すときには押す時間や頻度などに注意を払う必要があるということです。タイミングを正しく把握できるかどうかが、プッシュの成否に直結します。使用するアプリに応じて、日中にプッシュ通知を送信するタイミングに関するルールがいくつかあります。結果から、ユーザーがコースを完了してから 23.5 時間後にメールを送信することが、ユーザーのエンゲージメントを刺激するのに最も効果的であることがわかりました。これは驚くべきことではありません。Zilani 氏は、毎日同じ時間に同じことを行うことが習慣を身につける最良の方法であると述べています。

プッシュコンテンツも継続的にテストする必要があります。 Duolingo の外部トリガーで使用されている言語の一部も特に興味深いものです。ユーザーが「通知」を受けたものの、まだログインしていない場合、「これらのリマインダーは機能していないようです…」で始まる「受動的で攻撃的な通知」を受け取ります。このトーンは、ブランドの遊び心のある性質に非常によく合っています。

A/B テスト 4: 「連勝」ベットのテスト

Duolingo には内部仮想通貨「lingots」があり、ユーザーはレッスンを完了するとこれを獲得し、特別な言語コースへのアクセスなど、サイトの特定の機能を強化する仮想アイテムを購入するために使用できます。イタリア語を学びたいですか?または質問に答えて、自分の進捗状況を確認します。

チームは連勝ベッティングに関するプロジェクトをテストしました。このプロジェクトでは、ユーザーはリンゴットを賭け金として使用して、連続して何回勝利するかを賭けることができます。この機能は、アプリケーションの最新バージョンで登場しました。

その結果、14 日間のユーザー維持率が 5% 増加し、IAP (アプリ内購入収益) が 600% 増加しました。

Duolingo は常に無料で使用でき、ユーザーは主にアプリのオフライン使用 (連勝を確実にするため) と広告なしに対して料金を支払っていることは特筆に値します。

ギラニ氏によると、このテストでは、チームは2日間の連勝に賭けたことがあったが、その賭けでは14日間のリテンションと毎日のアクティブユーザーの増加が最も少なかったため、最終的には賭けを断念することにしたという。

A/B テスト 5: 「弱いリンク」の改善

Duolingo は、平日に比べて週末のユーザーアクティビティが 9% 減少することを発見しました。毎日勉強することにこだわるユーザーが、ある日にうっかりチェックインを忘れると、多くのユーザーが連続で勝つチャンスを失い、ユーザーのやる気をなくしてしまいます。

ユーザーが 1 日スキップしても連続記録を維持できるとしたらどうなるでしょうか?そのため、チームはユーザーが金曜日に「週末の魔法の武器」を購入できるようにしました。これにより、ユーザーが土曜日と日曜日にチェックインしなくても、学習の進捗が妨げられないことが保証されます。もちろん、ユーザーはこの「お守り」のために 20 リンゴットを支払う必要があります。ユーザーに「週末にプレイする必要はありません」と伝えると、製品の採用に大きな影響を与えることが判明しました。7 日間のリテンションは 2.1% 増加し、14 日間のリテンションは 4% 増加しました。

A/Bテスト6: ユーザーが勝つためのチャネルを充実させる

ユーザーの関心を維持するのは、連勝だけではありません。 Duolingo は、ユーザーに成果を表す「バッジ」を提供します。これは、ユーザーが得るのが難しい権利です。最初のバージョンのリリース以来、最大の成果は、何人かの新規ユーザーがDuolingoに参加したことです。しかし、DAUは0％増加し、D14リテンションは0％増加したため、これは祝うべきことではありません。検討の結果、チームは、ユーザーが何を達成したかを確認する必要があり、サインアップは達成ではなく、ユーザーに誇りを感じさせることにはならないと判断しました。ユーザーが求めているのは、メダルを集めるプロセスです。

A/B テストを実施する際には、アイデアを実装して良い結果を得たい場合、最も簡単な方法だと思っていた方法が必ずしも最も簡単ではない可能性があることを理解することが重要です。 「最小限の実行可能な製品」という用語は、「最小化」という言葉が最初に出てきますが、中心となるのは「実現可能性」という言葉です。

2 回目のテストでは、チームはいくつかの異なるバッジをデザインし、バッジを保存するページを設定しました。バッジはレベル別に配布されます。たとえば、完璧なバッジを取得するには、ユーザーは 5 ～ 10 回、あるいはそれ以上の詳細なテストに合格する必要があります。チームの努力の結果、DAU は 2% 増加し、14 日間のリテンションは 2% 増加し、アプリ内購入は 5% 増加しました。

最後に、チームは総括し、有望な機能を開発するときや二次的な試み（Duolingo のバッジなど）を行うときは、対抗力を形成してチームの情熱と実行力を維持するために、プロダクト マネージャーまたはチーム マネージャーとデザイナーをペアにすることを決定しました。テストが失敗した場合は、それを振り返ることを忘れないでください。

優れた教育用製品デザイナーは、より多くの人々がさらに進歩し、より多くのことを学べるように支援することができます。成功例の一つは、コロンビア出身の警備員エディルソンさんです。彼はDuolingoで英語を学び、現在はセキュリティアカデミーで英語を教える仕事をしています。

では、顧客を維持するために、アプリやサービスでどのような A/B テストを使用できるのでしょうか?

この記事の著者@乔一鸭は(Qinggua Media)によって編集および出版されています。転載する場合は著者情報と出典を明記してください。

製品プロモーションサービス：APPプロモーションサービス、広告プラットフォーム、Longyou Games