ユーザー離脱予測モデル、その有効性をどのように評価するか?

この記事の著者は、詳細な例を使用して、顧客離脱予測モデルの有効性を評価する方法と、顧客離脱予測モデルの目的である「顧客を効果的に維持し、ケアすること」について説明します。

1. 重要な指標：リフト

顧客離脱予測モデルの予測効果を評価するために使用される重要な指標はリフトです。

いわゆるリフトとは、簡単に言えば、モデルを使用しない場合と比べて、モデルが顧客離脱を予測する精度がどれだけ高いかということです。

図に示すように、顧客は解約確率に応じて高いものから低いものの順にランク付けされています。図中の点 (10%、50%) は、解約率の上位 10% の顧客に、実際に解約した顧客の 50% が含まれていることを示しています。

つまり、企業の顧客数が 300 万人で、平均解約率が 1% の場合、上位 10% の顧客を獲得できれば、実際に解約した顧客数は 15,000 人 (つまり、300 万人 × 1% × 50%) になります。

図の青い線は、予測モデルのガイダンスなしで顧客をランダムにサンプリングした結果を示しています。

この線は実は非常に分かりやすいです。10%の顧客をサンプリングすると、300万×10%×1%の離脱顧客を捕捉でき、実際の離脱顧客総数の300万×10%×1%÷(300万×1%)=10%を占めるので、この線は実際には45度の傾きを持つ直線です。

図の赤い線は、顧客離脱予測モデルによって予測された結果を表しています。

たとえば、線上の点 (10%、50%) は、解約率上位 10% の顧客に、実際に解約した顧客の 50% が含まれていることを示しています。したがって、解約する顧客の上位 10% の場合、モデル予測を使用した場合の効果は、モデル予測を使用しない場合の 5 倍になります。これをリフトといいます。

上の図の赤い線は有名な ROC 曲線で、正式名称は受信者動作特性曲線です。

青い線がベースラインです。一般的に言えば、ROC 曲線がベースラインから近いほど、モデルの予測効果は高くなります。

改善の度合いは、モデルの予測性能を判断する上で確かに重要です。しかし、多くの場合、リフトによって得られるモデル予測効果のみに注目し、顧客離脱予測モデルによって示される「適用効果」を無視する（または評価しない）ことがあります。

2. 「応用効果」に注目

一般的に人々が懸念するのは、このような解約予測モデル、またはこのモデルのガイダンスに従って解約の可能性が高い顧客に対するリテンションケア活動を実行することで、来月の顧客解約率は大幅に低下するだろうか、ということです。

この見解は正しくありません。顧客離脱予測モデルは、「どのような顧客が離脱する可能性が高いか」という客観的な法則のみを明らかにするからです。

現実には、顧客離脱予測モデルを使用した後でも、顧客離脱率を大幅に削減できないことがよくあります。以下は証券業界の例です。

証券会社A には現在 300 万人の顧客がおり、月平均解約率は 1% であるとします。

予測モデルをより適切に確立するために、モデル開発プロセスでは有効な顧客のみをモデル化します。つまり、モデル化の前に、機関投資家の顧客、資産が極端に大きいまたは極端に小さい顧客、取引行動のない顧客など、有効でない顧客を排除するための特定の条件を設定する必要があります。

これにより、有効顧客数は120万人、月間平均解約者数は18,000人、解約率は1.5％となります。最後に、証券会社 A は、有効顧客に対する顧客離脱予測モデルを開発しました。このモデルの効果は、上の図で表すことができます。つまり、離脱傾向が最も高い上位 10% の顧客をターゲットアクティブ顧客として選択すると、実際の離脱顧客の 50% を含めることができます。

ブローカーAではあらゆる面でリソースが不足しているため、顧客サービススタッフの数は限られています。そこで、証券会社Aは、解約予測モデルから得た解約傾向の高い顧客リストに基づいて、有効顧客に対しては1対1のターゲットを絞った維持・ケア活動を実施し、無効顧客に対しては通常のマーケティングポリシーを通じて維持することを決めました。

証券会社 A は、解約予測モデルによって与えられた解約傾向スコアに従って降順でこの活動の対象顧客を選択しました。つまり、120 万人の有効顧客から解約傾向の高い上位 5% の顧客、つまり 60,000 人を対象顧客として選択しました。

次に、カスタマー サービス スタッフが「リテンション月間」中に、この 6 万人の顧客に対して 1 対 1 のリテンションとケア業務を提供します。証券会社 A は、月末の解約率統計で満足のいく結果が得られることを期待しています。

この6万人の顧客のうち、実際に失った顧客数は120×5%×1.5%×5=4,500人です。この4,500人の顧客全員を維持できれば良いのですが、実際の維持・ケア業務でそれを実現するのは非常に困難です。

実際のアプリケーションでは、顧客離脱予測モデルが散逸を引き起こす可能性があるいくつかの場所に注意する必要があります。

1. すべての顧客のうち、効果的な顧客のみがリテンションケアの対象となります。比率をaとすると、a=120/300=40%となります。
2. ターゲットアクティビティ顧客を選択する際、選択率b=5%と仮定して、解約傾向の高い顧客のみを維持する。
3. 顧客維持のプロセスでは、ターゲット活動顧客の接触成功率があり、
4. 顧客とのコンタクトに成功した顧客のうち、維持率の成功率の問題もあります。

証券会社 A の顧客サービスにおける過去の経験に基づいて、a、b、c、d はすべて推定できます。ここで、コンタクト成功率 c は 50%、コンタクトに成功した顧客のうち解約傾向のある顧客の維持成功率 d は 30% であると仮定します。

失われた顧客が、連絡可能な顧客と連絡不可能な顧客に均等に分散されていると仮定すると、解約予測モデルに基づいて、ブローカー A が維持ケア活動を実施することで、正常に維持できる顧客数を計算できます。

維持に成功した顧客数 = 顧客総数 × 有効顧客の​​割合 a × 解約傾向の高い顧客の割合 b × 有効顧客の​​平均解約率 × モデルの改善 × コンタクト成功率 c × コンタクトした顧客の成功維持率

d = 3,000,000 × 40% × 5% × 1.5% × 5 × 50% × 30% = 675人

この場合、全体の解約率 = (30,000-675)/3,000,000 = 0.9775% となり、アクティビティがない場合の 1% とほぼ同じになります。

このことから、顧客離脱予測モデルは顧客離脱率に関して企業に大きな変化をもたらさないことがわかります。このような結果を見ると、解約予測モデルをまだ開発する必要があるのか​​と疑問に思う人もいるでしょう。これは非常に現実的な問題です。

3. 明確な目的: 顧客の維持とケア

解約予測モデルを確立する目的は、顧客解約率を下げることか、それともケアと維持の取り組みの有効性を向上させることか?

目標が単に顧客離脱率を大幅に削減することである場合、離脱予測モデルの効果は比較的小さくなります。理由は簡単です。解約予測モデルは実際には方法論であり、顧客解約率の削減に直接つながるものではありません。

例えるなら、それは患者を治療するようなものです。医療機器がどれだけ進歩しても、患者の問題を診断することしかできず、患者の回復を助けることはできません。

証券業界における解約予測モデルは、証券会社が顧客維持において解約傾向の高い顧客グループを見つけるのに役立つことはできますが、解約率の低下に直接つながるわけではありません。この点を明確にする必要があります。

証券業界全体を見てみると、証券会社が本当に失った顧客を定義づけるのは、通常、資本口座を閉鎖し、保管を移し、指定を取り消した顧客です。しかし、顧客離脱予測モデルにおける離脱の定義は、通常、顧客の資産が大幅に減少したかどうかに基づいています。

このように、予測モデルには、上記 3 種類の顧客だけでなく、資産が著しく減少し、予想される損失が許容範囲を超え、深刻な状況に陥って休眠顧客になる可能性のある顧客も含まれています。

これらの顧客は依然として証券会社のクライアントであるように見えますが、徐々にアクティブな顧客から非アクティブな顧客へと変わり、もはや証券会社に利益価値をもたらしません。

証券業界の実情から判断すると、資本口座の閉鎖、保管の移管、指定の取消し等の行為による顧客流出は避けられず、一定の割合を占めています。しかし、後者のタイプの顧客は、アクティブな状態を維持し、証券会社に利益価値を継続的に貢献するように維持およびケアすることができます。

したがって、顧客離脱予測モデルの目的は、いわゆる顧客離脱率の大幅な削減ではなく、リテンションケア業務の有効性を高め、顧客のアクティブ状態を最大化することにあるはずです。

顧客を維持するのに最適な時期は、顧客が離れる前です。予防は治療よりも優れています。

ますます激化する市場競争に直面して、ほとんどの企業は顧客維持にますます注意を払うようになり、顧客ケアと顧客維持に継続的に投資することで顧客を維持するために最善を尽くしています。

しかし、通常、次のような問題に直面します。企業のリソースが不足しているときに、顧客ケアと顧客維持の効率をどのように改善するか、また、顧客との接触コストを減らしながら、実際に解約しようとしているより多くの顧客をどのようにケアするか。

これには、データマイニングに基づく顧客離脱予測モデルの使用が必要です。

上記の例を続けると、証券会社 A は毎月 60,000 人の顧客にリーチでき、そのコンタクトを高価値顧客に集中させていると仮定します。

顧客離脱予測モデルで示された離脱傾向の高い上位5%の顧客リストをもとにケアと維持作業を行うと、ちょうど120×5%=60,000人になります。このとき、毎月維持に成功できる顧客数は675人です。

モデルガイダンスがなければ、毎月維持できる顧客の数は

顧客総数 × 高価値顧客の割合 a × 解約傾向の高い顧客の割合 b × 高価値顧客の平均解約率 × コンタクト成功率 c × コンタクトした顧客の成功維持率

d = 3,000,000 × 40% × 5% × 1.5% × 50% × 30% = 135人

単純な比較により、まったく同じ人員投入、まったく同じコンタクト成功率、まったく同じ維持成功率に基づいて、モデル ガイダンスを使用した維持では、モデル ガイダンスを使用しない維持よりも 1 か月あたり 675 - 135 = 540 人多い顧客を維持できたことがわかります。

維持に成功した顧客が半年間（控えめな見積もり）アクティブであり続けると仮定し、有効顧客が貢献する平均手数料が月額100元であるとすると、維持効率の向上により毎月得られる追加収入は540×100×6=324,000元になります。

年末には年間総収入は324,000×12=3,888,000元増加します。

これはすでに最も控えめな見積もりです。ほとんどの顧客の月平均手数料負担額は数百元、あるいは数千元にも達することが分かっているからです。

より保守的な見積もりでは、解約傾向の高い上位 5% の顧客がモデルのガイダンスに従ってターゲット顧客として選択されると、モデルの改善は 3 になります。この場合、年間収入は依然として1,944,000元増加し、投資収益は依然として非常に大きくなります。

実際、私たちの見積もりでは保持活動の実施にかかるコストは考慮されていません。これを無視する理由は、モデルガイダンスの有無にかかわらず、保持活動を実施するコストは同じであるためです。モデルガイダンスを使用して保持活動を実施した場合と、モデルガイダンスを使用しない場合とで、どれだけ多くの収益が得られるかだけを比較する必要があります。

これらの推定は、顧客離脱予測モデルが開発され、展開されて、そこに放り込まれるわけではないことを示しているに過ぎません。モデルの予測結果が正確かどうかを確認するためだけに、毎月時間どおりに実行することはできません。重要なのは、実際の顧客維持とケアの作業に適用して、実際の結果を確認することです。

この記事の著者は@jerryhuang_00bfで、(Qinggua Media)が編集・出版したものです。転載の際は著者情報と出典を明記してください。

製品プロモーションサービス：APPプロモーションサービス、広告プラットフォーム、Longyou Games