金融業界はどのようにしてデータ主導の業務を実施できるでしょうか?

この記事は、中原銀行のビッグデータアーキテクトである劉元東氏の講演「中原銀行のデータ分析構築実践」です。内容が非常に刺激的なので、以下のように整理して共有します。

1. 中原銀行のビッグデータ構築の歴史

中原銀行は近年、データの調査を数多く行ってきました。

中原銀行は2016年12月にビッグデータプロジェクトの第1フェーズの立ち上げを完了し、2017年5月に銀行のデータマートの再構築と移行を完了し、2017年7月に新しいデータプラットフォームに基づくセルフサービス分析を開始し、2017年10月に外部データプラットフォームと履歴データプラットフォームの使用を開始しました。
2017年12月、当社はSensors Dataと正式に協力し、リアルタイム行動分析プラットフォームにアクセスしました。
2018年5月、中原銀行はデータマイニングと分析、およびワンストップデータサブスクリプションプラットフォームの立ち上げという2つの新しいプロジェクトを完了しました。
2018 年 6 月、中原銀行は一連の新しい T+0 データマートを立ち上げました。

個人的には、銀行業界はレポートから BI への段階を経て、次の開発段階は、リアルタイムの行動分析や T+0 OLAP システムなどのシナリオベースになる可能性が高いと考えています。T+0 は避けられないトレンドであり、おそらく数年後にはすべての倉庫が T+0 になり、T+1 シナリオを受け入れることは誰にとっても困難になるでしょう。

注: T+0 は証券 (または先物) 取引システムです。証券（または先物）取引当日に証券（または先物）と価格の決済および受渡し手続きを完了する取引システムをT+0取引と呼びます。

T+1 は株式取引システムであり、同じ日に購入した株式は次の取引日まで売却できないことを意味します。「T」は取引登録日、「T+1」は登録日の翌日を指します。

2. プラットフォーム構築の目標とアイデア

中原銀行は、ビッグデータのガバナンスとアプリケーション構築を銀行全体の戦略レベルにまで高め、技術革新、自主管理、公開、共有の概念を堅持し、統一的、完全、便利、効率的、インテリジェント、安全なビッグデータ技術システムを構築し、全プロセス、ワンストップ、インテリジェントなデータサービスを提供するという目標を策定しました。

中原銀行の目標は常にシステムを構築することではなく、サービスを提供することであると強調する価値がある。例えば、営業担当者がどれくらいの顧客を失ったかを知りたい場合、現状ではBIで提供することは難しいです。データが提供されても、それを計算することは困難です。しかし、シナリオベースの分析では、シナリオに必要なディメンションと指標を開発し、関連するデータを取得することで、簡単に分析を行うことができます。そこで、今後はシナリオをサービス化し、ビジネスチームに提供していく予定です。

3. データプラットフォーム構築の進捗と計画

中原銀行のプラットフォーム構築の全体的な進捗状況は次のとおりです。

2016年に基本プラットフォームの構築とデータアーキテクチャの設計が完了しました。
2017年にデータ統合プラットフォームが確立され、データサービスエンジン、OLAPセルフサービス分析エンジン、マイニング分析プラットフォームの基盤が築かれました。
2018年には、データガバナンス、リアルタイムコンピューティングサービス、グラフコンピューティングサービス、データ交換プラットフォーム、機械学習プラットフォームなどを開発する予定です。
2019 年には、技術的な観点から、より統合され、改善され、強化されたプロジェクトに取り組む可能性があります。

これまでは技術部門が主導して技術体制を構築したものの、実際のビジネス展開には至っていないケースが多かったのですが、今私たちはビジネスの飛躍的発展に向けてシフトしようとしています。

2018年6月、中原銀行は情報技術部から分離し、第一レベルの部門であるデータバンク部を特別に設立しました。

以前はテクノロジーに重点を置いていましたが、今ではテクノロジーを使ってビジネスを推進することは、マーケティングやリスク管理の面で非常にコストがかかり困難であり、テクノロジーが必ずしもビジネスを推進して利益を生み出すわけではないことに気づきました。この観点から、Sensors Dataが提供するシナリオベースの方法論とロジックを試してみることにしました。

中原銀行はここ数年、固定レポートやモバイルレポート、セルフサービスクエリモデルなど、銀行全体の集中配信機能の最適化など、テクノロジー主導の改善をいくつか行ってきました。特に、銀行業界ではセルフサービスクエリがここ数年で普及してきました。まだセルフサービスクエリを導入していない銀行は、今後導入する必要があります。これは必要な段階です。

4. データ分析ニーズの理解: 5つのモードが銀行全体のアプリケーションをサポート

銀行業界のデータ分析ニーズには、データインタラクションモードの 5 つのシナリオがあると思います(上図参照)。中原銀行は現在、データラボを構築しています。これは実際にはデータレイクシステムであり、以前のウェアハウス、市場、およびその他のプラットフォームを新しいコンピューティングアーキテクチャに移行します。

その主な機能は、データモデリングと探索的分析を行うことです。このプラットフォームは、元のP2Pプラットフォームから完全に独立しています。以前とは異なり、レポート作成のみを行いますが、セルフサービス分析とデータモデリングも実行できるため、将来的にはより多くのモデラーの使用をサポートできます。

このプロジェクトの成果が生み出された後、さまざまなタイプのビジネスシナリオに適用できるようになることを期待しています。ただし、アドホッククエリなどの一部の古いモデルは、他のアプリケーションシナリオに完全に置き換えることが難しいため、中国の観点からは常に存在し続けます。

5. データ分析プラットフォームシステム構築

中原銀行は現在、データプラットフォームシステムを計画していますが、このシステムはまだ進化しています。

過去数年間で、中原銀行は 1,000 件近くのレポート、20 を超えるトピックのセルフサービス分析、およびデータラボプラットフォームを作成しました。

これらのプラットフォームはさまざまな人々を対象としており、レポートは主にデータを使用する人々を対象としています。セルフサービス分析は、リーダー向けのレポートを準備したり、下位にデータを公開したりする人など、ライン担当者を主な対象としています。一方、データラボは、モデラーなど、技術的なバックグラウンドを持つ人を主な対象としています。

中原銀行は、上記の 3 つのプラットフォームに加えて、コミュニティプラットフォームも構築しており、これらを総称してワンストップ分析プラットフォームと呼んでいます。

データ駆動型イノベーションコミュニティは、データ駆動型の産業発展をリードするために設立されました。現在、科学技術部がこのコミュニティの構築を主導しています。

このコミュニティでは、データ分析レポートや記事など、データに基づいたコンテンツを大量に公開していきます。個人的には、データドリブンな仕事の推進は今後は事業が主導していかなければいけないと考えています。技術系の人材がアイデアを持っていても、収益化が難しいため、事業視点で実践していく必要があるからです。今後は、ビジネスシナリオで分析を実行する方法を学習するために、自社の技術者をビジネス部門に派遣する予定です。

上で述べたデータ分析プラットフォームは、本質的にはまだ技術的なものですが、将来的にはシナリオベースの開発の方向に発展していくと私は常に信じています。シナリオベースのアプリケーションはコストが低いため、たとえば、使用コストが低いため、ビジネス担当者にとってより便利に使用できます。また、人材コストが低いため、多くの技術者を採用する必要がありません。

6. ビッグデータのための総合分析プラットフォームアーキテクチャ

これは中原銀行のビッグデータ総合分析プラットフォームのアーキテクチャであり、この点では各銀行間で大きな違いはありません。

しかし、中原銀行のマーケットプレイスは非常に薄く、ソース用の ODS は 1 つだけで、マーケットプレイスは会計、内部業務、マーケティングなど 4 ～ 5 つしかありません。他の銀行と比較すると、中原銀行のアーキテクチャは非常に軽量で、ソースからマーケットプレイスに直接アクセスできます。一部のマーケットプレイスでは指標処理すら行われず、詳細を直接統合してから、セルフサービス分析とレポートを提供し、一部はラボにも提供されています。

個人的には、セルフサービス分析、シナリオベースの分析、データレイクなどのアイデアが、遅かれ早かれ、これまで作成してきた大量のレポートに取って代わるだろうと考えています。T+0 が T+1 に取って代わるでしょう。それは時間の問題です。したがって、現在、私たちのアーキテクチャ全体がここに移行しています。

7. 分析プラットフォーム構築の実践 - パフォーマンスの最適化

中原銀行はここ数年、分析プラットフォームのパフォーマンスチューニングを行ってきました。一般的に、レポートから BI に初めて切り替える場合、BI 自体がスペースを柔軟性と交換する方法であるため、パフォーマンスの問題に必ず直面します。

私たちは、30 個の物理コンピューティングノードと、ビッグデータ向けに反パラダイム方式で設計された約 20 ～ 30 個のトピックモデル、つまりワイドテーブルモデルを使用して、ビッグデータテクノロジを使用してコンピューティングをサポートします。ワイドテーブルモデルでは多くのスペースが犠牲になるため、通常、このビッグデータプラットフォームではよりスムーズに実行され、冗長性が高くなり、パフォーマンスが向上します。

しかし、ビッグデータプラットフォームの大きな特徴は、低コストと許容可能な容量拡張であるため、現在ではこのアプローチを好んでいます。

8. 分析プラットフォーム構築の実践 - 品質向上

中原銀行は今年、データ品質の向上に注力しており、新たなデータガバナンスプロジェクトを開始する準備を進めています。

以下に簡単な紹介をします。

キャリバー管理のためのオンラインチャネルを構築しました。例えば、業務担当者がレポートを見てデータに問題を発見した場合、オンラインチャネルで直接問題をフィードバックし、専任の技術担当者がフォローアップします。さらに、知識ベースに似たチャネルも用意されており、これがキャリバーの沈殿に役立ちます。しかし、マスターデータや標準管理など、データガバナンスをさらに改善する必要があります。

IX. 分析プラットフォーム構築の実践 - 柔軟性の向上

これは中原銀行の BI プラットフォームであり、一般的に非常に便利です。銀行はある段階で BI を実施する必要があると思います。BI がなければ、業務担当者がデータに直接アクセスできず、将来的にデータの役割を理解することが難しくなるため、データ主導のアイデアをビジネスに真に実装することは困難です。

BI を習得して初めて、将来的にはシナリオベースの分析や予測分析ができるようになると伝えることができます。現在、中原銀行はこの軌道に沿って発展しています。

10. 分析プラットフォーム構築の実践 - データセキュリティ管理

金融業界では機密性の高いデータが多数扱われており、データセキュリティの問題には特別な注意を払う必要があります。データセキュリティを確保するために、当社はいくつかの技術的な処理を行っています。

例えば：

ダウンロード管理: 包括的なデータ使用レビュープロセスを確立し、最小限のデータアクセス権限を設定し、要求に応じてレポートアクセス権を割り当てます。
リアルタイムの感度低下: Smartbi はさまざまな形式のデータ感度低下表示をサポートしており、フォアグラウンドでの機密情報の感度低下表示を実現できます。ID カード番号などの機密データはリアルタイム表示で非表示になります。
使用トレースの管理については、レポートアクセスデータを収集して公開し、レポート使用中の自己監視と相互監督を促進し、ジョブ調整や重複権限によるデータ漏洩リスクをタイムリーに発見できるようにします。
動作監視: ビッグデータと機械学習の技術を使用して、データセキュリティのインテリジェント分析および早期警告プラットフォームを構築し、データ操作の動作をインテリジェントに監視して、内部のデータセキュリティインシデントを防止します。

11. 今後の建設計画 - データ深層探査サービスシステム

当社の今後の建設計画は、おおよそ上図の通りです。現在、当社はまだデータ探索と多次元分析の段階にあります。当社は今年、いくつかのデータモデリングプロジェクトを立ち上げており、そのうちのいくつかを以下に示します。

私たちは店舗のキャッシュフロー予測というプロジェクトを立ち上げました。正確な予測を実現するには、店舗の規模、人員の規模、乗客の流れの規模、天候の規模など、多くの側面を考慮する必要があります。

そこで、このプロジェクトでは、すべての支店の履歴データを分析・研究し、各支店が毎日どれだけの預金を必要とするかを予測します。ここでの預金とは、現金を指します。これは、現金在庫が支店にとって非常に大きなコスト（輸送費など）となるためであり、支店に預けられた現金には利息が付かず、現金をそのまま置いておくのと同じだからです。

来年には予測プロジェクトが中間成果を生み出すことを期待しており、また、データ主導の変革とイノベーションへの取り組みを通じて、金融業界のデジタル変革の発展に貢献できることを願っています。