トップ > Hadoop導入事例 > Hadoop導入事例 case7 三井住友カード 様

Hadoop導入事例 case7 三井住友カード 様

1967年の発足以来、VISAカードのパイオニアとして、またキャッシュレス化を先導する総合決済事業者として、約半世紀にわたりクレジットカードビジネスを展開する三井住友カード。 従来はリアル加盟店でのカード決済が多かったが、ここ数年はEC取引や小額決済の増加などさまざまな取引が増えてきている。 基幹システムでは、メインフレーム(以下:ホスト)で大量のトランザクションを処理しているが、近年のトランザクション量の増加によりホストが非常に高負荷となり、ホストのCPUを増強している状態であるためコストインパクトが非常に大きいという課題があった。 そこで注目したのが大規模なデータの並列分散処理基盤 Hadoop。ホストの処理をHadoopへオフロードし、CPU負荷の削減、処理時間の短縮によりシステムコストの削減を実現した。 NTTデータは、Hadoopに関する豊富な知見を元に、Hadoop基盤の構築のみならず、ホストから処理を切り出す部分についてもPoC段階から支援を行い、プロジェクトを成功に導いた。

お客様の課題

  • 従来の利用に加え、さまざまなトランザクションが増えたことによりCPU負荷が増大し、CPUを増強せざるを得ない状況。
  • MIPS課金(各ソフトが実際に利用している処理性能に応じて料金を決める仕組み)のため、高負荷バッチ処理が原因でコストが増大している。
  • Hadoopへオフロードしたいが、どのジョブを切り出せばよいかの判断が難しい。

導入の効果

  • ホスト処理をHadoopへオフロードすることにより、CPU負荷の低減を実現。
  • 上記により、ホストのコスト削減に寄与。
  • 高負荷かつ切り出しが容易で効果的なジョブの抽出を支援するため、 ジョブの前後関係を可視化し、切り出し容易性を判断するツールをNTTデータと協力して開発。対象抽出の効率化を実現。

近年のホストでの処理が非常に高負荷となっており、コストインパクトも増大

クレジット業界最大手の一社である三井住友カード。昨今では国内外のFintech企業との提携、インバウンド消費や地方創生を促進する最新の加盟店ソリューションの提供、世界中で使えるプリペイドカード発行の開始など、常に先手を打つとともに、情報技術と決済を融合した新しいサービスを提供し続けている。 「従来ではリアル加盟店でのカード決済が多かったが、ここ数年はEC取引や小額決済の増加など、従来のクレジット利用に加えてさまざまな取引が行われています。 基幹システムでは、ホストで大量のトランザクションを処理していますが、近年のこのようなトランザクションの増加によりホストが非常に高負荷となり、ホストのCPUを増強している状態となって非常にコストインパクトが大きい課題がありました。」 とインフラ企画部 部長 呉竹氏は背景を語る。

三井住友カード株式会社 インフラ企画部
部長  呉竹 義隆 氏

注目したのは並列分散処理基盤 Hadoop

Hadoopを課題解決の手段として選定した理由は何だったのか。
「当社は新技術の動向もウオッチしており、大規模なデータの並列分散処理が得意なHadoopは世に出始めた当初から注目しておりました。 当社のバッチ処理は大量のデータを捌くため、会員番号帯によって処理を分散させる並列処理を行っています。Hadoopが当社システムをオフロードしていく上では非常に適しているのではないかと考えました」と呉竹氏。 しかし、日本では当時金融機関の基幹系処理をHadoopへオフロードする事例があまり見られないということで社内では非常に慎重な意見が多かったという。そこで、実証実験(PoC:Proof Of Concept)を実施し、Hadoopが適用可能かどうかを判断することになった。 NTTデータと取り組むことになった背景についても伺った。 「NTTデータさんとは当時、加盟店審査ソリューションなど新技術領域でも協働を始めていました。Hadoopに関しても、非常に知見が高いとお聞きしたので、お声がけさせて頂きました。その後、すぐにHadoopの専門部隊と議論を始めることができ、Hadoopを構築する部分だけでなく、ホストから処理を切り出す部分の難しさまで相談にのっていただき、非常に助かりました。」と呉竹氏は語る。

まずはPoCからはじめ、数十万あるジョブの中から高負荷かつ切り出し可能なジョブを選定しHadoopへオフロード

PoC実施時における課題や、その後の商用化へつながる工夫点などについて詳しく伺った。
PoC実施時の課題
ホストの全ジョブは約28万種類にも及ぶ。特定日、特定システム等の条件で2000種類まで絞りこみを実施した。その中から、どのジョブを切り出すのか、切り出すジョブの選定が課題であった。単純に高負荷なジョブを切り出せばよいというわけではない。 「複雑に絡み合ったホストのジョブを解析し、どこを切り出すことが効果的で、かつ改修に伴うシステムインパクトが大きくないかを判断することが非常に難しかったです。」と呉竹氏は語る。

課題をどのように解決したか
2000ものジョブから、どのジョブをHadoopへ切り出せばよいのか。 呉竹氏「切り出し対象の選定では、高負荷なバッチ処理である『ポイント算出処理』をオフロードすれば、ホストの負荷軽減効果が高いだろうと予測はついていましたが、ジョブのつながりを分析し、実際にどこのジョブを切り出せば良いかを判断するためのツールをNTTデータさんの協力を得て開発しました。」 このツールを、ホスト開発を行っている日本総合研究所様と一体となって開発。 高負荷ジョブの選定、また関連ジョブについても抽出し、ジョブの切り出しが容易かどうか容易性を判定することが可能となった。
また、実施したPoCでは下記観点での確認が行われた。

【開発実現性】  ホストの勘定系月次処理2プログラムをCOBOLからJavaに書き換える。
書き換え容易性はどうか。
【信頼性】  書き換えた結果、正しく作動するか。
【性能】  性能に問題がないか。
【拡張性】  スレーブノード追加によりスケーラビリティがあるか。

上記4つの観点で日本総合研究所様とともにHadoopを評価した結果、商用システムでの本番適用に値すると判断された。


図:実施体制
商用化に向けた工夫
商用化にあたり、PoCを実施した処理の1つ、『ポイント算出処理』はエンドユーザのカード利用のお客様に影響が大きく、最初に切り出す処理としてはリスクが高すぎると判断されたため、ファーストステップとしては、顧客影響の少ない「手数料算出の基礎データ作成処理」を」Hadoopへ切り出すことに決定した。 本番環境ではまず並行運転を行い、ホストでの処理とHadoopでの処理に差異がないかを確かめ、その後Hadoopでの単独運行を行うという段階を経てのオフロードを実施した。 今後切り出し対象を増やしていくことを見据えて、ホストでの処理結果とHadoopでの処理結果が合致することを検証する機能の実装も行った。

システムリリースによる効果
最初のPoCから、足かけ3年取り組みを実施して、2016年7月にホストからHadoopへのオフロードを商用システム上で実現した本システム。アプリケーションの整合性が確認でき、また事前の見積もりとほぼ同等の性能測定結果が得られたという。 「当初の目的であるホスト処理の負荷が軽減されるということは確認でき、さらにコスト削減にも寄与することができました。また、性能に関しても当初の想定どおりの結果が得られ、ファーストステップとしては成功したと考えております。」と呉竹氏は語る。



図:PoC結果

今回のHadoopへのオフロードの知見を生かし、順次高負荷ジョブを切り出しへ

「今回の取り組みを通じてHadoop適用度の基準や、ノウハウを整備することが出来たので、今後さらにHadoopの利用を拡大したいと考えています。」と、呉竹氏。 今後もNTTデータは、これまでの知見・ノウハウを活かし、高負荷ジョブの切出しを順次行い、Hadoop基盤を拡充していくことで、三井住友カード様のシステム戦略をサポートしていく。


お客様情報

三井住友カード株式会社
東京本社:東京都港区海岸1-2-20
大阪本社:大阪市中央区今橋4-5-15
設立:1967年12月26日
資本金:340億3千円 (2016年3月末日現在)
主な事業内容:
クレジットカードに関する業務、ローン業務、保証業務、ギフトカード業務、
その他付随業務

株式会社日本総合研究所
東京本社:東京都品川区東五反田2-18-1
大阪本社:大阪市西区土佐堀2-2-4
創立:1969年2月20日
資本金:100億円
主な事業内容:
システム開発・情報処理業務、コンサルティング業務、シンクタンク業務

【NTTデータ担当者より 】

安達仁

NTTデータ
OSSプロフェッショナルサービス
安達 仁

ホストのマイグレーションをHadoopで。
PoCから本番環境までHadoopの導入を手厚く支援。


数年に渡るPoCを経て、ホストジョブのHadoopへの移行を支援させていただきました。 金融業界の基幹業務の移行であれば慎重な検討は当然のこと、長期に渡る体制作りはNTTデータの得意とするところです。それはHadoopであっても変わりません。 金融に精通したNTTデータのエンジニアがCOBOLの処理を読み解き、Javaのプログラムに落とし込み、分散処理をするためにHadoop上のアプリケーションへの書き換えを行いました。 もちろんHadoopの構築・運用も抜かりはありません。 NTTデータのノウハウが集約されたHadoopソリューションをベースに、お客様の要望を取り入れて基盤の設計を行いました。 構築作業の自動化と徹底した試験の実施、運用手順のカスタマイズを行っています。 NTTデータの金融部門と方式技術部門のノウハウを持ち寄り、お客様の新しい処理基盤を構築できたことを光栄に思います。 今後とも金融分野にイノベーションを起こすべく、お力添えをしていきたいと考えています。

※本ページに記載されている会社名、商品名、又はサービス名は、各社の商標又は登録商標です。