Spark

NTTデータは、Sparkの黎明期から知見を培っており、
確かな実績に基づいてエンタープライズにおける大量データの処理・分析をご支援します。

FEATURES

Apache Sparkの特長

①業務処理への適用

業務処理を行う場合は、大量データから特定のカラムや条件に合致するレコードだけを取り出し、様々な加工を施し、最終的に集計を行うような処理を実装することになります。販売／顧客管理や料金計算、在庫管理などさまざまな業務でこのような処理が行われます。日々大量のデータを処理したり、次第にデータ量が増えていくようなケースでは、Sparkのスケールアウト可能な特長が生かされます。

②ストリーム処理への適用

時々刻々と生まれるデータを低レイテンシで処理する「ストリーム処理」も、Sparkの適用ケースのひとつです。例えば、ウェブサービスのログをほぼリアルタイムに集計して顧客に情報提供するために用いた事例、大量に生み出されるセンサーデータなどを集計・分析する事例などがあります。Sparkをストリーム処理に活用する際のメリットには以下のようなものが挙げられます。

バッチ処理と同じ技術の活用
Hadoop、Kafkaやそのほかのビッグデータ活用技術との連係
スケールアウトする特長を生かした高速な処理

③機械学習への適用

近年、機械学習の活用が多くの企業にも広がりつつあり、Sparkも異常検知やコンテンツレコメンデーションなどを代表として様々なユースケースで用いられています。機械学習の商用適用のためには、データを探索・分析し、試行錯誤を繰り返し、様々なデータ加工処理を作りこまないといけません。これを大量のデータに対して行うとなると単一マシンで実現するのとは難度が著しく変わってきます。そこでSparkを利用すると、単一のマシンやメモリに乗りきらないような量のデータを扱うための並列分散処理の仕組みを活用できるだけではなく、データ加工のための便利なAPIを使えるのが利点です。またMLlibという機械学習ライブラリを標準提供しているため試行錯誤やデータ探索・分析から機械学習まで一貫して実現できます。

SOLUTION

NTTデータのSparkソリューション

サービスの概要

NTTデータのサービスと一体で、または単独のサービスとしてデータの活用／処理の企画段階から運用段階までをトータルに支援します。

Spark コンサルティングサービス	お客様が保有する多種多様なデータの活用し、新たな価値を生み出すために、専門技術者がご支援いたします。提案支援、システム化コンサルティング、設計書レビューなど、まずはご相談ください。
Spark評価支援サービス	実機を用いてSparkを評価したいというお客様を、専門技術者がご支援いたします。検証方法のご提案～結果の分析、チューニング観点のアドバイスなどを行います。
Spark構築サービス	十数～数千台の構築経験を活かして、専門技術者がSparkシステムの構築を実施します。最適な機器選びからチューニングまで、トータルにご支援いたします。
Sparkサポートサービス	Sparkの保守契約です。基本サポート内容はメールベースの技術問い合わせ・故障問い合わせ対応です。保守プロダクトは、Hadoop、Spark、Kafkaをはじめとするオープンソースソフトウェアです。オプションとしてオンサイトの故障対応も実施します。ご希望の方はお問い合わせください。
Spark教育サービス	「社内にSpark技術者を育成したい」等、プライベートセミナをご希望の方はお問い合わせください。

NTTデータならではの強み

NTTデータは、Apache Hadoop/Spark/kafkaに関するケーパビリティがあります

コンサルティング、アーキテクチャデザイン、構築、運用を手掛けており、その数100件以上！
出版物も多く手掛けています。