Hadoop導入事例
CASE Hadoop
Hadoopの導入事例をみる
株式会社リクルート様
大量のログデータの分析基盤として「Hadoop」に着目し、
さまざまな事業分野で商用システムへの導入が決定。
Hadoopサポートサービスも活用中！
リクルートでは、自社で展開する「ゼクシィnet」などのWebサイトのログデータを、広告宣伝効果の測定やユーザの行動分析などに役立てている。 ログデータの肥大化や分析ニーズの多様化が進む中、迅速かつ実効性のあるログ分析を行う手段として、オープンソースの大規模分散処理基盤「Hadoop」に着目。Hadoopを含めオープンソースの実績があるNTTデータがコンサルティングを行い、他技術との比較検証、実現性の確認、実際の業務でのテスト運用を行った。 その結果、処理時間の短縮や新たな視点での分析成果などHadoopの有効性や将来性について高く評価され、さまざまな事業分野でHadoopの商用システムへの導入が進んでいる。同時に、NTTデータが提供するHadoopサポートサービスも活用し、Hadoopの商用システムにおける安定稼働を支えている。
お客様の課題
- Webサイトへのアクセス数や、登録ユーザ数の増加に伴いログデータが肥大化。既存技術では分析処理に時間がかかり、必要な処理時間内にバッチ処理が終わらなかった。
- 既存の分析基盤では、大量データをもとにした分析を行うことができず、多様な分析を行いたいニーズに答えられずにいた。
導入の効果
- NTTデータのコンサルティングにより、Hadoopの有効的な使い方を踏まえた上でHadoop導入を進め、ある一例では従来に比べて60倍近いバッチ処理の高速化が実現した。
- NTTデータがさまざまなデータ、分析軸を掛け合わせて分析する筋道を提案。リクルートのクライアントへの付加価値提供にもつながる、多角的なログ分析が可能な環境が整った。
導入の背景・課題
大容量データを迅速に分析してビジネスに役立てる動きが加速
リクルートでは、自社で展開する情報ポータルサイト「ゼクシィnet」、「じゃらんnet」、「SUUMO」などへアクセスするユーザのログデータを分析し、広告宣伝効果の測定やユーザの行動分析などに役立てている。しかし、雑誌からWebサイトへと同社のビジネス展開が変化する中で、日々蓄積されるログデータが年を経るごとに肥大化。分析対象のログデータが大量に溜まっているため、分析のためのバッチ処理にかなりの時間がかかってしまう。既存技術で限られた時間内にバッチ処理を終わらせるために、やむを得ず分析対象のログ量を減らすなどの対応を行っていた。しかし、それではより高度でより詳細な分析結果を、即ビジネスに生かしたい事業部門のニーズに答えられない。
多様化するニーズを的確に把握して、より魅力的な情報をいち早くユーザに提供するとともに、広告を出稿するクライアントに新たな付加価値を提供するためにも、膨大なログデータを迅速かつ多角的に分析するためのツールや環境の整備が求められていた。
Hadoop選定理由
「Hadoop」検証作業を通じて、拡張性や将来性を高く評価
膨大なログデータを分析する手段として、リクルートが着目したのが、オープンソースの大規模分散処理基盤Hadoopだ。Hadoopは、大規模データの蓄積・分析を、分散処理技術によって実現するミドルウェアである。大手検索エンジンやSNSなどでも導入が進む注目の技術だ。
リクルートでは、他の大量データを処理する技術との比較等を行い、Hadoopの有効性を検証することとなった。その実施に当たり、テスト環境の構築や実際の検証作業をはじめ、Hadoop導入に向けた取り組みを全面的に支援、コンサルティングすることとなったのが、NTTデータだ。 リクルートとNTTデータは共同で、データの処理速度や信頼性などの評価軸を設定して検証作業を実施。それまでのNTTデータの構築実績ノウハウを生かしつつ検証作業を進めた結果、Hadoopは、大容量データの処理で高い性能を発揮できる、今後のデータ増大にも十分耐え得る拡張性に優れている、活発な開発コミュニティに支えられており将来性があるなどの利点が多いと、高い評価を得た。また、NTTデータからの手厚いサポートが受けられることも決め手となり、Hadoop導入が決定した。
現場への導入効果
14時間の処理が15分で完了、「Hadoop」に強い手応え
検証フェーズを終え、実際の商用システムへの適用段階では、「ゼクシィnet」において実際の業務に照らし合わせたログ分析処理を行い、より具体的な検証を行うこととなった。「ゼクシィnet」の手がけるブライダルビジネスは、地域特性に加えて個人個人の求める情報も多種多様なため、膨大なログデータの迅速で多角的な分析が、ビジネスを展開する上で欠かせない。しかしこれまでは、限られたバッチ処理時間に分析処理を終わらせるために、分析対象を1/4以下に限定したりと、せっかく溜めてある“ビックデータ”を十分に活用できずにいた。
検証作業では、Hadoopの利用により従来850分（約14時間）も要していた処理が15分で完了するなど大幅な時間短縮が図れるという結果となった。
従来は不可能だった多角的な分析作業も実現
さらに、以前は2～3パターン程度の分析しか行えなかったが、Hadoop導入により複数項目の掛け合わせで100パターン以上の分析を行うといった、従来は不可能だった多角的な分析作業も実現。これは、Hadoopにより処理時間の高速化が実現したため、複数項目による分析パターンのトライアルを何度も試せるようになったからである。このため、ブライダルフェアの地域ごとの傾向といった、これまで気付かなかったような新たな知見も得られ、マイニングや統計処理での活用などHadoop導入に強い手応えを得たという。
リクルートでは、「ゼクシィnet」以外にも、複数の事業の商用システムにおいてHadoopが活用されている。例えば、グルメ情報やクーポンを掲載する「ホットペッパー」では、メールマガジンの配信におけるレコメンド、旅行情報を提供する「じゃらんnet」では、集客要因のアトリビューション分析にHadoopを活用。中古車情報を提供する「カーセンサー」ではWebページ用のレコメンドにHadoopを活用している。
展望
大容量データが生み出す、新たな付加価値に期待
NTTデータでは、ゼクシィの担当者へのヒアリングにより業務の把握に努めた上で、ビジネスに役立つような分析項目を設定するなど、さまざまな角度からHadoop導入の支援を実施した。リクルートの商品企画チームや開発チームと一緒になって、Hadoop導入の支援に尽力した結果、NTTデータのエンジニアの高いスキルはもちろん、積極的な改善提案などのコンサルティング力についても高い評価を得ることができた。 NTTデータは、これらのリクルートにおけるHadoop商用システムの安定稼働を支えるために、充実したHadoopサポートサービスを提供中である。
今後、Hadoopを活用して大規模データの分析・活用を図りたいというリクルートの各事業部門の声も、当初の想定以上に増えている。 Hadoop導入を通じて、大容量データから新たな付加価値を創造し、より魅力的な情報を発信することを目指すリクルート。 NTTデータは今後もリクルートのさまざまなニーズに柔軟に対応し、変革をともに創り出すパートナーとして技術的な側面はもちろん、ビジネスメリットを追求するためにHadoopを活用する支援をしていく。
CUSTOMER
お客様情報
株式会社リクルート
- 本社所在地
- 東京都千代田区丸の内1-9-2
- 設立
- 1960年3月31日（設立 1963年8月26日）
- 資本金
- 30億264万円（1995年3月1日より）
- 主な事業内容
- 人材採用広告領域・生徒募集領域・住宅領域・結婚領域・街の生活情報領域・旅行領域・その他領域に関わる商品、サービスの提供
FROM NTTDATA
NTTデータ担当者より
HadoopコンサルティングサービスからHadoopサポートサービスまで幅広くご提供！
リクルート様において Hadoop をご選定いただくにあたっての検証評価から、既存のバッチ処理の高速化の実現、Hadoop を活かしたビジネス上の価値の創造というところまで支援させていただきました。その中で、Hadoop のよさを充分にご理解いただき、またNTTデータメンバの積極的な取り組み姿勢にも高い評価を頂きました。2011年度からはHadoopサポートサービスもご契約いただき、Hadoop安定運用の実現に寄与させていただいております。
リクルート様では HadoopのWebマーケティングへの適用ということで支援させていただきましたが、業界・分野問わず、Hadoop を用いたビジネスの創出のお手伝いをさせていただければと思います。
OSSプロフェッショナルサービス
下垣 徹
※本ページに記載されている会社名、商品名、又はサービス名は、各社の商標又は登録商標です。