オープンソースのシステムインテグレーションを事業展開している国内SIerのなかでも、HadoopやSpark、PostgreSQLといった大量データを扱うミドルウェア基盤の実装を得意とし、膨大なノウハウや知見を蓄積しているのがNTTデータです。とくにHadoopに関しては2008年というかなり早い段階からインテグレーションを開始しており、通信、金融、製造、ソーシャルサービスなどの分野で、多くの企業にHadoop導入／運用を担当してきた実績をもちます。また、Hadoop／Spark開発コミュニティをリードする存在であるコミッタ／PMCも数名在籍しており、Hadoopの貢献コード行数は世界第4位と、世界的に見ても非常に高い技術力と貢献で知られています。

11月16日、そのNTTデータのHadoop/Sparkへの取り組みを紹介する年次イベント「Hadoop/Sparkエンタープライズソリューションセミナー 2016」が開催されました。併催でApache KafkaやPostgreSQLに関するセッションが中心の「NTTデータ オープンソースDAY 2016」も行われ、ビジネスでは扱いにくいと言われがちなミドルウェアのオープンソースを、いかに個々のユーザ企業に適したデータ基盤へと整えているのか ―本稿では同イベントの基調講演で紹介されたHadoop事例を振り返りながら、NTTデータがめざすオープンソースビジネスのあり方に迫ってみたいと思います。

ミドルウェアを活かすために企業がとるべき「2つのアプローチ」

事例紹介の前にNTTデータ システム技術本部 OSSプロフェッショナルサービス 課長 下垣徹氏より、「⁠NTTデータが考えるHadoop/Sparkを通じたデータ活用の勘所」と題したプレゼンが行われ、NTTデータのHadoop/Sparkビジネスの全体像が説明されました。

今回のイベントには予定していた定員を超える300名以上の来場者がありましたが、参加登録時の事前アンケートによれば、そのうちの70％が「Hadoop/Sparkに興味あり」と回答しています。ビッグデータやAIなどのブームを経て、数年前とはまったく異なるデータ活用のアプローチが企業に求められている現在、膨大で多様なデータを低コストで、かつ迅速に扱えるHadoopやSparkなどのオープンソースのミドルウェアのニーズが高まっているのは当然と言えるのかもしれません。「⁠数年前は"データを活用する"といってもサンプリングが中心だったが、現在では全量データを扱える。またBIも単なるレポーティングから個々人や個別の案件に最適化したきめこまやかな分析へと大きく変わった。この変化の背景にはHadoopを中心とするミドルウェアがデータ分析の道具として整ってきたという事実がある」（⁠下垣氏⁠）⁠。

その一方で、Hadoopにかぎらずオープンソースやクラウドといった新しいテクノロジをシステムとして導入しようとする場合、国内企業の多くはリスクを取ることを嫌がり、慎重になリすぎるケースが少なくありません。しかしUberやAirbnbの例を引くまでもなく、世界的に急速に成長する企業の多くはビジネスをスケールする際、ITインフラもハード／ソフトともに大きくスケールさせています。ビジネスの成功がITインフラの拡張にひもづくのは、いまや世界中のどこにおいても常識となりつつあるのです。

では国内企業はそうした現状にどう向き合えばよいのでしょうか。下垣氏は「インフラをスケールする際、ハードはクラウドとコモディティハードウェアの活用が、ソフトではミドルウェアの使い方がカギになる」と語り、Hadoopをはじめとするミドルウェアに対して企業が取りうるアプローチとして

先頭を走る

他社との競争に勝つためにスピード重視、ソフトウェアの完成を待てない時代をふまえて、リスクを理解して新しいものを取り込む

追従する

基本手にはリスクを取らずに投資効果を最大化するアプローチで、他人の通過したあとに、いかに効率よくトレースするかがカギ

という2つのやり方があるとしています。"先頭を走る"企業の場合は、多様化するニーズに合わせた技術を、たとえそれがまだ未成熟であってもリスクを承知で積極的に取り入れる傾向があります。ミドルウェアでいえばHadoop／Sparkエコシステムやオープンソースプロダクトなど、中身が公開されている技術を選ぶケースが多くなります。

ただし、そういった先進的な技術に対する知見をもった担当者／技術者がいなければこのアプローチは取れません。また、こうした企業はニーズの多様化にあわせることにフォーカスするあまり、フォローする技術の範囲が極端に拡がりがちです。下垣氏は「極端な拡がりはひずみを生み出す原因となる。すべてのプロダクトを全部フォローするのは無理で、ニーズの多様化にフォーカスするだけでなく、持続可能な進化とは何かを考えるべき」と指摘し、連続性を保った、サステナブルな技術のフォローを意識することの重要性を強調しています。

一方の"追従する"企業、ここにはおそらく国内企業の多くがカテゴライズされるのではないでしょうか。下垣氏は「企業としてはごくふつうの心情で、十分に理解できる」としながらも「ただ追従するだけでは、いつまでたってもビジネスでは二番手のままになってしまう。ビジネスで勝つためには必ずどこかで尖る必要が出てくる。すべての技術をトレースする必要はなく、既存技術ではまかなえない部分をピンポイントで埋めていくようにすれば、差し切ることは十分に可能だと信じている」と語っています。

「NTTデータは先頭を走る企業に対しては一緒に知恵を出していくお手伝いを、追従する企業には既存のノウハウをまとめて提供することができる。我々はインテグレータとして、（⁠Hadoopなどの）モノと（顧客の）ビジネスのギャップを埋めていくポジションを取り続けたい」として、プレゼンを締めくくった下垣氏。"ビジネスで勝つためにミドルウェアにオープンソースを採用する"という企業が増えていくためにも、同社の「コンサルティング力/PoC力」「⁠インテグレーション力」「⁠サポート力」にこれからも期待がかかります。

日本でも進むHadoopの大規模利用

ここからは、基調講演の後半で行われたNTTデータのユーザ企業2社 ―三井住友カードと大東建託のHadoop導入事例の概要を紹介します。

メインフレーム上のバッチ処理をHadoopでオフロード ―三井住友カード

最初の事例は三井住友カードにおける基幹業務システムのHadoop適用です。新しい技術トレンドとして注目されるFinTechブームとは対象的に、国内金融機関の多くはCOBOLなどで書かれた古い基幹システムに苦しんでいるところが多く、三井住友カードもまた「EC取引の加速、多様なIoTデバイスの登場などにより、基幹系業務が肥大化、そして膨大な量に膨れ上がったトランザクションボリュームに、30年以上に渡って使用してきたメインフレームの負荷が限界に達しつつあった」（⁠NTTデータ 第四金融事業本部 金融グローバルITサービス事業部長 木村千彫氏）という状況にありました。しかし、金融機関の基幹系システムは「すこしでも間違いがあると社会的影響が大きすぎる」（⁠木村氏）ことから新技術を導入しにくいというハードルが存在します。

この課題に対応するため、三井住友カードでは基幹業務のバッチ処理の一部をHadoopに切り出す取り組みを段階的に開始しました。2014年度にほぼ1年をかけて事前検証（PoC）を実施、2015年度にHadoop適用可能と判断し、Hadoop基盤構築を開始、2016年7月から並行本番として初回稼働、アプリケーションの整合性を確認した後、10月には本番稼働に至っています。

三井住友カードはなぜHadoopとNTTデータを選んだのか、三井住友カード システム企画部 上席審議役 呉竹義隆氏は基調講演に寄せたビデオメッセージで「ホストの負荷軽減、処理時間の短縮、コスト抑制といった観点から、以前から興味のあったHadoopの導入を決めた。NTTデータはHadoopに関する知見が多いことから声をかけた」と語っています。社内には当然、新技術の適用に対する不安の声も多く、「⁠システムインパクトが大きすぎるのでは」「⁠30年もCOBOLで動いてたホストがJavaベースに変わって本当に大丈夫なのか」という慎重な意見もあったそうですが、PoCの結果、Hadoopの適用が効果的と判断し導入に踏み切ったとしています。最初ということもありポイント算出サービスのような顧客の利用頻度が高く影響の大きい部分ではなく、顧客影響の少ない部分をNTTデータが開発したツールで切り出したとのこと。「⁠今回はファーストステップだったが、非常にうまく動いている。今後も切り出しの対象を高負荷の処理まで拡げ、Hadoopの適用を推進していきたい」（⁠呉竹氏⁠）⁠。

この事例のポイントについて、PMとして担当したNTTデータ 第四金融事業本部 金融グローバルITサービス事業部 第四統括部 第五開発担当課長 坂巻資浩氏は大きく2つあるとしています。ひとつは「処理の切り出し」で、ファイル間の連携を考慮し、切り出せるジョブを「2000くらいまで絞り込み、さらに900ジョブまでは自動で抽出した」（⁠坂巻氏）とのこと。もうひとつは「まずHadoop基盤を作る」ということにフォーカスした点です。将来を見据えた最適なプラットフォームとして今後も継続して運用していくためにも、最初に強固なHadoop基盤を作ることを第一の目標に掲げたと振り返っています。

三井住友カードの事例は、レガシーを多く抱える金融機関はもちろんのこと、多くのエンタープライズ企業にとっての共通の悩みに対するアプローチとして、参考になる部分が多いのではないでしょうか。Hadoopという業界での稼働実績があまりないプラットフォームを選ぶ、これは同社にとって"いままでしたことがない決断をした"瞬間であり、リスクはあるものの、結果として新しい一歩を踏み出すことにつながっています。「⁠モノとビジネスのギャップを埋める」というのはこういうことなのかもしれません。

賃貸事業のリスク分析基盤をHadoopで構築 ―大東建託

2つめの事例は、賃貸住宅管理で業界トップの実績をもつ大東建託のユースケースです。基調講演に登壇した大東建託 情報システム部 システム開発課 板谷隆史氏はまず、「⁠建物賃貸事業のリスク」として以下の7つを挙げています。

1. 空室リスク
2. 家賃下落リスク
3. 家賃滞納リスク
4. 退去時費用負担リスク
5. 建物老朽化リスク
6. 火災/地震被害リスク
7. 借入金変動リスク

このうち、大東建託が自社のリスク「賃貸経営受託システム」としてカバーしているのが1～5までのリスクです。これらは大きく「家賃収支管理」と「修繕収支管理」に分けられ、精緻な分析が必要にもかかわらず、既存のリスク分析基盤は

• あらかじめ定義した軸による定型的な集計結果しか見ることができない
• 営業所単位など絞り込まれた情報による粗い分析しかできてない
• 分析に至るまでの手順や方法が個人スキルに依存している
• データの抽出や加工に時間を要し、タイムリーに対応できていない

という課題を抱えていました。そしてこれらを解決するために選んだのが「ミドルウェアにHadoop、BIにSAS Visual Analytics」という構成です。板谷氏はその理由として「今後さまざなデータを蓄積し、掛け合わせて分析していくためにも、柔軟な拡張性を備えたHadoopが最適だと考えた。オープンソースであることもコストメリットが高い。またSASは個人スキルに依存することなく、誰もが直感的に分析でき、データ量やユーザ数の増加に対する拡張性を高く評価した」と語っています。

またNTTデータを選んだ理由として「Hadoopのリーディングカンパニーとして多くの知見が蓄積されており、NTTデータが執筆した産学連携ソフトウェア工学実践事業報告書に大きな感銘を受けた」（⁠板谷氏）ことを挙げています。大東建託はシステム構築に際しては必ず3社見積もりを取るという習慣があるそうですが、今回の場合「NTTデータが最安値というわけではなかった」と板谷氏は振り返ってます。それでも同社を選んだのは、やはりHaoop構築で数多くの実績を残していることが大きかったようです。「⁠NTTデータにはヒアリング専門の担当者がいたことにすごく驚いた。開発にずっとかかわってくれると思ったのに、突然いなくなってさびしくなった」（⁠板谷氏）と、プロジェクトチームとしても良好な関係が築けたことを語っています。

新しいリスク分析システムにより、多様な分析ができる環境が構築され、たとえば「部屋単位の情報を積み上げた建物単位のデータにもとづいた、精緻な分析が可能になった」「⁠間取り、地域、築年数などさまざまな切り口を組み合わせてかしかできるようになった」「⁠個人スキルに依存しない分析が可能になった」という効果が得られているとのこと。大東建託には「正直、ビッグデータと呼べるほどの大量なデータはいまはない」と板谷氏は言います。しかし、データ分析が同社の今後のビジネスを支えるのは間違いなく、その基盤となるプラットフォームにHadoopを選んだことで、多様で柔軟なBI環境を構築することが可能になりました。今後はさらにHadoopでの実績を積み上げ、「⁠いままでにないような、新しい切り口による発見や未来予測につなげていきたい。また、これまでの粗い分析しかできなかった基盤では根付かなかった"アナリティクスの文化"を定着させていきたい」と板谷氏。新しい分析基盤だけでなく、新しい企業文化もまたHadoopによってもたらされたと言えるのかもしれません。

イベント終了後、下垣氏にお話をうかがったところ、「⁠Hadoopへの興味をもつレイヤが変わってきている」とコメントをいただきました。一般的なHadoopのイベントの参加者は開発者が多く、内容も技術的なトピックに偏りがちなのですが、今回はビジネスユーザの参加が非常に目立ったとのこと。これまでよりも幅広い層にHadoopが知られるようになっているのはたしかなようです。3トラックで用意された午後のセッションにも多くの来場者が詰めかけ、あらためて、データアナリティクスの基盤としてHadoop/Sparkが注目されていることを実感しました。

300人以上の来場者のそれぞれのレベルにあわせてHadoopやオープンソースのセッションを用意するのは、1社だけではかなり負荷が高いように思えますが、それを回せるだけの人材がNTTデータに揃っているともいえそうです。今後も三井住友カードや大東建託のような良いHadoop事例を積み上げ、オープンな新しい技術によるインフラの拡張がビジネスに結果をもたらすシーンを、同社が数多く作り上げていくことが期待されます。