「Hadoop生みの親」
そのカッティング氏が、
アイデアを具現化するのはコードだけではない
- ──2014年の
「Hadoop Conference Japan」 で来日された際にも、 gihyo. jpでインタビュー させていただきました。そのとき携わってるお仕事は、「Hadoopアンバサダー」 としてHadoopのビジョンの啓蒙役、 Apache Software Foundation （ASF） のボードディレクター、 そしてプログラマとしてコードを書く、 の3つということでしたが、 それは変わっていませんか？ カッティング氏
（以下C）： 実は半年前からコードを書くことはやめました。もう30年も毎日コードを書いてきたのですが、コードを書くためには集中が必要です。今日のように、 Hadoopエコシステムを説明するために人と会う仕事が増えて、 集中する時間が取れなくなりました。 もうひとつ、
コードを書く以外に、 私が世の中に影響を与えることができるようになったという点があります。企業戦略を考えるという、 新しい挑戦をすることになったのです。いまClouderaの共同創業者の一人、 Chief Strategy Officerのマイク・ オルソン （Mike Olson） 氏と2人で会社の市場戦略や技術的な戦略を立てています。 - ──それは予想外なお話ですね。これまでのダグさんの経歴を見ると、
生涯プログラマを続けられるとばかり思っていました。 C：私は、
自分がいつかエンジニアをやめる時が来ると思っていました。むしろこれほど長く続けてこれたことに驚いています。続けていく中で、 いくつかラッキーなことがありました。Luceneを開発できたこと、 Hadoopが生まれたこともそうです。そして今回もそのようなチャンスだと思っています。Clouderaが何か新しいことにチャレンジできているかどうか、 正しい道は何かを示していけたらと思います。 Hadoopはまさに
「テクニカルイノベーション」 と言えるソフトウェアでしたが、 そのアイデアはGoogleの作ったものです。アイデアをコードで具現化したものがHadoopでした。企業戦略も、 戦略のアイデアを具現化していく仕事です。その意味ではソフトウェア開発に通じるものがあります。OSSでは、 ソーシャルエンジニアリングを行うことでユーザのモチベーションを理解して開発を行っていきますが、 「カンパニーエンジニアリング」 もある意味同じです。世の中に大きな影響を与えるためにはClouderaはどうあるべきかを考えるのです。その方法論 （メソドロジー） を使って世界中の人々がソフトウェアを書くことで、 さらに大きなインパクトを世の中に与えることができると考えています。
「オープンであること」こそがテクノロジーの「ハート」
- ──技術的戦略といえば、
やはりHadoopが中心になると思います。ダグさんはかつて 「Hadoop Conference Japan」 で、 「Hadoopであらゆることができるようになる」 と言われましたが、 今はHadoopが比較的不得意とする分野、 たとえば商用RDBMS等のソフトウェアがもつ機能もゆくゆくはHadoopに置き換えられていくと思いますか？ C：たとえばOLTPなどの機能はHadoopがある程度
「吸収」 して発展させていくと思います。ただ、 ある目的に特化されたシステムをすべて置き換えるかというと、 それはありません。しかし多くのユーザが 「これくらいできれば十分」 と言えるレベルの性能や機能は、 これからどんどんHadoopで実現されるでしょう。HadoopクラウドはClouderaを中心に、 HDFS、 YARNとリプレースしながら変わっていくのが特徴です。データウェアハウスでできるようなこと、 サーチエンジンやグラフ分析、 機械学習といったさらに大きなものも、 将来はHadoopに吸収されていくでしょう。 昔は、
そのテクノロジーがなければその会社と言えないような、 代表的なテクノロジーを持つことが強みでした。しかし今ではそういう会社は自社のテクノロジーを進化させるのに苦労しています。我々はHadoopというテクノロジーが無くても構わないと思っています。テクノロジーの 「ハート」、 つまりスタイルを 「オープンであること」 に置いているのです。それが長期的には成功をもたらすと思います。 - ──一方で、
最近はAWSなどのクラウドベンダがそのマネージドサービスのひとつとしてHadoopを提供するようになっていますが、 今後Hadoopの利用は、 ユーザが直接Hadoopをインストールするのではなく、 こうしたサービスとしての利用が増えていくのではないでしょうか？ C：はい、
その通りだと思いますし、 その流れはある程度進んでいます。ただし、 その流れで行くと技術がどこか1つのクラウドベンダだけにロックインされる可能性があります。そうならないよう、 Hadoopの技術がAWSでも、 Microsoft、 あるいはGoogleでも、 多数のクラウドサービス上で同じように機能するように、 オープンなテクノロジーを守り複数のベンダに提供することで、 クラウドにおいてもClouderaはその役割を果たせると思います。 またHadoopの
（プロプライエタリな） コピーが現れ、 普及する可能性もあります。しかし、 オープンソースの魅力は、 テクノロジを変更することなく多くのベンダに対応できることです。それを我々は守っていきます。オープンであるおかげで周りが変わっても、 ユーザは単一の体験を得られるのです。
今まで使ってきた以上ものを世の中に与えたい
- ──企業戦略のお仕事を始めてから6ヵ月、
その間にダグさんの働きでClouderaが変わった、 といえるものはありますか？ C：良い質問ですね
（笑）。私はこの仕事に就いてから、 社外の人と会う時間が増えました。そのやりとりの中で、 ソフトウェアの品質を高く上げていくために、 これまで社内で行ってきたテストをいくつか、 オープンソースコミュニティに出すようになりました。これにより、 より良いプロダクトが生まれてきています。今後はテストだけではなく、 もっといろいろなことをオープンソースコミュニティに出していくことが、 Clouderaにとっても良い結果をもたらすでしょう。 - ──Apacheプロジェクトとの関わりは変わりましたか？
C：Apacheプロジェクトのボードディレクターは、
3年の任期を終え退任していますが、 ASFが重要であることに変わりはありません。ApacheとCloudera、 成功のためにはどちらも必要です。片方に良いことはもう一方にも良いのです。これは企業と社会の協調についても言えることです。 ティム・
オライリー （Tim O'Reilly） は 「オープンソース開発では自分が使うよりも多くの価値を生み出すべき」 と言いました。私もLuceneを開発していたときからコンサルティング料を生活収入としており、 ソフトウェア開発で直接の対価はもらっていません。自分が使ってきたものよりも多くの価値を社会に提供できたと思っています。Clouderaでもこの姿勢は同じです。消費するよりも多くのものを提供していますし、 今は企業戦略を考えることで、 多くを世の中に提供し、 世界をより良い場所に変えていくことができるのです。 - ──話を戻しますが、
ダグさんのように年齢と共にエンジニアからキャリアチェンジする方もいる一方、 生涯エンジニアを続けたい人もいます。40代、 50代でエンジニアを続けるために必要なものは何だと思いますか？ C：それは人によるでしょう
（笑）。ただ、 エンジニアであり続けるかは情熱 ─あるいは “野望” と言ってもいいでしょう─を持っているかによります。それがある限り、 50、 60、 70になっても活躍できると思います。年齢制限はありません。 私の場合、
先ほども言いましたがラッキーでした。開発した技術が思っていたよりもビッグになったからです。それが一度あっただけでも技術者としてラッキーです。おかげで 「Hadoopの父」 として皆さんが接してくれて、 私の言うことに耳を傾けてくれるようになりました。今ではコードを書かなくても、 こうしたインタビューや、 世界中の人とテクノロジーやオープンソースポリシーについて語ることで世の中に影響を与えることができます。 今は非常にシンプルに考えることができるようになりました。今までやってきたことを踏まえて、
自分にとって、 そして社会に貢献できる最もインパクトがあることは何なのか考えたとき、 答えは明確だったのです。
「今やっていることがうまくいかなかったら、