12月15日、六本木ヒルズにて、Elasic社の公式イベント「Elastic{ON} Tour 2016 in Tokyo」が開催されました。本稿では基調講演を中心にその模様をレポートします。
基調講演「ELKからElastic Stackへ」
基調講演は「ELKからElastic Stackへ」と題して、CTO＆創業者のShay Banon氏が話しました。
Elasticの歴史
始めに、Elastic社のこれまでの歩みを振り返りました。2010年2月に、分散型RESTful検索／分析エンジンであるElasticsearchの最初のバージョンをリリースしました。そして2012年に会社（当時の社名はElasticsearch）を設立しました。その際、Elasticsearchやそのエコシスムに投資することで継続的に作っていくこと、よりシンプルにすること、そしてこれらを使って実際の問題を解決してもらうことを目標に据えたと言います。
その後、2013年にはOSSのプロジェクトである、Elasticsearchのデータを簡易に可視化するためのKibana、ロギング用のサーバーサイドデータ処理パイプラインであるLogstashが会社に参加しました。そして2014年に、Elasitcsearchのバージョン1.0と、モニタリングのためのMarvel（現Monitoring）をリリースしました。
2015年には、1回目の「Elastic{ON} ユーザーカンファレンス」を催し、700名以上の参加者を集めました。そして社名を現在のElasticに変更しました。この変更は、Elasticsearchは中核ではあるけれども他のプロダクトもあること、そしてこれらの様々なツールを通じて、データ処理の問題に注力していることを示すためだったそうです。
その後、Found（現Elastic Cloud）を買収しました。これは多くのユーザーがホスト型のElasticsearchを求めていたからだと言います。また、Packetbeatチームが参加し、単一目的のデータ収集・加工、転送するための現Beatsが生まれました。
2016年、Elasticsearch、Logstash、Kibanaをまとめて表す略称として「ELK」という言葉がありましたが、その使用を止めて、「Elasitc Stack」という名称を使うように変更しました（理由は後述）。また、異常検知のためのPrelertを買収しました。
そして現在の総累積ダウンロード数は7,500万もあることを強調しました。Shay氏は、常にダウンロードしているユーザーのことを考えているとし、「成長していく中でユーザー体験を第一に考え、それが私たちのやる気の根源となっている」と述べました。
Elastic StackとX-Pack
Beatsがリリースされる前はElasticsearch、Logstash、Kibanaを通した処理をELK Stackと呼んでいました。ELK Stackはコミュニティから出てきた言葉で、Shay氏らも気に入っていました。
しかしBeatsもELK同様にコア技術であるため、ELK Stackという言葉にBeatsの名前をどのように組み合わせるか、という問題が出てきました。最初にELKBという略称を考えたそうですが、おおげさだと感じたそうです。そして、それぞれの製品だけで仕事をしているわけではなくチームで仕事していることを念頭におき、Beatsを含めたElK StackをElastic Stackという名前で呼ぶようにしたと説明しました。
さらに、Elastic Stackのそれぞれの製品を拡張する機能を一つにまとめてX-Packというパッケージを作りました。X-Packの機能には「Security」「Alerting」「Monitoring」「Reporting」「Graph」とありますが、X-Packとしてまとめたことで一括でダウンロードできるようになりました。
Shay氏は「会社として、これらの機能をどのようにコマーシャライズするかという時に、public extension point、つまりオープンソースを使いながらやっていくということです。これはサポートだけではなく、コマーシャルIPに私たちが投資していることでもある」と述べていました。
Elastic Stackとして一つにまとめてバンドル化したわけですが、構成される製品それぞれのバージョン番号の違いによる混乱という問題も出てきました。例えば、Elasticsearchの1.4はLogstashやKibanaのどのバージョンとうまく連携できるのか、すぐには分からなくなりました。また、一つのバージョンに対するサポート期間も問題になりました。そこで、Elastic Stack 5.0を発表した時に、X-Packを含むすべてのバージョンを5.0に揃えました。
Shay氏は「今回、Elastic Stack 5.0のすべての製品を一貫してリリースし、同時にElastic Cloudでも使えるようにしたのはすごかった」と振り返っていました。
ユーザー事例
そして、Elastic Stackのユーザー事例を紹介しました。
Elasticserachの出発点は検索と分析です。いまや世界中の企業やWebサイトが使うようになりました。例えば、Wikipedia、ebayのMarktplaats、GROUPONです。
Shay氏は、Elasticsearchを一番最初にリリースした時、間違いなく、これはいろいろな事例に使えるという直感はあったそうですが、どの分野で上手くいくかはその当時分かっていなかったと言います。そして、ログで使われるように進化したのは、Shay氏とっても驚きだったとのことです。
ここでShay氏が気にいってることは、Elasticsearchがロギングの問題解決を謳っていたわけではないことです。Logstashは複数のアウトプットを初日からサポートし始めたわけですが、Elasticsearchが最終的に残ったのは、ロギングの問題でもっとも能力の高かったからだと考えているそうです。そして今後もこのようにユーザーに必要される製品を提供し続けていきたいと話していました。
ユーザー事例としてログの分野で非常に使われ始めると、検索のみで使われていた時とは異なり、非常の大量のデータレートをハンドリングし、大量のデータそのものをハンドリングするようになりました。その結果、違った要件が多く生まれ、製品を改善するきっかけになりました。
今ではこのログの部分が、Stackの多くのユーザー事例になっています。例えばverizonでは、インフラストラクチャ、Webサーバ、アプリケーションから毎日収集するログは1.2TB以上に及びます。またNetSuiteでは、データセキュリティの要件を満たしながら毎日30億以上のイベントをやり取りしています。
そして新たなユーザー事例として、セキュリティ分野が台頭してきていると言います。というのもセキュリティ関連の分析ではログが多くの関連性を持つからです。Shay氏は「ログと同じくらい重要になってくると思う」と述べていました。
セキュリティ分野でのユーザー事例として、例えばCisco Systemsでは、1日に分析するデータ量がAMP（Advanced Malware Protection）クエリ130億、メール6,000億、Webリクエスト160億あります。またBNP Paribasでは、世界中のIT部門と業務部門のために20PB以上のデータを取り扱い、それによって分析を行ったり、セキュリティ関連のオペレーションをしています。
ここまででユーザー事例として3つの種類を紹介しましたが、多くのユーザーは一つ以上の課題を解決するために使っていると述べていました。
そして、Shay氏のお気に入りのユーザー事例を2つ紹介しました。一つがNASAです。例えば、火星にいるCuriosity Roverからデータが地球に届き、最終的にはElasticsearchのクラスタに入ってきます。そしてNASAのアナリストもKibanaを直接使ってデータを分析しています。また、それ以外にもログだったり、セキュリティだったり、Webサイトの検索でも使っています。もう一つがGoldman Sachsです。エンタープライズ検索、リアルタイムログ解析、トレード追跡アプリケーションなど、様々な問題解決のために何百ものクラスタを使っています。
Elastic Cloud
次にElastic Cloudについて紹介しました。Shay氏は、もっとも高成長を遂げているのがクラウドビジネスだと言います（2015年3月以来250%成長）。
Elastic Cloudでは、ホスティングされているElasitcsearchを提供しています。Activision Blizzard、GuideStar、Shopify、Docker、Octopart、Trooly など、多くの企業が使っています。
また、Elastic Cloudは製品としてみていると言及し、Amazon Web Services上に展開して使えることを紹介しました。また今後、Google Cloud Platform、Microsoft Azure、IBM Cloudでも同じように展開できるよう予定しています。
一方、Elasticsearchのクラスタをオンプレミスで使用したい企業も存在します。そういった企業に対しては、ダウンロードして組織の中で展開できるよう、Elastic Cloud Enterpriseという製品を準備中（2017年第1四半期末を予定）とのことです。これにより、様々なインスタンスを管理できるようになります。すでにパブリックのアルファ版があり、ダウンロードして試してみることが可能だと紹介しました。
Shay氏は、ホストしているElastic Cloudの多くクラスタが1、2Gといったレベルの利用で、小さかったことに驚いたと言います。これは、Elastic Stackを使って何が見えてくるかを試してみたいという要求が多いからだろうと指摘していました。
Prelertとの連携
次に数か月前に、Prelertと連携することになったことについて説明しました。
Prelertは、異常検知向けの優れた教師なし機械学習エンジンを構築しています。これまではユーザー自身が機械学習の機能をElastic Stack上で使っていましたが、これからはElastic Stack上でサポートされることになります。
仕組みとしては、まずElasticsearchからデータをPrelertに読み込みます。そして機械学習のアルゴリズムを走らせて、結果をElasticsearchに入れてKibanaの一部として可視化できます。
Shay氏は、さらにネイティブな形でElastic Stackと統合できるように深めてきたいとし、それは2017年の3月、4月といったタイミングで提供できるのではないかと言及しました。
Elasitcユーザーカンファレンス
最後に、3月7日〜9日にてサンフランシスコで、第3回 Elasitcユーザーカンファレンスが開催されることを告知しました。Shay氏は「技術者が一堂に集まり話し合えるチャンスなので、みなさんぜひお越しください」と述べ、講演を終えました。
Elastic社の講演
基調講演の後に、Elastic Stack 5.0の各製品について詳しく説明したセッションが行われました。簡単に紹介します。
Elasticsearch 5.0: 知っておくべきこと
シニアプロダクトマネージャーのShane Connelly氏は、Elasticsearch 5.0を紹介しました。ElasticsearchはElastic Stackの重要な核です。5.0をリリースするにあたり、Elasticsearchのコア理念「開発者フレンドリー」「スピード」「スケーラビリティ」の3つを押さえつつ、新機能を加えたことを紹介しました。
Kibana 5.0: Elastic Stackへの入り口
エバンジェリストの大谷純氏はKibana 5.0を紹介しました。データの視覚化と管理機能を持つKibanaがどのように進化してきたかを説明した後に、デモを行いました。開発者以外のユーザーでもより使いやすくなるように今後も改良を続けていくと話していました。
データの投入：BeatsとLogstash
Logstashディベロッパー Aaron Mildenstein氏は、Beats 5.0とLogstash 5.0を紹介しました。この2つは、あらゆるソースからあらゆる形式のデータをElasticsearchに投入するためのツールです。なお、Elasticsearh-Hadoop 5.0でApache Spark 2.0をサポートしています。
X-Pack: Elastic Stackを拡張する
商用製品エンジニアリングリード＆創業者 Uri Boness氏はX-Pack 5.0を紹介しました。シンプルにインストールできることをデモで示しました。
Prelert: Elastic Stackを利用した異常検知
ソリューションズアーキテクト 大輪弘詳氏はPrelertを使った異常検知を紹介しました。デモでは、一律の閾値を設定するだけでは見つけられないようなインシデントを、Prelertを使って教師なし機械学習させることでKibana上で把握できるようになることを示しました。
