2015/12/31

Elastic{ON} Tour 2015 in Tokyoに行ってきました

12月16に開催された Elastic{ON} Tour 2015 in Tokyo に参加しましたのでその雑感を。

ログ可視化の手段を探してようやく Elasticsearhch + Kibana に辿り着いて、1 ヶ月程度使い方を模索している程度の知識での雑感です。

当日の詳しいレポートは、リアルタイムツイートならぬリアルタイムブログとして Acroquest Technology 株式会社の技術ブログに非常に詳しくまとめられていますので、そちらを参照ください。

製品概要とロードマップ紹介

Elastic Stack, Elasticsearch

Elastic 須田さんのオープニングトークでスタート。 CTO の Shay Banon さんによる製品概要。Elasticsearch きっかけが、奥様が使うレシピ検索を Java + Lucene で作ったというのが素敵だなと思いました。 Elastic スタックの事例として Wikimedia、Mozilla、NASA、Verizon が紹介されていました。

Firefox のクラッシュレポートが ELK スタックで処理されセキュリティ対策に使用されているとは思いませんでした。

Elasticsearch はカラムストアでもあるというところで doc_values パラメータが紹介されていました。

_source と同じようなものなのでソート、集約に不要なのであればディスクスペース節約のために無効化できそうです。

Kibana

デモでは先日公開された Timelion プラグインも紹介されていました。

Kibana は D3.js の良いサンプル、とのくだりは頷けました。思い描く作図に辿り着くまでが難しそうで D3.js を試したことはありませんが、Kibana を使うとこんなに見栄えあるグラフが手軽に描画できます。見たいデータをバブルチャートやヒートマップを使って手軽に表現したいものです。

Logstash, Beats

Ingest と言うカテゴリで Logstash と Beats の紹介。Elasticsearch へのデータ投入は Embulk で既存ログをバルクロードする方法しか試したことがないですが、国内ではこの手のログコレクターとして Fluentd の名をよく聞きます。Logstash も input や output など 200 を超えるプラグインがあるのですね。

先日発表された Beats についてはファイル転送、各種リソースモニタリングなどとてもパワフルだと言うことが分かりました。Packetbeat の Kibana テンプレートは、試して Visualize や Dashboard の参考にしようかと思いました。

Extensions, Found

プロダクションユースでは必要となる監視やセキュリティ、通知について。そして ELK スタックを提供するクラウド Found の発表。

ランチ

カスタマー事例紹介

株式会社リクルートテクノロジーズでの全社検索基盤（Qaas）、全社プッシュ通知基盤（Pusna-RS）の事例。各サービスサイトを共通の検索基盤でまかない、それを日々 Hadoop＋Spark でチューニングしてフィードバックするという検索エコシステムの紹介。

Naver でのログシステム NELO2 の事例。規模の大きさに圧倒されましたが、クラスタやホットデータの使い分けやパーコレータの存在を知ることが出来ました。

  • インデックスは日ごとにひとまとまりで、各サービスごとに type を分けている
  • クラスタはマスターノード（node.master: true）、データノード（node.data: true）、クライアントノード（node.master: false, node.data:false）に分けている
  • 直近 1 週間のデータは SSD Data Node、それ以外は HDD Data Node と使い分けている
  • リアルタイムアラートとして、パーコレータ API を用いている

日本経済新聞社での記事検索とログの可視化の事例。Elasticsearch の転置インデックスとして作成されたワードをキーフレーズに活用するというのはなるほどなと思いました。アクセスログの可視化については、一部はログ分析勉強会で伺った内容もあり、復習になりました。応答時間はよくありますが、転送バイト数から、未圧縮のファイルを見つけて帯域節約できたというのも参考になりました。

星野リゾートでの情報共有の事例。経営判断を正しく行うために、稼働情報、生産性情報、満足度情報などの情報共有は必須。その基盤として Elasticsearch にあらゆる情報を貯めて、必要最小限の Kibana ダッシュボードを作って仮説検証、計測、学習のフィードバックループで Value Ops を実践しているというのはすごいなと思いました。可視化の事例として、「チャネル別予約部屋数」「チャネル別積み上げブッキングカーブ」などが紹介され、「週ごとの獲得室数」では 1年前のデータも表示されており、工夫すれば異なる時系列のデータをひとつのグラフに表示することが出来るのだなと思いました。

Goldman Sachs での事例。GitHub から Elasticsearch のソースコードを取得して内部でビルド。セキュリティやバックアップのプラグインを作成して、700 を超えるノードで注文などの検索、各種文書の全文検索、JVM やネットワークなどのメトリクス、トランザクションデータのリアルタイム検索、データ分析などさまざまな用途に利用。注文検索では RDBMS からの履歴データと注文管理システムからのリアルタイムデータを分けて分析していたが、それらを同じスキーマにまとめて Elasticsearch に保存することで、履歴データもリアルタイムデータもまとめて高速に分析。GS でオープンソースといえば GS Collections が浮かびますが、Java やオープンソースプロダクトを相当に活用しているなと思いました。

Elastic テクニカルセッション

ElasticスタックとTipsの紹介

Elastic 大谷さんのセッション。Logstash プラグインの紹介、Elasticsearch の各種動的なテンプレート機能の紹介、Kibana の Sense プラグインなどの Tips は、どれも blog で拝見していましたが非常に参考になりました。Kibana の Visualization Editor の Preview Canvas 下方にある上矢印（visualize-spy）は、Elasticsearch へのクエリを確認できるようなので活用できたらなと思いました。

Elasticスタックを使用したセキュリティ関連のユースケース

IDS やファイアウォールなどセキュリティ製品のイベントログを使った攻撃判定の可視化事例。一意の攻撃者数、標的数、ポート数や疑わしい動作の検出。Watcher を使ったアラートと通知の事例。分析をし易くするため、ログのフォーマットはいくつかの標準(STIX,CEF,CIM,LEEF)を考慮するようにとのことでした。

LT

いくつかお話しがありましたが、お酒も入ったこともありほとんど覚えていませんでした。。。

おわりに

スタッフの方々の気遣いや、配付資料、同時通訳、無限コーヒー、お弁当、モバイルバッテリーのお土産まで、無償なのにとても素晴らしい1日を過ごせたイベントでした。ありがとうございました。

日々のシステム運用においてログから変化の兆候の気づきを少しでも早く、共有できないかと書籍等で可視化の可能性を調査して ELK の存在を知りました。しばらく Elasticsearch と Kibana を試してある程度使い方が分かってきたところで今回のセミナーを聴講して、ますます Elastic 製品をいろいろと試してみたくなりました。年明けにも勉強会が開催されるようですのでこちらも楽しみです。

at 14:09
このエントリーをはてなブックマークに追加

0 件のコメント:

コメントを投稿

登録: コメントの投稿 (Atom)