Elastic製品のご紹介 Elasticスタック、X-Pack、Elastic Cloud、 Elasticサブスクリプションパッケージ 12016年年3⽉月 今⽇日の現実的な問題を解決するミッションクリティカルな アプリケーションを強化するために、お客様がご⾃自分のデータを リアルタイムで活⽤用できるようにします 55,000以上 コミュニティ メンバー数 2 40,000以上 1,800以上 オープンソース製品への コミットメント件数 サブスクリプション 顧客数 ダウンロード件数(百万単位) 5千万件以上のダウンロード数(現在も増加中) 50. 30. 10. 現在までの全Elastic製品の累累積ダウンロード件数 2012年年 3 2013年年 2014年年 2015年年 2016年年 グローバルな顧客 ハイテク ⾦金金融サービス テレコム ⼩小売業 4 現実の問題を解決 リアルタイムの 臨臨床判断により 患者ケアを改善 5 グローバルな ⼈人⾝身売買問題の 解決に活⽤用 1⽇日に30〜~40億件の イベントをマイニン グしセキュリティ インテリジェンス を確保 ホスト型の Elasticsearchにより ⾃自社ビジネスに専念念 取引の最適化から ⼈人材採⽤用に⾄至るまで 数多くのユースケー スに活⽤用 優れたツールはあるが、それらは分散アプリケーションの 構築に必要となる今⽇日の主な要件を満たしていない 独⾃自の システム ⾼高度度なスケーリングとバッ チを提供。 リアルタイムはサポートし ない 6 構造化データ、複雑な結合を サポート。⾮非構造化 データはサポートしない Key/Valueストア、 スキーマレスをサポート。 分析機能は含まれていない 単⼀一のユースケースを サポート。複数のユースケー スをサポートするようには 構築されていない 今⽇日の開発に必要な要件 7 ⽔水平的なスケーリング リアルタイムの利利⽤用可能性 柔軟なデータモデル 迅速なクエリ実⾏行行 洗練されたクエリ⾔言語 スキーマレス Elasticは分散アプリケーションの構築を簡単にします データ 複雑/多種多様 ソーシャル 位置情報 ユーザーアクティビティ ユースケース 多数のユーザー / ユースケース アプリ 検索索 組み込み型 の検索索 ログ分析 セキュリティ 分析 マシン/ログファイル ドキュメント 運⽤用の分析 バリュー/ビジネス影響 短期/中期/⻑⾧長期 収益の増加 新しいアプリや、収益化サービ スを開始:ユーザーエクスペリ エンスのパーソナライズ コスト削減/リスク管理理 次世代アーキテクチャ、既存シ ステムの再ツール化、リスクお よびコンプライアンスの管理理 その他 開発者要件を満たすことが可能 ⽔水平的な スケーリング 8 リアルタイム の利利⽤用可能性 柔軟な データモデル 迅速な クエリ実⾏行行 スキーマレス 洗練された クエリ⾔言語 Elastic社の製品ポートフォリオ Elastic スタック セキュリティ Kibana ユーザー インターフェイス アラート 保存、インデックス、 分析 Elasticsearch + X-Pack 取り込み Logstash Beats Elastic Cloud 9 監視 グラフ あらゆる業種で多数のユースケースを解決 IT運⽤用 アプリケーション管理理 セキュリティ分析 セキュリティ マーケティング洞洞察 ビジネス配備 顧客センチメント分析 ログ分析 内部システム / アプリケーション Webサイト検索索 内部/イントラネット検索索 URL検索索 アナリティクス 外部システム / アプリケーション 開発者 IT / 運⽤用 ビジネスユーザー 10 検索索 elasticsearch 11 保存、インデックス、分析 分散型かつ スケーラブル 開発者にとって 親しみやすい 検索索と分析 • 弾⼒力力性のある、スケール アウトを考慮した設計 • スキーマレス • リアルタイム • ネイティブなJSON • 全⽂文検索索 • クライアントライブラリ • 集計 • Apache Lucene • 地理理空間データ • ⾼高可⽤用性、マルチテナン シー • 構造化/⾮非構造化データ に対応 12 • 多⾔言語データ カラム型ストア ⽇日付 ストア 製品 顧客 通常の逆インデックスではない 13 価格 地理理的ロケーション 14 パイプライン集計 70 70 60 60 50 50 40 40 30 30 20 20 10 10 Thu 31 August Smooth Average 平滑滑移動平均 15 Aug 03 Tue 05 Data Value データ値 Thu 07 Sat 09 Mon 11 Upper Control Limit 上部管理理限界線 Wed 13 Fri 15 Aug 17 Tue 19 kibana 16 可視化と探索索 洞洞察の発⾒見見 カスタマイズと 共有 アプリ構築向け UXプラット フォーム • データ内に存在するパ ターンの探索索と分析:任 意のレベルへのドリルダ ウンが可能 • 棒グラフ、折れ線グラフ や散布図、マップ、ヒス トグラムの作成 • 組込み可能なアーキテク チャ:ダッシュボードや可 視化をアプリとして作成 • ダッシュボードを共有し、 運⽤用ワークフローに組み 込み • セッション管理理、ユーザー ロール、セキュリティ統合 • Elasticsearchの強⼒力力な 分析機能を活⽤用 17 ⿊黒の画⾯面再び 18 フィールドフォーマッタ― 19 ヒートマップ 20 Timelion 21 logstash 取り込み 22 取り込み ES-Hadoop • データ収集とリッチ化: 200種類以上のプラグイン • 次世代データパイプライ ン:マイクロバッチ。イベ ントのグループを処理理 23 • 軽量量型データシッパーを 構築するためのプラット フォーム • ホストベースの数値指標 やあらゆるデータを Elasticsearchに転送 • HDFS、Spark、 MapReduceなどとの統 合を⾏行行う双⽅方向型のコネ クタ • Hadoopデータに関する リアルタイムの検索索クエ リを実現 収集、リッチ化、転送 分析 ログおよび数値指標データ Elasticsearch + 任意のデータストア アラート Watcher+任意の通知ツール センサーおよびデバイスデータ Webおよびソーシャルデータ 監視 Marvel+任意の監視ツール データストアおよびストリーム アーカイブ Hadoop+任意のクラウドストレージプラット フォーム 24 軽量量型データシッパー 25 Libbeat Packetbeat Topbeat ホストベースの数値指標を Elasticsearchに転送するための ライブラリ Web、データベース、任意の ネットワークプロトコルに関す るリアルタイムのネットワーク パケット分析 CPUやメモリなどのリソース利利 ⽤用率率率に関するデータを収集 Filebeat Winlogbeat {Future}beats ログファイルの収集、前処理理、転 送を⾏行行う次世代のLogstashフォ ワーダー Windowsイベントログからシス テム、アプリケーション、セ キュリティに関する情報を収集 http、Redis、Nginx、Docker、 Twitterなどのデータを収集する beatsがコミュニティにより多数 作成されている Packetbeat 26 Topbeat 27 Elasticsearch for Hadoop Hadoopから Elasticsearchへの直接 的なインデクシングを 実施 Hadoop経由で Elasticsearchへの クエリを実施 ElasticsearchをHDFS にバックアップ 28 Elasticsearch Kibana x-pack 29 X-Pack:単⼀一の拡張 30 セキュリティ アラート Elasticスタック⽤用の セキュリティ機能 (Shield) Elasticスタック⽤用の アラートおよび通知機能 (Watcher) 監視 グラフ Elasticスタック⽤用の 監視機能(Marvel) リアルタイムのグラフ分析。 Elasticスタックの新しい ユースケースを実現 X-pack セキュリティ アラート 監視 グラフ セキュリティ 基本セキュリティ • ユーザー名/パスワードによる保護 X-pack ⾼高度度なセキュリティ • LDAP/ADとの統合 • ロールベースのアクセス制御 • IPフィルタリング • フィールドおよびドキュメントレ ベルのセキュリティ • 暗号化通信 • 監査ロギング 31 セキュリティ アラート 監視 グラフ セキュリティ フィールドおよびドキュメント レベルのセキュリティ 32 セキュリティ セッション管理理 ログインおよびログアウト機能 開発者以外にも利利⽤用を拡⼤大 33 アラート 基本設定 • データに基づいてWatcherを作成 X-pack • ⾃自動通知をトリガ • チェーン⼊入⼒力力の設定 通知と統合 • Slack、Hipchat、JIRA、Pagerduty • 電⼦子メール • Elastic監視機能(Marvel) • その他 34 セキュリティ アラート 監視 グラフ アラート アラートと通知をトリガする 場合のワークフロー アラート • 通知 • 項⽬目2 • 項⽬目3 35 監視 Elasticsearchの監視 • すべてのクラスタとノードに関す るリアルタイムの統計量量と数値指 標を収集 X-pack 問題の診断 • 過去またはリアルタイムのデータ を分析することで根本原因を分析 パフォーマンスの最適化 • 詳細分析を使⽤用することにより クラスタの性能を改善 36 セキュリティ アラート 監視 グラフ 監視 37 グラフ リアルタイムのグラフ分析 • 検索索のスピードおよび関連性ランキング をグラフ探索索と結合 X-pack • データにおけるグラフ関係性を⾃自動的に 可視化することで最も重要な関連性を 特定 • ユースケースの新しいセットの拡張と 実現:⾏行行動分析、不不正⾏行行為、サイバー セキュリティ、創薬、推奨事項など • APIおよび/またはUIを通じて消費 38 セキュリティ アラート 監視 グラフ グラフ 39 cloud 40 ホスト型のElasticsearch Elastic社のエンジニアによりサポートされている唯 ⼀一の公式なホスト型のElasticsearch製品 • 常にElasticスタックおよびX-Packの最新リリース によりサポート • 開発環境で開始し、本番環境へとスケーリング、 任意の時点でスケールアップ/スケールダウンを 簡単に実施 • メモリ1GBごとに16GBのストレージを含めるこ とが可能 • レプリケーションにより⾼高可⽤用性を実現 • ElasticサブスクリプションパッケージによりSLA をサポート • データセンターは⽶米国、EMEA、南⽶米、東京、 シンガポール、シドニー 41 多くのユースケースをサポート 検索索 アナリティ クス ログ分析 Elasticサブスクリプション:製品+サポート+専⾨門知識識 セキュリティ テクニカル サポート アーキテクチャ/インデックス/シャードデザイン アラート 監視 グラフ 専⾨門知識識 開発環境 クラスタ管理理(チューニング) クエリ性能の最適化 本番環境 開発環境から本番環境への移⾏行行&アップグレード ベストプラクティス(Elasticスタック、X-Pack に関するもの) 42 Elasticサブスクリプションパッケージ 開発 ゴールド プラチナ Elastic Stack Elastic Stack Elastic Stack 製品 セキュリティ (Shield) 専⾨門家による サポート X-Pack アラート (Watcher) 監視 (Marvel) 無制限 サポートリクエスト 3名 指名サポート担当者の⼈人数 2営業⽇日 応答時間 43 セキュリティ (Shield) X-Pack アラート (Watcher) 監視 (Marvel) 無制限 サポートリクエスト 6名 指名サポート担当者の⼈人数 4時間 応答時間 重⼤大な問題 セキュリティ X-Pack アラート (Shield) フィールドレベルのセキュリティ ドキュメントレベルのセキュリティ カスタムレルム (Watcher) 監視 (Marvel) 無制限 サポートリクエスト 8名 指名サポート担当者の⼈人数 1時間 応答時間 重⼤大な問題 Elasticのコンサルティングサービス プライベートトレーニング コースあたり20〜~25名(最⼤大25名 まで)の受講者を対象 顧客向けにカスタマイズしたト レーニングを顧客の施設内で提供 Elasticの専⾨門家やパートナーが、 サブスクリプション顧客向けに提供 コースあたり2名以上の講師により 提供 受講者が15名以上の場合にコスト 効率率率が⾼高い(パブリックトレーニ ングと同じコースを提供) アーキテクチャ、設計、移⾏行行、統合 に関する助⾔言を含む グローバルトレーニングコース: purchases.elastic.co/ 44 コンサルティングサービス パブリックトレーニング プライベートトレーニングの申し 込み先: training@elastic.co 詳細情報: www.elastic.co/services Elasticのパートナー テクノロジーおよびプラット フォームパートナー テクノロジーインテグレーション、 認定資格、共同製品 ソリューション チャネルおよびソリューション パートナー システムインテグレーション、 コンサルティング、実装、 調達サポート ⽇日本国内リセラー 45 OEMパートナー Elasticsearchのサポートと プラグインをコアとする製品 およびソリューションに組み込み 導⼊入事例例: ワールドワイドおよび⽇日本の概要 46 “ Elasticsearchは、銀⾏行行向け 戦略略テクノロジーのトップ 5のうちの1つであり、こ れにより我々は⽂文字通り、 数⼗十万名もの⼈人々の時間を 節約できます ” Don Duet⽒氏、テクノロジー部共同経営者 Elastic{ON} ’15キーノートスピーチより 47 “ 我々はElasticスタックを使⽤用 して、⽕火星探査機から1⽇日4回 送信される3万件以上のメッ セージと10万件以上のドキュ メントをログ分析することで、 我々のスペースミッションを 最適化しています ” Dan Isla⽒氏 データサイエンティスト 48 “ 我々は、クリティカルな内部アプ リケーションの検索索と分析を有効 にすることで1⽇日に6千万件のクエ リを処理理しています。Elasticのセ キュリティプラグインを使うこと で、これらのデータのすべてを傍 受や破損から保護しています ” Peter Vulgaris⽒氏、ソフトウェアエンジニア 49 “ 我々はElasticsearchを使っ て1⽇日に4千万件の⽂文書を処 理理し、我々のグローバルな Webプロパティを通じてリ アルタイムの分析を提供し ています ” Graham Tackley⽒氏、アーキテクチャー部ディレクター 50 “ Elasticsearchは、すべての Wikimediaサイトを通じたバッ クボーンであり、毎⽇日数⼗十億件 のリアルタイムなユーザープレ フィックス検索索および全⽂文検索索 に使⽤用されています ” Chad Horohoe⽒氏 ソフトウェアエンジニアリング部⾨門 51 “ Elasticsearch、Logstash、Kibana は、1⽇日あたり3億件以上のイベン トに関するリアルタイムなインデ クシング、検索索、分析を可能にし ます。これにより、我社のネット ワーク、サービス、システムを、 セキュリティ上の脅威から保護で きます ” 52 Jeff Bryner⽒氏 セキュリティエンジニア “ 我々はElasticsearchを使⽤用し て、5千億件以上のドキュメ ントのインデクシングを⾏行行う ことにより、ミッションクリ ティカルなアプリケーション のリアルタイムなログ分析や 分析を実現しています ” Bhaskar Karambelkar⽒氏 シニアセキュリティデータ サイエンティスト 53 “ 我々はElasticsearchを使⽤用 することで、2億5千万のユ ニークなビジターにサービ スを提供し、5千万件のア イテムを売買し、世界中の 14のビジネスに関して1秒 あたり15万件のクエリを⽣生 成しています ” Peter Maas⽒氏 データおよびアーキテクチャ部⾨門ディレクター 54 “ Elasticスタックとそのプラ グインを組み合わせて使⽤用 することで、我々はテラバ イトのデータを通じた検索索 が簡単に⾏行行えるようになり、 サプライチェーンとロジス ティック運⽤用の最適化を実 現しています ” Oliver Cruickshank⽒氏 統合アーキテクチャ部⾨門最⾼高責任者 55 “ Elasticsearchは1秒間に最⼤大 400件のクエリ要求を処理理し ます。しかもダウンタイム はゼロで、遅延はミリ秒単 位です ” Jean-Pierre Paris⽒氏 技術主任 56 “ Elasticsearchにより、我々は 数千万の顧客とポリシーデー タをインデクシングすること が可能となり、新しい検索索パ ターンでデータを取得するこ とにより、弊社のアプリケー ションが新しいカスタマーエ クスペリエンスを提供できる ようにしています ” Christian Phan Trong⽒氏 アーキテクチャ部⾨門ディレクター 57 “ Elasticスタックを使⽤用するこ とで、弊社は1秒あたり最⼤大 6500件のメッセージを処理理し、 アプリケーション、Webサイ ト、サーバーからなるグロー バルな分散環境に関する運⽤用 上の洞洞察を獲得しています David Bruce⽒氏 プラットフォームエンジニアリング部⾨門 シニアマネージャー 58 ” あらゆる業種で多数のユースケースを解決 IT運⽤用 アプリケーション管理理 セキュリティ分析 セキュリティ マーケティング洞洞察 ビジネス配備 顧客センチメント(⼼心理理) ログ分析 内部システム / アプリケーション Webサイト検索索 内部/イントラネット検索索 URL検索索 アナリティクス 外部システム / アプリケーション 開発者 IT / 運⽤用 ビジネスユーザー 59 検索索 ケーススタディ: 株式会社はてな(はてなブックマーク) • 課題/背景 – はてなブックマークはユーザーの活動の集約と編集スタッフの編成 によるソーシャルブックマークサービスを提供 – 当初導⼊入したSolrでは、運⽤用⾯面、index・検索索クエリの仕様の貧弱さ、 リアルタイム検索索の弱さなどが課題であった • ソリューション – サービスに蓄積された過去から現在までの価値あるユーザーデータ をより活⽤用するためElasticsearchへの移⾏行行を実施した • 導⼊入効果 – 検索索基盤のリッチ化により、新企画の⾃自由度度が向上 – ニューストピックの⾃自動認識識、ユーザーの好みに応じた配信をする ニュースアプリ、検索索精度度改善といった技術的にチャレンジな内容 に挑戦しやすくなった • 今後 60 – はてなが運営するあらゆるサービスの価値ある情報を横断的に抽出 し、各サービスの価値を最⼤大化する検索索・集約基盤の構築を⽬目指す ケーススタディ: 株式会社ドワンゴ • 課題/背景 – どのようにして、⽉月800万を超えるアクティブユーザーに対して、増えていくサービスの検索索を 提供していくかが課題であった – 全⽂文検索索に求められる要件の質は⾼高まっており、導⼊入コストを下げるためにも全社的な統合検索索 基盤が求められていた • ソリューション – サービスを横断する統合検索索基盤として、全⽂文検索索を1秒以内という安定した応答性能で提供で きるようにする – 増加するサービスとユーザーに対して、無停⽌止かつ、適切切なタイミングで、スケールアウトでき るようにするなど • 導⼊入効果 – コンテンツ到達時間の短縮 – メンテナンスのコスト低下など • 今後 61 – 数億件規模のユーザーのお気に⼊入りデータの検索索や、ユーザーのアクションを検索索することによ るタイムライン機能への活⽤用などを計画 ケーススタディ: 株式会社ビズリーチ • 課題/背景 – 当初はクラウド型の全⽂文検索索サービスも検討していたが、 検索索精度度の詳細なチューニングができなかった • ソリューション – Elasticsearch / Elasticsearch for Hadoop 2.1 – Apache Spark 1.3 でのシステム構築 • 導⼊入効果 – プラグインを活⽤用することで検索索結果の柔軟な チューニングを⾏行行うことができるようになった – Apache Sparkと組み合わせることで⼤大量量データの ⾼高速なインデキシングが可能になった • 今後 62 – 柔軟なクラスタ構成を活かし、負荷分散しつつメンテナ ンスコストを下げる⼯工夫をしていきたい ⽇日本最⼤大級の求⼈人検索索エンジン 「スタンバイ」 ケーススタディ – 株式会社ホットリンク • 課題/背景 – 数百億のソーシャルメディアを瞬時に検索索が必要 – メディアに合わせた⾼高度度な分析がリアルタイムで必要 – 増え続けるデータに対して柔軟にスケールが必要 • ソリューション – Elasticsearch • 導⼊入効果 – 数百億の記事検索索が1秒以内に可能 – ⾃自然⾔言語処理理の分析プラグインをElasticsearch⽤用に作成し、 Elasticsearchを活⽤用したSNS分散分析フレームワークの構築 を実現。(Hazelcast,akka/Dynamoとの連動) – データ増に対して柔軟にサーバーの台数増加で対応可能に • 今後 – さらに世界各国のソーシャルメディアを投⼊入 63 – ⾼高度度な分析フレームワークをマルチランゲージ対応 ケーススタディ– 株式会社インティメート・マージャー • 課題/背景 – 既存のビッグデータソリューションでは、数億件のデー タのアドホックな集計・分析が応答速度度的に困難であっ たため、検索索エンジンで対応可能なものを探していた • ソリューション – Elasticsearch + Python Client • 導⼊入効果 – 容量量や性能のスケールアウトが可能に – 億件単位のデータの集計が数秒で⾏行行えるようになった • 今後 – 検索索対象となるドキュメント数の増加や、スキーマの変 更更があったため、再度度パフォーマンスのチューニングを ⾏行行っていく予定 64 ケーススタディ– BlogPeople • 課題/背景 – 膨⼤大なブログ記事の全⽂文検索索をMySQLにより実装して いたが、⽇日々増加するデータに耐えきれずにいた • ソリューション – Elasticsearch 1.5.2 + kuromoji1.5 • 導⼊入効果 – CPU負荷もほとんどかかることなくインデックス化及び 検索索処理理が可能に。 – 導⼊入及び実装にわずか数⽇日しかかからなかった。 • 今後 – Elasticsearchに対する理理解がまだ深くないので、今後よ り学習しよりよい検索索結果が得られるようチューニング していく 65 ケーススタディ– エムスリー株式会社 • 課題/背景 – m3.comという医師・薬剤師を含む医療療従事者向けに医療療 ニュース・掲⽰示板・求⼈人情報等様々なサービス満載のポータルサ イト – 6つのサービスがSolrやLuceneを使って検索索機能を個別に実装 • ソリューション – 複数サービスで扱うコンテンツをElasticsearchに集約 • 導⼊入効果 – メンテナンス性が⼤大幅に改善され、新規サービス構の検索索実装 が容易易になった – 関連する記事やコメントを取得でき、ユーザの回遊性向上につ ながった • 今後 66 – m3.comが取り扱う全ての記事やコンテンツの横断検索索基盤と して活⽤用 ケーススタディ– 株式会社クラウドワークス • 課題/背景 – 「クラウドワーカーや仕事の検索索」というコアな機能を InnoDB FTSで実装していた – サービスが成⻑⾧長するに伴いボトルネックに • ソリューション – Elasticsearch + analysis-‐‑‒kuromoji on Found – 性能・リソース監視はNewRelicやDatadog • 導⼊入効果 – クラウドワーカーや仕事の検索索が平均10倍速に – サービス無停⽌止でスケールアップ・ダウン、 データ構造の変更更が可能に • 今後 – サービスのより多くの機能にElasticsearchを横展開 67 ケーススタディ– Increments株式会社 • 課題/背景 – Qiitaでは当初、MySQLでのLIKE SQLで検索索を⾏行行っていましたが、検索索対象や検索索回数の増 加、タグやストック数等のメタデータによる絞り込みなどを実現するために、Elasticsearch を導⼊入しました。 • ソリューション – 検索索アクションの応答性が改善しました。 – また、クエリの表現⼒力力が⾼高いので、新しくあがってくる要求にも、インデックスの変更更を伴わ ない限りは、柔軟に対応できるようになりました。 • 導⼊入効果 – “Elasticsearchでこういうことができるけど、これをQiitaに⽣生かせないか?”という技術ドリブ ンで施策を思いつくことがあります。 • 今後 – 検索索システム以外にも、情報の集約等を⾏行行っていきたいと考えています。また、Kibanaなど のツールの導⼊入も検討していきたいです。 68 ありがとうございました Webサイト:www.elastic.co 製品:https://www.elastic.co/products フォーラム:https://discuss.elastic.co/ コミュニティ:https://www.elastic.co/community/meetups Twitter:@elastic お問い合わせは下記までお願い致します。 elastic-‐‑‒japan@elastic.co 69
© Copyright 2024 Paperzz