Copyright © 2013 Splunk, Inc. ＩＴ運用とビッグデータの意外な関係とは Splunk Services Japan 合同会社チャネルセールスマネージャ須田孝雄 (tsuda@splunk.com) Spelunking; 洞窟探検 Splunking; ITシステムの探索・調査 2 会社概要社名 Splunk (NASDAQ上場: SPLK) • 2004年創業、2006年、ソフトウエア第1号を発売 • 本社:サンフランシスコビジネスモデル / 製品 • オンプレミス、クラウド、サービスとしてのソフトウエア 90カ国以上で6400社+の顧客 • フォーチュン100の100社中63社が利用 • 最大ライセンス:1日あたり200 テラバイト超ビッグデータ・イノベーター分野1位* ビッグデータ・ベンダー（専業企業）分野1位** * Fast Companyによる最も革新的な企業ベスト発表号(2013年3月) ** Forbes/Wikibon (2013年2月) 3 Make machine data accessible, usable and valuable to everyone. マシンデータを、すべて人に、アクセス可能に、便利なものに、そして価値あるものに。 4 業界でのアワード #1 ビッグデータ・イノベーター #4 革新性 2013年 SIEM マジック・クアドラントリーダー北米ベストSIEM 世界1位 2012年 IT運用マーケット成長ベスト・エンタープライズ・セキュリティ・ソリューション EMEA 世界3位 2012年セキュリティマーケット成長 5 CeBIT.AU トップビジネス・ソリューション・ビジネス賞 CeBIT ICT 優秀賞業界をリードするマシンデータ向けプラットフォームオペレーショナルインテリジェンス様々なマシンデータ Online Services サーチ調査 Web Services Security Servers GPS Location Networks Storage Packaged Applications Desktops Messaging Online Shopping Cart プロアクティブリアルタイム運用の可視化モニタリングビジネス洞察 Telecoms Custom Applications RFID Energy Meters Databases Web Clickstreams Call Detail Records HA インデックス、ストレージ Smartphones and Devices 6 汎用的なサーバ時系列（タイムスタンプ）アスキー（テキスト形式） 7 SplunkはITシステム全体を横断するリアルタイムビジネス洞察あらゆるマシンデータからリアルタイムにビジネス洞察を支援クラウドサービスオペレーションの見える化インフラの全体を俯瞰、パフォーマンス追跡、ユーザトレンドの分析、キャパシティプランニング、インフラ全体のSLAを維持独自アプリケーションパッケージアプリケーションプロアクティブモニタリングインフラの継続監視による事象、問題の把握、顧客、サービスが重大なインパクトを受ける前に対処インフラストラクチャー仮想環境検索と調査組織、システムを横断した、問題の発見と調査(問題解決時間の短縮、エスカレーションコスト削減) サーバ、ストレージ、ネットワーク 8 豊富なSplunk Apps（アプリケーション） Splunk Appsサイトで450種類以上のアプリケーションが利用可能 XenApp XenDeskto p サーバ、ストレージ、ネットワークサーバ仮想化 OS インフラアプリケーションモバイルアプリケーションクラウドサービス独自・ビジネスアプリケーション Web Framework SDKs REST API トラブルチケットヘルプデスクその他・監視 9 IT・ビジネスユーザ向けオペレーショナルインテリジェンス IT 運用管理インダストリアルデータ、Internet of things デジタルインテリジェンスアプリケーション管理セキュリティコンプライアンス Customer Operations System Support Teams Administrator Application Developers ビジネス分析 Security Analysts 10 Auditors IT Website/Business LOB Owners/ Executives Analysts Executives 90カ国以上、6400以上のお客様 Cloud and Online Services Education Energy and Utilities Financial Services and Insurance Government Healthcare Manufacturing Media Retail Technology Telecommunications Travel and Leisure 11 IT運用におけるSplunkの活用の効果収益の拡大システム継続性コスト削減生産性向上セキュリティリスクの低減デベロッパプラットフォーム (REST API, SDKs) Small Data. Big Data. Huge Data. 迅速なサービスの提供、最適化 Splunkの活用により〜機会損失を防ぎ、効果的なインフラ投資に役立てる〜 • 課題／背景 – – • ソリューション – – • 機会損失を防ぐ事が出来るようになった(投資対効果が高い) 非エンジニアによるテクニカルサポートが可能に (Viewerとして渡せる) 効果的なインフラ構築が可能付加価値として、豊富なアドオン(Splunk App)の活用データソース – • テクニカルサポートと開発部門でSplunkを活用。 Apacheアクセスログ(レスポンスタイムを追加してSplunkへ)からパフォーマンス対策と潜在的なクレーム対応処理導入効果 – – – – • 見込み客管理システムでのパフォーマンス劣化へのピンポイント解析 (数百社、数千カスタムアプリ) 利用者が感覚的に感じている不満を数値として分析出来ていなかったメール配信ログ、Apache、アプリケーションログ、APIログ今後の展望 – データソースを増やしてより広範囲なSplunk活用を検討 13 IT運用 IT運用 1日あたり数百GBのログを効果的に蓄積「京」のシステム運用に安心感を提供〜各システムの個別および横断的なログ管理を実現〜 • 課題／背景 – – – • ソリューション – • Splunkを採用したシステムの横断的なログ監視・監視システムの構築スーパーコンピュータ「京」高い操作性で検索が非常に容易ログを蓄積する場所を分散でき、一括検索可能 Splunkの利用者の権限設定が容易 REST APIによる容易なアプリ連携圧縮機能やスケールアウトの拡張性データソース – ネットワーク・システム system 本体 Internet-SV 周辺ｻｰﾊﾞ機器 Edge-SW Network 機器 Edge-SW 京用Indexer データ抽出京システム運用事業者システム稼働状況ログ京システム管理者ｽﾄﾚｰｼﾞｼｽﾃﾑ Edge-SW Core-SW 各種サーバ Edge-SW Edge-SW Net用Indexer search head 設定変更状態確認 HPCI用Indexer search head システム全体の状態・異常およびセキュリティの監視全体システム監視者 HPCIサーバ群の状態・異常監視ネットワークの状態・異常監視 HPCIサーバ管理者ネットワーク管理者詳細分析状況を確認し、各担当者に対応を指示定期レポート異常事象の報告全体統括管理者 14 HPCIサーバ群大規模ｱｰｶｲﾌﾞ Firewall Appliance 導入効果 – – – – – • システムから出力される膨大なログの効率的な管理システムごとのログ管理と横断的なログ管理の両立効率的なログの蓄積と高速な検索、柔軟な分析機能計算科学研究機構内各システム企業成長の加速に寄与 “SplunkはCloudShareのビジネスの中核をなしています。我々はSplunkを活用して顧客動向からより詳細なインサイトを得ています。これは何より我々のビジネス成長に寄与している.” Elad Gotfrid, Director of IT Splunkを広く採用し、ITとビジネスデータの分析に利用 • • • • IT運用、営業、マーケティン部、サポート部門、開発部門、経営幹部に対して集中的なシステムを提供顧客の訪問動向の分析。特にフリーから有償へ移るとき、マーケティングキャンペーン効果分析、ビジネスレポーティングを実施お客様毎のインフラストラクチャーコスト、利用状況も検索サポート/開発部門での早期問題解決に 15 ビジネスソリューションの早期デリバリーに寄与 Splunkは、特にマルチティア環境での性能問題の発見と修正に寄与。プリプロダクション段階でのSLA確保に役立っている。具体的には実施出来るテストの回数が倍になった Amit Sehgal Performance & Scalability Engineer デリバリー速度を2倍に • • • • • プロダクションシステムおよび開発テストの両方に利用証明書の配信事業の障害状況を分析、トラッキング時間が90%削減アプリケーションのトラブルシューティング、性能の監視、サービスレベルの監視、レポーティング大規模な性能テストに活用コードをプロダクションに出す前にデータ処理に関する性能分析に役立っている。 16 リアルタイムなオペレーショナルインテリジェンス我々が欲しいデータの比較や関連づけが容易に出来き、およそ数時間で我々が必要としているダッシュボードを作る事が出来る。 Ty Prinkki Senior Operations Manager オペレーショナルインテリジェンスをSplunkで Splunk導入によって、システム障害の発生頻度を15%削減、結果として年間収益を120万ドルを確保運用効率が大幅に改善され、フルタイムの従業員1名を他の業務にアサイン。年間10万ドル(1000万円)の節約ログデータをSplunkに集約する事により、幹部へのダッシュボード生成し、契約のアクティベーションやキャンセルなどビジネスに関わる様々な評価分析が可能に 17 顧客満足度の向上 Splunkを使ったキャパシティ管理により、スーパーボールの広告戦略を取った際にも安定したシステムを保証出来た Jon Abend Splunkを活用し、200%のROIを達成 • • • • 顧客満足の障害となっているボットやクロスサイトスクレイピングトラフィックの分析統計的な比較分析により、性能を落としているアプリケーションを把握バナー広告の適切な展開、効率的な販売パフォーマンス維持、コンテンツを守る(セキュリティ)、トラフィック分析 18 ITコスト削減と複数ツールの統合化 Splunk我々が投資した製品の中で最高なものである。現在のサービスのスケールでも運用可能で、これからもSplunkは必要不可欠なツールである。 Lead Site Reliability Engineer 複数ツールの統合とMTTRの削減トラブルシュートにかかる時間を70%改善する事によりITコスト削減を実現 3つのデータセンターおよび400におよぶ仮想システムで構成される PingOne Applicationのデータ分析を集中化、生産性を大幅に向上複数ツールの統合が顧客要求に対するプロアクティブな対応を実現 19 デモンストレーション 20 ROI – 多種多様な変化に、迅速に、柔軟に対応収益の拡大システムの継続性生産性の向上コスト削減セキュリティリスクの低減サービスの最適化 Macys.com 自社のeコマースのインフラをプロアクティブに監視・分析数ヶ月かかったダッシュボード作成を1ヶ月かからず実装。Splunkでシステム全体を見通す事ができるようになり、100%の稼働時間を達成。全IT部門で100ユーザー以上が、役割毎にダッシュボードを作成して管理。インシデントあたり3000万円のチャンスロスを回避。 TransUnion 自社のインフラをプロアクティブに監視・分析システムのダウンタイムを90%改善。サービス(信用情報管理)の品質が向上し、収益upを実現。 HealthTrans 問い合わせから問題を特定するまで(ユーザトランズアクション調査)に7,8時間かかっていたものを5分で解決。 Large mutual fund コンプライアンス用途でSplunkを使用コンプライアンスレポートの作業が効率化。1ヶ月で費用回収ができた。 Large telecoms company セキュリティ監視に使用不正アクセス検知などセキュリティ脅威に対する監視と対応プランの作成、問題の傾向把握などが実現し、投資効果を1ヶ月で実現。 Top five US wireless carrier ARPU増とコスト削減につながるCDR分析提携するキャリアの中から最安料金となるルーテリングを選択し接続。提携キャリアのパートナーシップを強化し、サービス品質を向上。 21 グローバルでのユーザコミュニティ日本ユーザグループ SplunkLive! Japanイベント Splunkデベロッパ毎週3,000+ を超える訪問者 (dev.splunk.com) Splunk Apps & Answers 450+ を超えるAppsの提供 28,000+ Communityでの Q&A (日本語対応) 22 年次ユーザカンファレンスさっそく使ってみてくださいダウンロードしてからインストール完了まで数分です。 http://www.hitachi-solutions.co.jp/splunk/ 1. ダウンロード 2. マシンデータのインデックス 3. Splunkの利用を開始ありがとうございました