Transcript ビッグデータのリアルタイム処理

「リアルタイム・データハブ」アーキテクチャ
ビッグデータを蓄積しながら、
同時にリアルタイムに処理するプラットフォーム
データの収集・複製・分岐
①データの
複製・分岐
データの蓄積・保存
リアルタイムに加工
？
データの分析
BIツール
ダッシュボード
Excel
SQL、JDBC、ODBC
Saleforce
API
③アドホック
データマート作成
②リアルタイム・デーマート作成
Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved.
Tableau
Motion
Borad
Jaspsersoft
④リアルタイム・モニタリング
Pentaho
その他のリアルタイム処理
他、BIツール
ダッシュボード
0
GUSTの機能
①データを複製・分岐し、リアルタイム処理
• 大量に発生するビッグデータを高速に複製・分岐し、
データの蓄積や、各種リアルタイム処理に投入
•
ビッグデータの活用では、バッチ処理的な分析以外にも、リアルタイ
ムで処理したいケースがあります。
•
このようなケースでは、データ発生直後に高速にデータを複製・分岐
し、ビッグデータの蓄積を行いながら、同時に各種リアルタイム処理
にデータを投入する必要があります。
• GUSTは、ビッグデータを？？？？？に格納しなが
ら、様々なリアルタイム処理を実行します。
Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved.
1
GUSTの機能
②リアルタイム・データマート作成
• ビッグデータの蓄積・保存と同時に、
リアルタイムでデータマートを作成
•
大量データ（ビッグデータ）は、その蓄積・保存にも多くの時間を要し
ます。例えば、今日のマーケティング・データを蓄積し、分析用のデー
タマートを作成し、実際に担当者が分析できるようになるまでに、通常
２～３営業日を要することになります。
•
分析担当者の「今日のデータは今日見たい」というニーズを実現するた
めには、蓄積・保存と同時に、データマートを作成する必要があります。
• GUSTは、？？？？？への蓄積・保存を
行いながら、同時にデータマートを作成します。
Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved.
2
GUSTの機能
②リアルタイム・データマート作成
• Before
•
ETLツールを使って夜間バッチ処理。
•
今日のデータを使った分析が可能になるのは、数営業日後？
• After
•
データを蓄積しながら、同時並行でデータマートを作成。
•
現時点までのデータを、いつでも取り出せ、すぐに分析できる。
Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved.
3
GUSTの機能
③アドホック・データマート作成
• ビッグデータを、様々な確度から、
「トライ＆エラー（＝アドホック）」で分析
•
ビッグデータから、価値のある情報を見つけ、ビジネスで活用するため
には、統計的な手法ももちろん必要ですが、PDCAサイクルを短い期間
で回していくアプローチも必要です。
•
大量のデータ（ビッグデータ）から、従来のETLツール等を用いて分析
用のデータマートを作成するのは長い時間がかかり、PDCAサイクルを
短くするという戦略に合致しません。
• GUSTは、？？？？？に格納されたデータを
高速でデータマートに変換。短時間でデータマート
が作成でき、繰り返し何度も処理できます。
Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved.
4
GUSTの機能
③アドホック・データマート作成
• Before
•
ETLツールを使って夜間バッチ処理。
•
例えば、新たな分析軸を追加したい場合、バッチ処理を修正してから、
データを再作成、再度夜間バッチ処理を実行する必要がある。
•
新たな分析軸を使って、実際に分析ができるのは数営業日（場合によっ
ては数週間）後？
• After
•
新たな分析軸を追加するために、GUSTの設定を変更。
•
数十分程度（※）で、すぐに新たな分析軸を使って分析が可能。
※データ量によって異なります。上記は数千万件程度のデータを想定しています。
Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved.
5
GUSTの機能
④リアルタイム・モニタリング
• ビッグデータの蓄積・保存と同時に、
リアルタイムでデータを監視
•
「大量のシステムログから、異常データを検知したい」、「システムへ
の不正アタックや、不正な決済の実行などを、速やかに検知したい」、
といったニーズに対応するためには、データを蓄積・保存してから、分
析していたのでは間に合いません。データが発生した瞬間に、それをモ
ニタリングし、異常値を検出、アラートする必要があります。
•
また、消費者の行動をリアルタイムにモニタリングして、その場での
クーポン発行・送付など、マーケティングに応用することも可能です。
• GUSTは、？？？？？への蓄積・保存を行い
ながら、同時にリアルタイムでデータを監視します。
Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved.
6
GUSTの機能
④リアルタイム・モニタリング
• GUSTが可能にすること
単純なログのフィルタリングだけでなく、
•
•
１時間以内に、○○が何回出現したか
•
１分間の平均値を計算して、平均が○○以上だったら
といった、時間軸を考慮した条件設定が可能。
複数のログをリアルタイムに突き合わせて、
•
•
Aログが○○という条件に合致して、同時に（１時間以内に）Bログが△△という条件
に合致したら
といった条件設定が可能。
Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved.
7
GUSTの機能
④リアルタイム・モニタリング（ユースケース）
•
•
情報システムの予防保守
•
システムの各種ログを収集。
•
DBでｘｘというログが出たあと、５分以内にApacheでｘｘというログが出た
ら、システムダウンの兆候なので、アラートを出す。もしくは自動リブートす
る。
不正な機密情報へのアクセスを検知
•
各種システムの認証ログ、アクセスログ、入館等のカードリーダーのログ、
WAFのログ、全PCの操作ログを収集。
•
カードリーダーの情報で、オフィスに入館していない人が、社内からログイン
して重要な情報にアクセスしようとしていたら、アラートする。
•
大量の個人情報をダウンロードした後、PCから当該ファイルをUSB等にコピ－
したり、ネットワークで転送していたら、アラート。
Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved.
8
GUSTの機能
④リアルタイム・モニタリング（ユースケース）
•
•
行動履歴からのクーポン発行（又は観光案内）
•
店舗Webサイト（又は観光サイト）のログと、スマートフォン内のアプリログ
（位置情報）とを収集する。
•
店舗Webサイト（又は観光サイト）に訪問した人が、その店舗（その観光地）
の近くまで来たら、即座にクーポン（観光情報、お土産情報）を発行する。
自宅の防犯
•
玄関ドアや窓の開閉、電気や照明のログ、家族の位置情報などの情報を収集。
•
家族が外出中にも関わらず、ドアの開閉や電気の使用があった場合や、普段と
異なる利用パターン（※）が検知された場合に、セキュリティ会社に通報。
※「普段と異なる利用パターン」を見つけるには、別途ビッグデータ分析が必要。
Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved.
9