中西秀哉(NIFS) - LABCOM

Download Report

Transcript 中西秀哉(NIFS) - LABCOM

データ処理フレームワーク
構築への取組み
核融合科学研究所
LABCOMグループ
中西秀哉
'06/2/28-3/1
H17年度核融合データ処理研究会
1
背景

実験共同研究(遠隔実験参加)のための共通
データ取扱い基盤が国内に広まっていない



世界(米国)では… MDSplusが実質標準.
+Globusで米国FusionGridプロジェクトが成功
日本は?… ITBLを支える共通データ基盤がない!?
研究開発の要請


ITER-BA遠隔実験/計算センターの構築と融合(!)
全日本ST計画 … 遠隔データ収集&保存!?
全日本(!?)実験データシステムが欲しい
'06/2/28-3/1
H17年度核融合データ処理研究会
2
目的
小~大あらゆる規模の実験に受け入れられる
(共通)データシステムに求められるのは?
1.
安価なPC並列化によって1~1000DAQのスケー
ラビリティを実現… ユニット単価の低減が必須!
2.
動作は分散,運転は集約
実験データ・システムのTCO最少化
3.
商用パッケージから脱却.フリー化&公開開発
DAQプログラムの開発・保守手順を一般化・公開
共同開発&利用者コミュニティの形成
'06/2/28-3/1
H17年度核融合データ処理研究会
3
現状システムの例(LHD)
~増強やRT対応に柔軟な並行分散形態~
集約方式
LHD
並列数を上げてスケーラブルにI/O性能を増強できる
Real-Time収集にも計測毎にフレキシブルに対応可
'06/2/28-3/1
H17年度核融合データ処理研究会
4
LHD DAQの現状
1.
2.
3.
'06/2/28-3/1
TCOや構築コストは
本当に安いのか?
共同研究にふさわしい
形態か?
1~数計測の実験室で
使えるのか?
H17年度核融合データ処理研究会
5
理念と方針 ~コスト最少化を指標に~
実験データシステムのフレームワーク見直し必要!
1.
2.
3.
4.
5.
6.
7.
8.
9.
分散I/O処理 ⇒性能・スケーラビリティとコスト
DAQユニットの単価低減
安価なタイミングシステム
商用パッケージから脱却.完全フリーウェア上
運転(監視)の集約化・インテリジェント化
複数サイトをまたがる連携協調動作
高遅延広帯域ネットワークをベースに
ドキュメントの整備・充実
(実時間)帰還制御系との統合化
'06/2/28-3/1
H17年度核融合データ処理研究会
6
実験データシステムの構成要素を
再検証 ~あるべきフレームワークを探る~
1.
2.
3.
4.
5.
6.
7.
8.
対応デジタイザ (CAMAC,横河WE7x,cPCI/PXI, …)
DFE-PC間伝送 (ファイバ or ワイヤ)の要不要
DAQプログラム (ドライバ&API)
設定DB/データ所在DB
データ・ストレージ&サーバ
広帯域ネットワーク
データ取出しクライアントI/F (API→可視化ツール)
ユーザ管理/認証,データ防護
'06/2/28-3/1
H17年度核融合データ処理研究会
7
1.デジタイザ規格の評価

CAMAC


横河WE7x




低コスト路線.帯域はCAMAC並み(1.7~2.2MB/s)+RT性
Win32+Linux(少し旧い) ドライバ完備.
画像集録がない
NI PXI (cPCI)


ADC,コントローラ,クレート,光リンクがコスト高
高性能モジュールでもコスト手頃.RT広帯域(72MB/s)
タイミングシステムは…

'06/2/28-3/1
既製品なし!? 低コスト化は?
H17年度核融合データ処理研究会
8
2.DFE-PC間 (ファイバ,ワイヤ,組込)

DFE-PC間を光ファイバー伝送 … DFE筐体+PC筐体



組込型CPUモジュール … DFE筐体のみ


デジタイザ-PC間が最も広帯域だが高コスト.
拡張カード(PCI)型デジタイザ … PC筐体のみ



LHDでの選択方式.絶縁と設置場所の分離可能.
両端に光I/F=高コスト.専用光伝送路の信頼性.
最も低コストだが拡張性・対ノイズ性に不安あり!?
PCの激しい世代交代に依存する
DFE-PCケーブル接続 … DFE筐体+ラックマウントPC

'06/2/28-3/1
USB等,安価な接続が可能.2筐体でもコストは案外手頃!?
H17年度核融合データ処理研究会
9
LABCOMシステム
実時間転送・表示系(左側)とバッチ収集系(右側)で構成.全57計測
'06/2/28-3/1
H17年度核融合データ処理研究会
10
3.DAQプログラム

デジタイザのドライバ/API供給が欠かせない


Linux等フリーOSへの対応はまちまち
CAMAC … 良.フリードライバもある.
WE7x … 有(旧版カーネル)
PXI … 部分的だが,Win32版ともフリーで配布.
商用パッケージ利用で開発負荷は下がるが,
ポータビリティは低下.共用化には難.

'06/2/28-3/1
LHDでは,データ保存・管理にODBMSのObjectStore利用
フリーのDataObjest保存ソフトの開発にも興味あるが,
ファイル&ファイルシステム利用が妥当
H17年度核融合データ処理研究会
11
ハードウェアとDAQプログラムの構成
DAQ Agent
'06/2/28-3/1
H17年度核融合データ処理研究会
12
4.設定DB/データ所在DB

フリー化にはRDBMSのPostgreSQL or MySQL



SQL準拠であれば多分,何でもいいだろう
二重化・負荷分散などの仕組みは単独で導入可能
ユーザI/F


'06/2/28-3/1
設定DBはWeb経由でJava, PHP, …
データ所在は,データ取出しAPI中に隠蔽
H17年度核融合データ処理研究会
13
5.データ・ストレージ&サーバ

DAQ PC数が増えるほど管理コスト上昇
データディスクの統合化(NAS等)
更にシステムディスクのNFS化で完全disklessに
DAQ Box ←Linux組込み.Winはdiskless化は難.
DAQ Boxは最終ショットデータのみオンメモリで保持

バックエンドの大規模ストレージ(MSS)は必要.

バックアップとしても必須.災害対策も.しかし高コスト!
分散MSSにして,全日本で1~2(3?)台持つのが得策!?
最終形態として,DAQ Box+RAIDサーバ+遠隔MSS
の3階層構成か...
'06/2/28-3/1
H17年度核融合データ処理研究会
14
LABCOM三階層データストレージ

階層間のデータ移送が
運用負荷を増大
57 Diag.
45 TB/2
24 TB
'06/2/28-3/1
H17年度核融合データ処理研究会
15
6.広帯域ネットワーク

LAN/WANとも100Mbps~1Gbpsが利用可能



マルチストリームTCPが有効!?



帯域(速度)の問題は解消されたが…
高遅延(遠距離)性がデータ転送に想定されていない
⇔TCP/IPソケット通信利用
バッファサイズを遅延に応じて大きくするのは限界がある.
パラレル数を増やすのは比較的容易.
RT伝送にはTCP/UDPの併用か

'06/2/28-3/1
UDPは高遅延広帯域に耐える
H17年度核融合データ処理研究会
16
7.データ取出しクライアントI/F


動的共有ライブラリ(DLL/.so)で複数アプリ対応
問題は可視化アプリ




現状は市販IDL/PV-WAVEを利用
適当なフリーの可視化ツールがあるか?
実時間グラフ,(動/静止)画像表示も必要
データを送らずリモートに画面を飛ばす手もある
が…!?

'06/2/28-3/1
システム・アーキテクチャの問題.C/Pはどうか.
H17年度核融合データ処理研究会
17
8.ユーザ管理/認証,データ防護等

DataGrid (Globus) or ITBL とリンク



開発/ユーザ・コミュニティはどちらを志向するか


実験データシステムとの接合部を開発する必要.
米FusionGridではMDSplus上で成功
ITER-BAではITBLを使うのか?
データ防護は最低限で良い



'06/2/28-3/1
災害(復旧)対策は不可欠だが,コスト高に
オープン性が重要.公共性 … 核融合界の意識の問題
読出し制限は(殆ど)必要ない … 天文台が好例
H17年度核融合データ処理研究会
18
フレームワークの吟味をふまえて
~トータルパッケージ化~

フレームワーク ⇒ DAQトータルパッケージ



インストーラ作成により利用開始時のユーザ負担を軽減
⇒利用者増 ⇒コミュニティの形成
利用者コミュニティからの開発フィードバックを期待
まずは…共同開発グループの形成から




'06/2/28-3/1
ベースになる実験データシステムはある.フリー化作業中.
インストーラ作成,異OSポーティング,ドキュメント整備,…
この共同研究の場で,共同開発者・ご意見番を募りたい!
グループWiki開設+コミュニケーションから !?
H17年度核融合データ処理研究会
19
さいごに
LABCOM/X をどうぞよろしく

附録
'06/2/28-3/1
H17年度核融合データ処理研究会
20
計測数・データ量が激増(LHD第8サイクル)


10秒以下の短パルス実験 … 30⇒ 45 (30+15)計測.50%up
 1 GB/shot ⇒ 2.5 GB/shot
定常(=実時間)データ収集 … 4⇒ 15計測
 3.16 GB/shot ⇒ 84 GB/shot (世界記録更新)

RT DAQ: WE7000 (9) … 2.2 MB/s, CompactPCI (6) … 80 MB/s
'06/2/28-3/1
H17年度核融合データ処理研究会
21