Transcript 鈴木喜雄（JAEA計算センタ）

核融合研究グリッドへの
ITBLの適用
「核融合実験のデータ処理に関する次世代システム技術の検討」
研究会
鈴木喜雄1),2)
1)
2)
日本原子力研究開発機構 システム計算科学センター 高度計算機技術開発室
日本原子力研究開発機構 那珂核融合研究所 核融合研究開発部門
先進プラズマ研究開発ユニット プラズマ理論シミュレーショングループ
0
核融合研究グリッドへ向けたITBLの適用
[目標]
• ITERなど大規模実験施設に対する遠隔協調研究環境の構築
[核融合研究グリッド]
• 遠隔実験、遠隔解析、遠隔シミュレーションの統合
[必要と考えられる機能]
• 実験条件設定、実験状況モニタリング、実験結果表示
• データベース
ITER、LHD、JT-60など
データ解析
解析ツール、可視化など
予測シミュレーション
ダイバータ、輸送、MHD、構造、乱流・・
• TV会議システム
グリッド技術を活用して実現を目指す
1
なぜグリッドが必要？
グリッドはインターネット上での安全性と利便性を向上
安全性・・・
盗聴・改ざん・なりすましへの対応
FWとの共存
利便性・・・
遠隔コミュニケーション、分散計算資源利用・・
Internet
解決策の一つとしてITBLを利用
2
ITBLとは
[目的]
大学や研究機関に分散された計算機・プログラム・データ等の
知的資源を共有
研究者間の共同研究を支援
するための仮想研究環境の構築
ITBL：Information Technology Based Laboratory
e-Japan重点計画の103の計画の中のひとつ
2001-2002：ITBL基盤ソフトウェア開発
2003-2005：アプリケーション開発、利用支援
3
ITBLにおける安全性向上
シングルサインオンによる全計算機への等価なアクセス
電子証明書による認証
STARPC(HTTPSカプセル化)によるFWと共存した暗号化通信
利用者
電子証明書による
相互認証
ITBLサーバ
証明書とユーザID
関連付け
計算機
FW
サイト(研究機関)
443ポートのみ使用
暗号化通信
FW
ITBLサーバ
サイト(研究機関)
4
ITBLにおける利便性向上 -遠隔コミュニケーション協調環境 (研究コミュニティの形成)
TV会議
掲示板
キャビネット
協調可視化
5
ITBLにおける利便性向上 -分散計算資源利用分散スーパーコンピューティング
高スループットコンピューティング
デスクトップスーパーコンピューティング
(PCとスパコン間のバリアフリー化)
FW越えRPC、異機種間MPI通信
資源管理
ウェブ&XのUI、ビジュアルワークフロー
ファイルマネージャー
FW
FW
構造計算
構造計算&流体計算
連成
構造計算
流体計算
流体計算
6
ITBLグリッド環境
材料設計統合
ﾌﾟﾗｯﾄﾌｫｰﾑ
実大三次元
振動破壊実験
分散ﾃﾞｰﾀﾍﾞｰｽ
統合ｼｽﾃﾑ
基幹アプリ
ケーション
12000GFlops
SX-8
航空宇宙統合
細胞フル
ｼﾐｭﾚｰｼｮﾝｼｽﾃﾑ
ｼﾐｭﾚｰｼｮﾝｼｽﾃﾑ
ｼﾐｭﾚｰｼｮﾝｼｽﾃﾑ
共同実施者（サイト）
東京大学生産技術研究所
東北大学金属材料研究所
東北大学災害制御研究センター
京都大学大学院工学研究科
北陸先端科学技術大学院大学
シュツットガルト大学（UNICORE連携）
生命機能情報
解析ｼｽﾃﾑ
地域数値環境
ｼｽﾃﾑ
協定締結者
物質･材料研究機構
宇宙航空研究開発機構
防災科学技術研究所
日本原子力研究開発機構
(東海地区・関西地区・東京地区)
理化学研究所
科学技術振興機構
WAN
1500GFlops
12400GFlops
-
32GFlops
SC/EX40
PC cluster
SV1EX
Super SINET (10Gbps)
SINET(1Gbps)
440(SPEC
fp2000
X2
H9000V
1GFlops
pSeries610
9.6GFlops
-
83GFlops
SR2201
Origin3200
pSeries690
5440GFlops
790GFlops
720GFlops
282GFlops
96GFlops
8GFlops
SR11000
SR800
SX-7
SX-6
SX-6i
9300GFlops
1000GFlops
21GFLOPS
5GFLops
PrimePower
135GFlops
19GFlops
13100GFlops
334GFlops
8GFlops
-
VPP5000
Altix3900
Altix3700
Onyx300
Origin2000
78機関（600ユーザー）、 27計算機（20機種、約57TFlops ）
7
核融合研究グリッド実現に向けた現在の活動
遠隔実験：JT-60遠隔実験操作システム
=> 条件設定、状況モニタリング、TV会議システム支援など
(那珂核融合研究所)
遠隔解析：燃焼プラズマ統合コード、統合解析システム
=> シミュレーション・解析実行の最適化
(那珂研、九州大学、京都大学、山口大学、核融合科学研究所等)
遠隔シミュレーション：大規模データの遠隔・高速可視化
=> 可視化処理の並列化
(那珂研/ORNL)
グリッド技術開発：グリッド環境の国際展開
=> グリッド環境の相互接続
(HLRS(独)/IRIT(仏)/CEA(仏：進行中))
8
JT-60遠隔実験操作システム
【JT-60放電条件サーバ及びマン・マシンＷＳ】
① ＮＦＳ
②
遠隔実験サーバ上のFUを書込
読込
・・
・・
③ ＮＦＳ
実行条件
ファイル
実行
放電条件
ファイル
保存ファイル(FU)
放電条件
ファイル
実行ファイル(FES)
保存ファイル(FS)
放電条件サーバ上のFA,FES,FSを読込
・・
・・
放電条件
ファイル
書込
読込
書込
放電条件作成
【J T-60放電制御
④ 計算機システム】
・・
・・
放電シーケンス実行
【遠隔実験サーバ】
実績ファイル(FA)
放電条件作成
読込
放電条件
ファイル
・・
・・
放電完了後保存
放電結果データ表示
x
window
x
window
⑤
ＴＣＰ／ＩＰ
JT-60実験データベース
データベース
ファイル
・・
・・
放電完了後保存
結果データ
ファイル
・
・
・
・
【JT-60実験データベースサーバ】
アプリケーション
【遠隔サイトにおける表示画面】
ファイル
システム
NFSまたはローカル
ファイルコピー
TCP/IP
① 共同研究者は、遠隔実験サーバの放電条件設定機能を利用して、放電条件サーバのFA、FES、FSを読み込み、放電条件を修正・変更
② 修正・変更後、遠隔実験サーバの保存ファイル(FU)に任意ファイル名称で格納
③ JT-60中央制御室において、FUに登録された放電条件をマン・マシンWSを用いて読み込み(実験主任)、設備状態検査等を実行、FESに登録
④ FESに登録された放電条件にサイン(実験主任)、承認(運転責任者)を施し、放電が実行
⑤ 共同研究者は、遠隔実験サーバの放電結果データ表示機能等を利用して、実行結果を表示・確認し、次の放電条件を設定
9
JT-60遠隔操作システムでのITBLの利用
ITBLのX機能利用、APIを利用したアプリケーション構築(進行中)
FWと共存した安全な通信を用いてX windowを表示する
研究サイト
那珂研究所
PC端末
条件設定
状況モニタリング
結果表示
FW
ITBL
サーバ
遠隔実験
サーバ
条件認可
条件
ファイル
JT-60放電
条件サーバ
運転制御
実行条件
ファイル
ユーザ認証
10
TV会議システム
FWと共存した安全な通信を用いてTV会議を行う
FW
FW
PC端末
研究サイト
PC端末
ITBL
サーバ
ITBL
サーバ
研究サイト
11
統合解析システムの構築に向けて
解析システムにITBLのTME(Task Mapping Editor)機能を適用
複数の計算機を用いた解析シナリオを定義・実行可能
ITBLクライアントAPIを利用した
ユーザーインターフェース
統合解析スクリプト(TMEで記述)
(2) ジョブの実行
既存インターフェース
(1) ジョブパラメータ
の作成
(3) 解析結果の
可視化表示
12
大規模データの遠隔・高速可視化 -AVS/ITBL可視化処理の並列化による高速化の実現
可視化処理フロー
性能評価(例)
並列データ
読込
＜可視化処理時間のCPU依存性評価＞
データ：核融合装置内部の乱流シミュレーション
並列等値面
計算
(データ提供：那珂核融合研究所)
サイズ：１GBytes (1/4トーラス)
合計で評価
描画
120
計算機：東海地区 SGI Prism
時間　(秒）
100
並列化により
約20倍の高速化を実現
(63CPU使用時)
80
60
40
20
0
可視化画像
SGI Prism
1
2
4
8
16
CPU数
24
32
48
63
13
グリッド環境の国際展開
原子力分野における
大規模可視化の研究
原子力分野における
計算科学研究開発
グリッドと高効率
ソルバーの利活用
独グリッド(D-GRID)
との相互運用
MpCCIを使った連成
シミュレーション
2006～
2006～
2005～
1999～
1998～
ORNL
米国
CEA
仏
IRIT
仏
HLRS
独
Fraunhofer SCAI
独
EUとの共同研究
USAとの共同研究
CCSE/JAEA
ITBLの国際展開
国際的な遠隔協調研究環境の構築
14
グリッド環境の国際展開(独HLRSとの協力)
UNICOREとITBLの相互接続
※ UNICORE・・EUで広く利用されているグリッドミドルウェア
UNICORE
ITBL
独HLRSのSX-8とITBLの計算機群を
相互に利用可能
Internet
SX-8／HLRS
27Computers／ITBL
15
グリッド環境の国際展開
テクノロジー
レイヤー
貢献
実験施設
遠隔実験
遠隔解析
…
遠隔シミュレーション
条件設定
システム統合
資源効率利用
状況モニタリング
データ転送
遠隔・高速可視化
TV会議
データベース共有
現象予測
JAEA
原子炉
CCSE
利活用技術
核融合
他機関
アプリケーション
共通インターフェース
グリッド技術
ITBL
UNICORE
EGEE
Globus
Tool Kit
…
16
まとめ
[最終目標]
• ITERにおける遠隔協調研究環境の構築
遠隔実験、遠隔解析、遠隔シミュレーションの統合
ITER
実験解析
JT-60
TV会議
TV会議
設計・建築
LHD
シミュレーション
17