Transcript アトラス実験における データ解析用グリッド環境の構築

アトラス実験における
データ解析用グリッド環境の構築
田中純一、坂本宏、小林富雄、川本辰男、
真下哲郎、上田郁夫、石野雅也、松本浩、
渡瀬芳行A 、川端節彌A 、森田洋平A 、
真鍋篤A 、佐々木節A 、佐藤博之A
東大素セ、高エ研A
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
内容


概要
グリッドとは?






Globusとは?
NorduGridとは?
Data Challenge 1とは?
ICEPPー北欧間 グリッドテスト環境の構築
ICEPPーKEK間 グリッドテスト環境の構築
まとめと予定
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
概要 ～ 世界規模

世界規模では、



日本物理学会 第58回年次大会@東北学院大学
ICEPPにアトラス
実験用の大きな
地域解析セン
ター（RC）を作る。
グリッド技術を用
いて、各地のRC
を接続しリソース
を共有する。
この環境でデー
タ解析も行うこと
ができる。
30 Mar, 2003
概要 ～ 日本では?

SuperSINETを
利用した解析
環境をグリッド
で構築できない
か?

日本物理学会 第58回年次大会@東北学院大学
地域解析セン
ターに保存さ
れているデータ
へのアクセスが
容易。
30 Mar, 2003
グリッド技術

グリッドとは?

計算機を接続するだけで、いつでもどこでも必要な
計算機リソースが取り出せるようなイメージ


電力（Power Grid）からの発想。
しかし、電力と同様に、


十分な設備  ネットワークの充実、
実現のためのソフトの開発
契約が必要  認証と許可（認可）
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
Globusとは?
http://www.globus.org/




グリッドのソフトを開発/構築するときに用いられるツールキット。
 これですべてができるわけではない。 Globus ≠ Grid
どういうわけが、デファクトスタンダードになってしまった。
 バグ、メモリリークの多いソフトだが…。
セキュリティを重視した構成になっている。
今年6月、バージョン3のリリースが予定されている。
 IBMが協力。OGSA=Open Grid Service Architecture
 現行のバージョン2.2との互換性あり。
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
NorduGridとは?
http://www.nordugrid.org/



北欧4国 （デンマーク、ノルウェー、ス
ウェーデン、フィンランド） からなるグ
ループが開発したミドルウェア。
運用中のクラスタや使用中のソフト
ウェアへの影響を最小限に抑えること
をポリシーにしている。
構成がシンプル。
”Worldwide バッチシステム”

とりあえず、外部者でも利用できる。


インストールが比較的簡単。
サポートがしっかりしている。（ML）
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
Data Challengeとは?

ペタバイト級のデータを取り扱うことのできるオフライン環境を
開発するために、その時点の最新の環境で大量のMCデー
タを生成・管理するテストを行うプロジェクトのこと。

徐々に生成・管理データを増加させる。DC4 at 2006


DC1では、北欧とUSが独自のグリッド環境を構築して担当
分のデータを生成した。


DC2=DC1(~60TB,done)、DC3=DC1x5、DC4=DC1x10>0.6PB
その他のサイトは非グリッド環境、つまり、LSFやPBS等。
DC2では、世界規模のグリッド環境でデータを生成する予
定。LCG（LHC Computing Grid）-0/1を採用する予定。
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
北欧との接続テスト


距離的には十分離れてる地域間の接続テスト！
ICEPPに1台、KEKに1台の計算機を設置。

すべて広域ネットワークで接続。 “SuperSINET”
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
グリッドモニター
“www.nordugrid.orgから”
ICEPPの計算機で
1ジョブ実行されている。
KEKの計算機で
2ジョブが準備中。
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
北欧からのジョブサブミッション
時差9時間
北欧ユーザーのMC生成ジョブ
北欧のCAで認証を受け、
ICEPPの計算機で許可を受けたユーザー
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
Data Challenge 1

北欧に割り当てられた300ジョブのうち、実際に1つ
だけICEPPで実行することができた。
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
ICEPP-KEK グリッドテスト環境構築

北欧から独立したグリッド環境の構築。

1Gbps専用線での環境。
 将来は広域ネットワークで。セキュリティ問題が必至。

KEK側の階層ストレージ HPSSをグリッド環境で利用した。



GridFTP (アルゴンヌ研究所) … HPSSサーバーコードの改変等の問題。
GSI-pftp (LBL) … これをインストール。NorduGridのコードも数行変更。
グリッド環境で解析を行った。


MCデータの生成 （Fast simulation）
解析


PAW : バッチモード （“paw –b”）でも可能。
コンパイル済みの実行形式での実行は容易。
例）ROOT I/Oを利用した実行形式
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
接続環境
GSI pftp server
NorduGrid
- grid-manager
- gridftp-server
Globus-mds
Globus-replica
PBS server
ICEPP
KEK
SE
HPSS 120TB
CE
SE
~ 60km
0.2TB
NorduGrid
- grid-manager
- gridftp-server
Globus-mds
PBS server
CE
CE
6CPUs
38CPUs
PBS clients
PBS clients
1Gbps
100Mbps
User PCs
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
HPSS “get” with Tape Library
ベンチマークの一例（CHEP2003, A. Manabe 他）
From HPSS to ICEPP Client
tape off drive
300
tape in drive
Data in Tape
Elapsed Time (sec)
200
Data in disk cache
100
data was on HP SS mover disk
data was in HP SS mover mounted tape
data was in HP SS mover unmounted tape
0
0
2
4
6
8
10
# of file transfer in parallel
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
MCデータ生成

100ジョブ~107イベント以上
データ転送に
失敗すること
がある。

調査中
Replica Catalog（LDAP）
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
まとめと予定

アトラス実験の地域解析センターのためのグリッドテ
スト環境を日本ー北欧間で構築した。


Data Challengeにも微少ながら参加できた。
安定バージョンにアップデートして、今後も北欧担当分の
Data Challengeに参加する。


1/2
世界規模の長距離接続での安定性の追及
LCG（LHC Computing Grid）のパッケージをインス
トールし、運用テストを開始する（4/15より）。

事実上、これがデータプロダクションの世界標準になる。
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003
まとめと予定

2/2
国内の解析環境をグリッドで構築するためのテスト
環境をICEPP－KEK間で構築した。

MCデータ生成のテストを開始した。



データ転送を失敗することがある。調査中
生成データ・ログはReplica Catalogに登録。
グリッド環境でKEKのHPSSを利用できた。
 広域で使用する場合は、セキュリティ問題が必須。

生成データを用いたPAW（paw –b）での解析も行った。
今後、このモデルがデータ解析に適切かどうか?
を詳細に検討する必要がある。
日本物理学会 第58回年次大会@東北学院大学
30 Mar, 2003