Transcript 外川氏 - 大阪大学 核物理研究センター

スーパーコンの概要
日本物理学会（首都大学）
2007年３月２５日
大阪大学核物理研究センター
計算機室 外川浩章
スーパーコンの概要
• Phase I (2007.1~)
32GF
64, 128, 256GB
×
8 nodes (CMC)
= 2.0 TF
6 nodes (ILE)
= 1.5 TF
6 nodes (RCNP)
= 1.5TF
Note 64GB×4nodes, 128GB×8nodes, 256GB×8nodes
128 TB (CMC suita)
64 TB (ILE)
64 TB (RCNP)
計 5 TF
スーパーコンの概要
• Phase II (2008.7~)
100GF
100GF
×
1024GB
768 TB (CMC suita)
In addition to phase I
10 nodes (CMC)
= 16 TF
スーパーコンの構成
• Phase I (200７.１~)
RCNP and ILE
32GF
64GB
32GF
128GB
CMC
×２
×４
35GF
256GB
×８
スーパーコンの構成
• Phase II (2008.7~)
RCNP and ILE
32GF
64GB
32GF
128GB
CMC
×２
35GF
256GB
100GF
×４
100GF
1024GB
×８
×10
スーパーコンの概要
• 占有ノードという固定した考え方はなくす
– が、占有ノードは残せる
• メモリの速度と容量が異なるノードの混在
– Phase２ではＣＰＵ速度が異なるノードも混在
• システム全体としてのスループットを追及する
• ＣＭＣユーザーのジョブがＲＣＮＰやＩＬＥでも流れる
• フェアシェアによる適切な資源割当て
• 利用負担金は変更なし。レンタル期間を通じての平
均化。
スーパーコンの運用
• Phase I (2007.1~)
RCNP（ILE）
CMC
RCNP（ILE）占有
CMC占有
32GF
32GF
64GB
32GF
128GB
32GF
128GB
64GB
32GF
128GB
32GF
128GB
35GF
256GB
×８
（共有２／８）
スーパーコンの運用（案）
• Phase II (2008.7~)
RCNP（ILE）
CMC
RCNP（ILE）占有
CMC占有
32GF
32GF
64GB
32GF
128GB
64GB
32GF
128GB
35GF
256GB
100GF
100GF
1024GB
32GF
128GB
32GF
128GB
×８
（共有２／８）
×１０
（共有2.5/10）
スーパーコンの運用
• Phase I (2007.1~)
RCNP site
CMC site
ILE site
32GF
64GB
32GF
64GB
35GF
256GB
35GF
256GB
32GF
64GB
32GF
64GB
32GF
128GB
32GF
128GB
35GF
256GB
35GF
256GB
32GF
128GB
32GF
128GB
32GF
128GB
32GF
128GB
35GF
256GB
35GF
256GB
32GF
128GB
32GF
128GB
35GF
256GB
35GF
256GB
RCNP nodes
CMC nodes (2 nodes for RCNP)
ILE nodes
ネットワーク構成
Super SINET
fss
fss
SX8
SX8
SX8
SX8
SX8
SX8
SX8
SX8
SX8
DMZ-SC
SX8
SX8
SX8
ＦＷ
SX8
SX8
SX8
miho
Jumbo
NAS
Gfirm
NAS
SERVER
st1,2
st1,2
FC-SW
FC-SW
FC-SW
96TB
64TB
200TB
その他
ディスクの運用
fs at SUPER
/sc/rcnp/home
/sc/rcnp/work
/sc/rcnp/short
/sc/rcnp/data
/sc/rcnp/data5
fs at IBM
/home.super
/work.super
/short.super
/data.super
/data5.super
Usage
home directory
permanent file
temporary file
permanent file
permanent file
Size
4 TB
52 TB
42 TB
16 TB
16 TB
Quota
100 GB/user
none
none
none
none
Comment
snapshot
3センター共用
ディスクの運用
SX-8, etc
FC
NAS
FC
Home
Work
Short
Other
SuperSINET
Site
miho, etc
nfs
nfs
rsync
nfs
FC
ST
STS
FC
FC
DataX
Mirror
キューの運用
基本的には新しいジョブ管理システム（JM）に任せる
投入ジョブクラスは「sx-rcnp」の１つだけ
ＣＭＣノードへの投入は別
ＣＰＵ数、メモリ量、経過時間を指定してジョブを投入
後はＪＭが「実行予定表」にジョブを貼り付けて「予約」する。
一度予約されると、その実行開始が遅れる事はない
システム障害等の不測の事態が発生した場合は除く。
あるジョブを、他の予約を破棄して優先的に実行する機能もある。
リソースの要求のされ方により、予約表には隙間ができてしまうことがあ
る。後から投入されたジョブがこの隙間に入る場合、そのジョブでそこを埋
める。（バックフィル機能）
この事で既に予約されているジョブが遅れる事はない事に注意。
使用実績を反映してジョブの優先度を決定する。（フェアシェア機能）
キューの運用
RCNP
sx-rcnp@rcnp
R4D@rcnp
CMC
SXF@cmc
SXL@cmc
DBG@cmc
LSP@cmc
qsubして１分待つ。
予約状況の表示
ＣＭＣノード
http://www.hpc.cmc.osaka-u.ac.jp/j/service/sx_jobjyoho.html
ＲＣＮＰノード
https://www.hpc.cmc.osaka-u.ac.jp/manual/cis-rcnp.html
CPUの割当て
sx803
batch
batch
batch
batch
batch
batch
DEBUG
会話型
batch
batch
batch
64 GB
sx810
batch
batch
batch
batch
batch
会話型
128 GB
sx811
batch
batch
batch
batch
batch
128 GB
batch
batch
batch
ログインサーバーとフロントエンド
login.hpc.cmc.osaka-u.ac.jp
login.hpc.cmc.osaka-u.ac.jp
fronta
frontb
frontc
sx-8
会話型
login.rcnp.osaka-u.ac.jp
frontd
miho
sx803
会話型
sx810
会話型
ファイル転送サーバー
ftp.hpc.cmc.osaka-u.ac.jp
home
work
short
ftp1.rcnp.osaka-u.ac.jp
ftp2.rcnp.osaka-u.ac.jp
data
data5
home
IBM
パスワードの変更について
ＣＭＣの方針で、ＮＩＳ系のコマンドは使用禁止にする。
ｕｎｉｘのコマンドでパスワードを変更する事はできない。
ｗｗｗインターフェイスが用意される。（４月２日～）
大規模デバッグジョブの募集について
ＣＭＣのＤＤＲ２の４ノードを数時間予約してデバッグをしてもらう
運用開始直後でユーザーも使い方に悩んでいる
小規模なデバッグでは問題を発見、修正できない場合がある
数人で行なってもらう
ユーザー当たりの同時実行数は１とする
経過時間は３０分。（大きくして欲しいという声はある）
管理者と常に連絡が取れる状態で行なってもらう