大阪大学核物理研究センター殿 第一回ユーザー講習会

Download Report

Transcript 大阪大学核物理研究センター殿 第一回ユーザー講習会

大阪大学核物理研究センター殿
ユーザー会資料
平成13年2月14日
大阪大学核物理研究センター
日本アイ・ビー・エム株式会社
コベルコシステム株式会社
目次
1.システム全体構成図
・・・ 1
2.計算サーバー・データ処理サーバー
・・・ 2
2-1. 計算サーバー・データ処理サーバー
2-2. ディスク装置
2-3. 導入ソフトウェア
3.オンラインステーション
・・・ 8
4.I/Oステーション
・・・ 9
5.ネットワークシステム
5-1.ネットワーク機器構成図
5-2.ネットワーク概念図
5-3.ファイアウォール
・・・10
6.アプリケーションサーバ
・・・13
6-1.
6-2.
6-3.
6-4.
6-5.
6-6.
6-7.
プリンターシステム
メールサーバ
wwwサーバ
newsサーバ
dnsサーバ
ntpサーバ
pppサーバ
1.システム全体構成図
計算サーバー
(5ノード)
Internet
データ処理サーバー
(9ノード)
計算ノード
3ノード
データ処理ノード
8ノード
HEPNET
アプリケーション・サーバ群
mail
Senri
saho
ODINS
news
web
dns
Firewall
ntp
hozumi
外向けメールサーバ
外向けwwwサーバ
・・・
インタラクティブ・ノード
汎用ネットワーク
プリンターサーバー1,2
オンラインステーション1,2
(kasuga1,2)
ルータ
ルータ
核理1ネットワーク
加速器ネットワーク
ルータ
大塔ネットワーク
I/Oステーション
(4台)
プリンター用ネットワーク
ポスタープリンター(1台)
高速プリンター(3台)
カラープリンター(13台)
1
2.計算サーバー/データ処理サー
バー
2-1.計算サーバー/データ処理サーバー
バッチノード
インタラクティブノード
計算ノード #3
Senri
4CPU Memory:7GB
計算ノード #2
サブミット
4CPU Memory:7GB
ログイ
ン
4CPU Memory:7GB
Saho
計算ノード #1
4CPU Memory:7GB
4CPU Memory:7GB
ログイン
データ処理ノード #8
4CPU Memory:3.5GB
データ処理ノード #7
4CPU Memory:3.5GB
Hozumi
SPスイッチ
4CPU Memory:3.5GB
ログイ
ン
【1cpuの性能】(IBM POWER3 375MHz)
24.4 SPECint95
50.9 SPECfp95
【1ノードの性能】(4cpu)
875 SPECint_rate95
1382 SPECfp_rate95
【1ノードあたりのメモリー容量】
3.5GB(データ処理サーバー)
7.0GB(計算サーバー)
データ処理ノード #6
4CPU Memory:3.5GB
データ処理ノード #5
4CPU Memory:3.5GB
データ処理ノード #4
4CPU Memory:3.5GB
データ処理ノード #3
【計算サーバー】(senri,saho+計算ノード(3))
• 5ノード(20CPU)
• 4375 SPECint_rate95
• 6910 SPECfp_rate95
• メモリー 35GB (うち2GBは一時ディスク用)
4CPU Memory:3.5GB
データ処理ノード #2
4CPU Memory:3.5GB
データ処理ノード #1
4CPU Memory:3.5GB
【データ処理サーバ】(hozumi+データ処理ノード(8))
• 9ノード(36CPU)
• 7875 SPECint_rate95
• 12438 SPECfp_rate95
• メモリー 31.5GB (うち2GBは一時ディスク用)
2
【バッチノード】
データ処理ノード
・ 4CPUのノードが8ノード、合計32CPUあります。
・ 32個のCPUは核理1A,B,C各グループにそれぞれ15個、11個、6個を分配しています。
・ バッチキューは核理1A,1B,1C各々に、長時間・中時間・短時間の3つのキューを用意します。
計算ノード
・ 4CPUが3ノード、合計12CPUあります。
・ 一般の大規模計算(主として理論)用のCPUです。
・ バッチキューは長時間・中時間・短時間の3つ用意します。
【バッチジョブのクラス設定】
グループ
クラス名
説明
CPU時間制限
プライオリティ
同時最大ジョブ数
核理1A
(sahoからサブミット可能)
AL
AM
核理1A長時間
核理1A中時間
43200時間
60分
0
50
8
10
AS
核理1A短時間
3分
100
12
核理1B
(sahoからサブミット可能)
BL
BM
核理1B長時間
核理1B中時間
43200時間
60分
0
50
6
8
核理1C
BS
CL
核理1B短時間
核理1C長時間
3分
43200時間
100
0
8
4
(sahoからサブミット可能)
CM
核理1C中時間
60分
50
4
一般
CS
DL
核理1C短時間
一般長時間
3分
43200時間
100
0
4
6
(senriからサブミット可能)
DM
DS
一般中時間
一般短時間
60分
3分
50
100
6
12
mathematica用
ML
長時間
43200時間
0
2
(senriからサブミット可能)
MM
MS
中時間
短時間
60分
3分
50
100
2
2
※バッチジョブの投入方法、キューの設定等についてはwebを参照してください。
3
【インターラクティブノード】
senri
・ 一般ユーザー向けのノードです。
・ 計算ノードへのバッチジョブはここからサブミットします。
・ 計算ノード上のプロセスは時間と共に優先順位を下げるように設定されています。
・ 汎用セグメントとはギガビットイーサネットのインターフェイスで接続されています。
saho
・ データ解析を行なうユーザー向けのノードです。
・ データ処理ノードへのバッチジョブはここからサブミットします。
・ データ処理ノード上のプロセスは時間と共に優先順位を下げるように設定されています。
・ 汎用セグメントとはギガビットイーサネットのインターフェイスで接続されています。
hozumi
・ データ解析を行なうユーザー向けのノードです。
・ インタラクティブで最大ジョブを実行するためのノードです。
・ このノードは一旦sahoに入ってから利用可能です。
4
2-2.ディスク構成
・ ディスク構成はRAID-5によるデータ保護によりRAIDグループ内の1つのディスクに障害が発生した場合でもデータが
保護される構成をとっています。また、ディスクへのアクセスパスも二重化されており、経路障害時の冗長性も保たれ
ています。
・ ホームディレクトリ(/home)には合計710GB割り当てています。ディスクの使用制限(quota)は1ユーザーあたり10GBで
設定してしています。
・ ワークディレクトリ(/work)には合計710GB割り当てています。ディスクの使用制限は現在かけていません。
・ データ処理ノードからアクセスできるディスクは、約3TBのRAIDセットが12セットあり、各RAIDセットの配分は下記の
とおりです。
【ディスク割り当て一覧】
マウントポイント 容量(GB)
用途
/home
710 ホームディレクトリ
/work
710 ワークディレクトリ
/np1a/v01
2850 核理1A-1
/np1a/v02
2850 核理1A-2
/np1b/v01
2850 核理1B
/np1c/v01
2850 核理1C
/gpfs/fs5
2850 未使用
/gpfs/fs6
2850 未使用
/gpfs/fs7
2850 データ移行用
/gpfs/fs8
2850 データ移行用
/gpfs/fs9
2850 データ移行用
/gpfs/fs10
2850 データ移行用
/gpfs/fs11
2850 データ移行用
/gpfs/fs12
2850 データ移行用
quota設定
10GB/ユーザー
なし
各グループ毎
各グループ毎
各グループ毎
各グループ毎
5
2-3.導入ソフトウェア
【導入ソフトウェア一覧】
項目
名称
機能
システムソフトウェア
AIX v4.3.3
Parallel System Support Program V3
Performance Tool Box V2
General Parallel File System v1
Parallel Environment V2
IBM LoadLeveler V2
Tivoli Storage Manger/Tivoli Space Manager
オペレーティングシステム
並列サーバ用管理プログラム
パフォーマンス管理ツール
パラレルファイルシステム
並列環境(並列化ライブラリ等)
ジョブコントローラ
アーカイブ管理
言語
XL Fortran for AIX v7.1
ANSI X3.9-1978 (Full ANSI FORTRAN 77)、 Fortran 90
(ISO/IEC 1539-1991 (E) and ANSI X3.198-1992)準拠
ANSI X3.159-1989準拠
C for AIX v5.0
VisualAge C++ Professional for AIX v5.0
gcc-2.95.2.0
gcc.g++-2.95.2.0
gcc.info-2.95.2.0
エディタ関連
GNU Emacs-20.7(mule)
ispell-3.1.20
エディタ
emacs使用時のスペルチェッカー
かな漢字変換
Wnn6
egg4
かな漢字変換
かな漢字変換
数式処理
Mathematica
数式処理
mail,news,www関連
pine 4.05
Netscape 4.7(navigator,messanger,composer)
mnews
Mime対応メールユーティリティ
Webブラウザ,メールリーダ,ニュースリーダ
ニュースリーダ,メールリーダ
セキュリティ関連
OpenSSL 0.95a
SSLプログラム
SSHプログラム
OpenSSH 2.2.0p1
6
【導入ソフトウェア一覧】(続き)
項目
名称
機能
ライブラリ関連
cernライブラリ
IMSL F90 MP Linbrary
IMSL C Library
Cernの提供するライブラリ
IMSL FORTRANライブラリ
IMSL Cライブラリ
tex関連
tex v3.14159
ptex v2.1.8
latex v9906
platex v19990809e
dvips v5.78+patch v1.4
xdvi v22.15+patch v03
VFlib2-config v2.25.1
mendex v2.4f
tex
日本語版(ASCII版)
texマクロ
ptexマクロ
PSファイル変換
dviファイルビューワ
日本語を統一的に扱うためのライブラリ
索引整形ツール
その他ツール等
gzip-1.2.4.1
GNU patch-2.5.4
GNU make-3.79.1.0
GNU tar-1.1.3
gnuplot-3.7
tcsh-6.09
kterm-6.2.0
Ghostscript
ghostview-3.5.8
tcl-7.6.0.0, tcl-8.2.3.0
圧縮ツール
GNU版patch
GNU版make
GNU版tar
対話的な関数描画プログラム
cshの上位版
日本語対応端末
ポストスクリプトインタプリタ
PostScriptビューア
言語処理ソフト
tclの拡張ライブラリセット
画像ビューア
システム資源監視ツール
グラフの表示・編集ツール
リモートクライアント
PDFファイルビューア
Zip圧縮用汎用ライブラリ
テキストビューア
tk-4.2.0.0, tk-8.2.3.0
xv-3.10a
monitor v2.1.7+patch pre7
xmgr v3.1.7
xon-6.5.1
Acrobat Reader 4.05
zlib-1.1.3
jless-3.3.2
7
3.オンラインステーション
・オンラインステーションはリングサイクロトンにおけるデータ収集システムからのデータ転送を受け、データ処理
サーバーへ転送するために設置しています。
・kasuga1,kasuga2の2台を設置し、1台に障害が発生した場合でも他の1台で代替できる構成をとっています。
・大量のデータ転送を可能にするため汎用ネットワークおよび核理1ネットワークとがキガビットイーサネットの
インターフェイスで接続されています。
【機器仕様】
IBM RS/6000 モデル44P-270(7044-270)
・POWER3-Ⅱ 375MHz 2CPU
・437 SPECint_rate95 (2CPU)
・767 SPECfp_rate95 (2CPU)
・メモリー 2GB
・一時データ用ディスク 163.8GB(RAID-5時)
・AIX v4.3.3オペレーティングシステム
8
4.I/Oステーション
【I/Oステーション本体】 UNISYS U10 (JPU3010-SB U10)
・ UltraSPARC-Ⅱi 440MHz 1CPU
・メモリー : 128MB
・ OS : U-J Solaris2.6
【周辺機器仕
様】
装置
8mmテープ装置
8mmテープ装置(スタッカ付)
DLTカートリッジ磁気テープ装置
DLTカートリッジ磁気テープ装置(スタッカ付)
DAT(DDS3)
DAT(DDS4)
DVD-RAM
MO(3.5インチ)
フロッピーディスク(3.5インチ)
CD書込み装置
(4台)
仕様
エクサバイト8505と互換。標準で7GB、圧縮で14GBの容量
上記8mmテープ装置用10巻のスタッカを装備
Compaq TZ89NやQuantum DLT‐7000と互換。標準で35GB、圧縮で70GBの容量
上記DLTテープ装置用10巻のスタッカを装備
DDS-3フォーマットをサポート。DDS-1やDDS-2フォーマットとも互換
DDS-4フォーマットをサポート。DDS-3やDDS-1、DDS-2フォーマットとも互換 。
DVD-RAM
640MB
1.44MBフォーマットをサポート。
ISO9660フォーマットをサポート。
【利用可能な周辺機器】
設置場所
8mmテープ装置
8mmテープ装置(スタッカ付)
DLTカートリッジ磁気テープ装置
DLTカートリッジ磁気テープ装置(スタッカ付)
DAT(DDS3)
DAT(DDS4)
DVD-RAM
MO(3.5インチ)
フロッピーディスク(3.5インチ)
CD書込み装置
型番
TE-14G
EXB-210
DLT7-70G
DLT7-700G
TD24S
TD40
JP-D1020
NV640MO45/SOL
FD235GS1153
CRW8824SX
AVF棟3階
1
1
1
1
1
0
1
2
2
1
リング付属棟2階
1
1
1
3
1
2
1
0
0
0
本館3階
本館6階
2
0
1
2
1
2
1
0
0
0
2
0
1
2
1
2
1
0
0
0
部分は近日公開予定です。
9
5.ネットワークシステム
5-1.ネットワーク機器構成図
プリンター
サーバ
mail
AVF棟3F 計算機主機室
news
www
dns
ntp
計算サーバー/データ処理サーバー
Senri
saho
HEPNET
hozumi
ODINS
Gbit
オンラインステーション
(kasuga1,kasuga2)
Gbit
Cisco4500M
基幹ハブ
Catalyst6506
Firewall3
ルータ
公衆回
線
ppp
I/Oステーション
プリンタ
Gbit
Gbit
本館4Fネットワーク機械室
ルータ
Gbit
大塔ネットワーク
リング実験棟地下共同溝
リング付属棟2F計数室
基幹ハブ
Catalyst6506
基幹ハブ
Catalyst2948G
基幹ハブ
Catalyst2948G
本館各階
ハブ
プリンタ
ハブ
ハブ
ユーザー端末
I/Oステーション(3F,6F)
ハブ
プリンタ
端末
I/Oステーション
ハブ
ハブ
ハブ
プリンタ
ハブ
ハブ
端末
10
5-2.ネットワーク概念図
Internet
HEPNET
計算サーバー
(5ノード)
計算ノード
3ノード
Senri
saho
データ処理サーバー
(9ノード)
データ処理ノード
8ノード
ODINS
外部ネットワーク
外向けメールサーバ
外向けwwwサーバ
ファイアウォール
アプリケーション・サーバ群
・・・
ssh
hozumi
ssh, telnet, ftp
(http,https)
汎用ネットワーク
オンラインステーション1
(kasuga1)
プリンターサーバー1
プリンターサーバー2
オンラインステーション2
(kasuga2)
Gbit
IP
DECnet
appletalk
Gbit
核理1ネットワーク
ルータ
IP
DECnet
appletalk
ルータ
加速器ネットワーク
FDDI
プリンター用ネットワーク
IP
ルータ
I/Oステーション
(4台)
大塔ネットワーク
プリンター群
11
5-3.ファイアウォール
・新システムではセンター内のネットワークと外部ネットワークと
の間にファイアウォールを設置して外部からのアクセスに対し
セキュリティーを確保しています。
Internet
HEPNET
ODINS
(緩衝セグメント)
外向けメールサーバ
外向けwwwサーバ
ファイアウォール
ssh
Senri
・外部からのアクセスは2つのインターラクティブノード(senri, saho)
に対してsshによるloginのみに制限され、一旦ここにlogin してか
らセンター内の各計算機に対してアクセスが可能です。
ssh, telnet, ftp
(http,https)
saho
・外部ネットワークにはセンター内の計算機のIPアドレスや名前
を公開していませんので、 特定の計算機を除き、外部から
センター内の計算機にアクセスすることはできません。
mail
web
汎用ネットワーク
・センター内から外部ネットワークへのアクセスはssh, telnet, ftpに
よるアクセスが可能です。(http,httpsは暫定的に可能です)
・センター内の端末からはインターラクティブノード(senri, saho)及
びオンラインステーション、その他の計算機に対して直接アクセ
スが可能です。
ユーザー端末
・インターラクティブノードのhozumiについては、外部からもセンター
内からも一旦sahoにloginした後、利用することができます。
・メールやwwwなどのアプリケーションでの通信は緩衝セグメント
経由等で行われるように設計されています。
12
6.アプリケーションサーバ
アプリケーションサーバとして、下記のサーバが利用可能です。
6-1.
6-2.
6-3.
6-4.
6-5.
6-6.
6-7.
プリンターサーバ
メールサーバ
wwwサーバ
newsサーバ
dnsサーバ
ntpサーバ
pppサーバ
13
6-1.プリンターサーバ
【プリンターシステム構成図】
核物理研究センター内
Windows95,98
WindowsNT
LPR対応計算機
MacOS 7,8,9
EtherTalk
プリントサービス環境
プリンタサーバa
プリンタサーバb
履歴集計
・プリントサーバーを同時2台稼動
・1台のサーバに障害が発生した場合、
クライアントより他のサーバへ切り替え
(プリンター名末尾のa,bを切り替え)
AVF棟1,3F
本館1~6F
リング付属棟2F
リング棟地階
プリンタ自身から
メール通知
カラープリンタ×13
LPR
出力履歴収集処理
履歴集計処理
メール通知機能
本館3,6F
リング付属棟2F
各々のプリントサーバー上の履歴情報を
集計し、ユーザー別・機器別の情報を
自動的にレポート
本館4F
プリンタサーバーと
連携しメール通知
高速プリンタ×3
ポスタープリンタ×1
消耗品・異常通知
消耗品(トナー・インク等)が少なくなった場合及び完全に無くなった場合、プリンターに異常が発生した場合に運用担当者へメールで通知
(用紙切れの場合は除く)
14
【プリンター一覧】
カラープリンター
Phaser850DP
(13台)
高速プリンター
DocuPrint C1250Net
(3台)
ポスタープリンター
PM-9000CPS2
(1台)
用紙サイズ : A4,A5,レター (両面印刷可)
解像度 : 1200dpi
カラー : 1670万色
印刷速度 : 8ページ/分(標準モード)
用紙サイズ : A3~B5 (両面印刷可)
解像度 : 600dpi
カラー : 1670万色
印刷速度 : 50ページ/分(A4ヨコ,モノクロ)
12.5ページ/分(A4ヨコ,フルカラー)
用紙サイズ : A3縦~B0ノビ
解像度 : 360dpi~720dpi
カラー : 1670万色
印刷速度 : 約15分/1枚(A0,720dpi×360dpi)
15
6-2. メールサーバ
Internet
HEPNET
ODINS
Firewall
外向けメールサーバ
(mail-gate)
汎用ネットワーク
・メールサーバは架空のサイト名を送信元とするようなメールを
拒否したり、スパムメールの踏み台となる危険性のあるサイト
からのメールを拒否するなど、ファイアウォールとの組み合わ
せでセキュリティーを確保しています。
・メーリングリストの運用について
送信
受信
incoming mail server
(mail-in)
・POPサーバ
・メーリングリスト
・メールサーバは受信専用と送信用(中継専用)の2台のサーバに
分けて運用しています。
旧システムとは受信のためのPOP等メールの設定について変更
されていますのでwebマニュアルを参照して設定をしてください。
outgoing mail server
(mail-out)
センター内でのメーリングリストはすべてこのサーバ上で運用
されています。
個々のメーリングリストには各々にリスト管理者が割り当てら
れていますので、リストへの登録等については各リスト管理者
にご相談ください。
・(IMAPサーバーは 準備中)
受信
送信
ユーザー端末
senri
saho
16
6-3. wwwサーバ
・wwwサーバは、公開用外向けwwwサーバとwebページの登録・編集等を行う内向けwwwサーバに分けて運用
しています。
【ブラウザ環
境】
【ホームページ公
開】
Internet
HEPNET
Firewall
Internet
ODINS
HEPNET
外向けwwwサーバ(公開)
www-rcnp
汎用ネットワーク
ODINS
Firewall
汎用ネットワーク
内向けwwwサーバ
www-in
(プロキシ)
nfs
登録・編集
・外部のwwwサーバへアクセスする際は必ずプロキシの
設定を行ってください。
内向けwwwサーバ
www-in
(プロキシ)
login
Senri
ユーザー
(webブラウザ)
外向けwwwサーバ(公開)
www-rcnp
www管理者
登録・編集
一般ユーザー
・webの公式ページはセンター内の限られたコンテンツ管理者
のみが編集可能です。
・一般ユーザーの個人/グループのページはsenri上のページを
更新することで公開サーバーへ反映されます。
17
6-4. newsサーバ
・newsサーバは旧システムと同様に運用を行っています。
・newsサーバを使用できるのは内部ユーザ(Firewall内)のみです。(PPP経由での使用も予定しています)
・推奨のリーダーはmnewsです。利用方法はwebを参照してください。
・システムの運用情報がrcnp.announceで提供されます。
6-5. dns
・dnsは内向けサーバ2台、外向けサーバ1台によるサービスを行っています。
Internet
HEPNET
ODINS
×特定サーバのみ
・内向けサーバを2台設定することで、1台に障害が発生した場合でももう1台
のサーバよりdnsのサービスを受けることが可能です。
・センター内からはセンター内の計算機の名前は引けますが、外部のネット
外向けdns
ワークよりセンター内の名前参照は特定のサーバ以外はできません。
Firewall
汎用ネットワーク
内向けdns1
内向けdns2
ユーザー
18
6-6. ntpサーバ
・ntpサーバーは各計算機の時計を正確に合わせるために時刻情報を提供するサーバーです。
・現在2台のサーバ(ntp1,ntp2)で運用を行っています。
・使用しているコンピュータの時刻が合っていることで様々なメリットがありますので設定が可能な計算機では
使用を推奨します。
6-7.pppサーバ
・pppサーバは旧システムと同様に運用を開始する予定です。
・一般回線が3回線用意される予定です。
・今回のシステムではどのユーザーがどのポートでログインしたのかロギング機能をもつ予定です。
19
http://www.rcnp.osaka-u.ac.jp/Divisions/CN/ibm/tebiki.html
新汎用計算機システムの使用の手引き
v0.9.1, 22 December 2000
v0.9.1, 22 December 2000
•移行に伴う必要項目
•FAQ
•新汎用計算機システムの使用の手引き
•1. 本システムの使用方法
•1.1
•1.2
•1.3
•1.4
•1.5
Login 方法
Password 変更手順
バッチジョブ投入について Japanese English
コマンドレファレンス
I/Oステーション・デバイス一覧
•2. クライアントでの設定・使用方法
•2.1 ssh Windows 98
•MacOS
•PC-Unix
•2.2 telnet
•2.3 mnews
•3. Printerの定義・使用手順
•3.1 Windows 98 定義手順
•使用手順
•3.2 Windows NT 4.0 定義手順
•使用手順
•3.3 MacOS 定義手順
•使用手順
•3.4 PC-UNIX 定義手順・使用手順
•3.5 インタラクティブ・ノード及びオンラインステーションからの出力手順
•3.6 UNIXから印刷設定を指定して出力する手順
•4. コンパイラー・マニュアル
•C言語 HTML PDF
•Fortran HTML PDF(User's Guide) PDF(Language Reference)
•IMSLライブラリ HTML(はじめに) PDF
•5. メーリングリスト管理者マニュアル
•6. FAQ HISTORY
20
http://www.rcnp.osaka-u.ac.jp/Divisions/CN/ibm/faq/faq.html
FAQ
v0.9.1, 22 December 2000
v0.9.1, 22 December 2000
•新汎用計算機システムの使用の手引き
•移行に伴う必要項目
•FAQ HISTORY
•FAQ
•1. ネットワーク
•2. インタラクティブ・ノード SENRI-SAHO
•3. 言語関連
•4. その他
21