Transcript ppt
グリッド技術を利用した大規模 計算機システムの構築 東大素粒子物理国際研究センター 松永浩之、磯部忠昭、小林富雄、坂本宏、 真下哲郎、松井長隆、森下可奈子 Worldwide LHC Computing Grid • LHC実験では、データ量がかつてないほど多いの で、 CERNだけでデータの保管や処理を行うことが 不可能 – Raw データの量だけで >3PB/year • Worldwide LHC Computing Grid (WLCG) – LHCの実験に必要な計算機資源を確保し、Grid middleware の開発・配備を行う • WLCG においても、仮想組織（VO: Virtual Organization) ごとに使用・運用方法は少しずつ異 なる （VO は各実験に対応：ATLAS VO など） – WLCGサイト間の連携や、サイトでのソフトウェアのインス トール方法など 地域解析センター • 東大素粒子センターに、日本におけるアトラス実験 のデータ解析の拠点として、「地域解析センター」を 設置 • 地域解析センターでは、WLCG として使用する資源 とそれ以外 (非WLCG) の資源に区別して運用 – WLCGでは ATLAS VO のみサポート – 非WLCG 分は、ATLAS日本グループが独占して使用 – ただし、WLCG に提供しているストレージ（ディスク）は、 非WLCG の計算機からもアクセス可能なように設計 • WLCG で使用されている三種類の Grid middleware のうち、ヨーロッパを中心に開発されて いる gLite を用いて、WLCG のサイト (TOKYOLCG2) を構築・運用 計算資源 • 昨年から本システム設置 • 計算サーバー： 650 ノード x 4 コア – 120 ノードを gLite の Worker Node として使用 (~1000kSI2k) – また、一部は gLite “Head Node” として使用 • ディスクアレイ： １４０台 – １台に 500GB x 16 HDD、RAID-6 で使用 – ３０台 (~190TB) を WLCG に提供 • 近く６５台 (~400TB) まで追加予定 • テープライブラリ：８０００本 – LTO-3 (400GB/本) Tape Robot PC Servers Disk Arrays Disk Arrays ~270 m2 WLCG サイト構成 • CE (Computing Element) + WN – Torque + Maui の batch system • Fair share、Priority (Production、software インストール） • （将来 WN 数が増加した場合） LSF への移行も検討 – WN は、8GB memory (2GB/core)、~40GB working disk space (10GB/core) • SE (Storage Element) – DPM (Disk Pool Manager) で構築 • CERN の Castor から派生（テープはなし） – rfio、name server (MySQL based) • データ転送は gridFTP • xrootd の動作も可能 • rfio などにより、（非LCG 上のノードの）ジョブから直接ファイルをアクセ ス可能 • SRM (Storage Resource Manager) プロトコル対応 – 実験からの機能要求、異なる実装に対する interoperability • Information System (BDII、Globus MDS)、LFC File Catalog、Resource Broker、User Interface、 Monitoring/Accounting など SE の構築 • １台のファイルサーバーに５台のディスクアレイ (~6TB/台) を接続 – 4Gbps の Fibre-Channel – ファイルサーバーでは、Chelsio の 10Gbps の NIC を使用 • 遠くの相手と効率よくデータ転送するため、TCP の Window size 等を調 整 – 東大のサイトは、主にフランス・リヨンのサイトとの間でデータを転送 (RTT~280ms) • SL3/i386 用パッケージしかないころより、 SL4/x86_64 の OS で（互換 モードで）稼動。また、filesystem には XFS を使用 – SL4 の TCP の実装 (BIC-TCP) は、SL3 のもの (TCP Reno)より輻輳制御 が優れている – 大きな Filesystem (>2TB) を作成可能。 – 大量のファイル消去は ext3 より XFS のほうが高速。また、XFSは大きな ファイルの扱いが得意 – gridFTP を用いた multi-stream でのデータ転送による fragmentation の効 果が XFS は ext3 より小さい – ただし、XFS は (RedHat Linux でサポートされていないため)独自に patch を当てたり kernel parameter の調整をしないと高負荷で不安定になる場合 がある 利用ソフトウェア • Quattor – OS インストール (+ アップデート) • Lemon – Fabric モニター • MRTG, SmokePing – Network モニター • OpenManage (Dell), RAIDWatch (Infortrend) – サーバー、RAID 管理 • 自家製 scripts – SE でのディスク利用、データ転送状況 – CE でのアカウンティング • その他、LCG で提供されているモニター、アカウンティング 高可用性・高信頼性 • 東大のサイトは高可用性・高信頼性を実現 – WLCGサイトにおいて上位 • ２００８年１月には、可用性98%、信頼性９９％ • ハードウェアの選択 – UPS、冗長構成（RAID、電源、Oracle RAC） • 事前の高負荷でのテストによる不良発見 – FB-DIMM の ECC single bit error – 電源ユニットの故障 – XFSに起因する kernel panic • gLite middleware の慎重な update – 頻繁に update が release されるが、仕様・設定の変更や bug が含 まれることが多い • 各種モニタリング・ツールの活用 サイトの利用統計 月ごとのCPU 使用量 ディスク使用量、使用可能量 50TB 200TB • CPU、ディスクの使用とも順調に増加 – CPU は ATLAS Production の状況で変化 – ディスクは昨年８月に~190TB追加 まとめと予定 • TOKYO-LCG2 の運用は順調 – 高可用性、高信頼性を実現 – 使用率も除々に増加 – データ転送のための最適化も進展（次のトーク） • 今後の予定 – Oracle RAC の運用 • gLite の backend の database として • ATLAS Conditions database – ATLAS software 等を AFS で提供 – （非WLCG部分での）Castor の導入