Transcript ppt - kekcc
大容量ストレージシステム HPSS (High Performance Storage System) 八代 茂夫 2006/2/9 http://agenda.kek.jp/ → seminars → CRC → New system guidance 2006/2/9 1/12 [email protected] HPSSとは 分散階層型ストレージ管理ソフトウェア(HSM) – 階層型 ディスクとテープをひとつのStorage Areaとして構成 あまり使わないデータは、テープに落ちる (migrate) 利用するときに自動的にテープからディスクに上がる (stage) – 分散型 巨大な一つのネームスペース ユーザはどこにデータがあるか意識する必要なし ペタバイトクラスのマスストレージの構築が可能 HPSSの特徴 – 大規模データ管理 – 1ファイル当りの転送能力とスループット 2006/2/9 2/12 [email protected] アクセスのインターフェイス API (C言語のPOSIX-like関数) – 高性能 pftp – 高性能 – クライアントのインストールが必要 Kerberos-ftp (/usr/kerberos/bin/ftp) – セキュア – 設定ファイルの設定のみ Normal-ftp – セキュリティの問題 NFS – 操作性良好 – セキュリティの問題 2006/2/9 3/12 [email protected] Client/Server間の制御とデータの流れ UNIX環境 HPSS環境 Tape Mover (4)データ転送、TCP/IP Tape Mover テープライブラリ装置 データパス Client Disk Mover (3)データ・リコール TCP/IPデータパス Disk Mover (1)データ・リクエスト 2006/2/9 HPSS Core サーバ (2)データ転送 コントロールパス 4/12 ファイル管理DB (メタデータ管理) [email protected] 利用にあたっての考慮点 磁気ディスクはキャッシュ テープに書かれることを考慮 – 小さなファイルは不利 オーバヘット大 – ファイルを消去してもリパックするまで、無効 領域として残る 2006/2/9 5/12 [email protected] 利用にあたっての考慮点 KEKCC上での使用例 – NFS経由でファイルの確認をし、APIでアクセ スする KEKCC外からファイル転送 – Kerberos-ftp あるいは pftp を推奨 2006/2/9 6/12 [email protected] 利用するには 試用のための領域を作成 – 誰でも、いつでも試せる – 更新が1ヶ月以上前のデータの自動消去 – /hpss/test_g/ 正式利用には – まず計算科学センターにご相談ください consult@kek,jp – WG管理者の許可 – 磁気テープの調達 2006/2/9 7/12 [email protected] 運用 2006/2/9 旧テープのデータは read-only, 消去可 新しいデータは新テープに 8/12 [email protected] 旧システムからの移行 旧テープのデータは read-only, 消去可 新しいデータは新テープに ファイルサイズで異なるキャッシュ領域 – 性能の向上 – ファイル作成時に COSid で選択 磁気テープの割り当て – 旧システム： サブグループ毎に別テープ – 新システム： ワークグループ毎に別テープ (原則) 磁気テープの効率的使用 サブグループ間でのテープアクセスの競合がおこるかも知れ ない 2006/2/9 9/12 [email protected] 2006/2/9 10/12 [email protected] 2006/2/9 11/12 [email protected] 参考資料 HPSS サイト – http://www.hpss-collaboration.org/hpss/index.jsp 共通情報システム の情報 – http://kekcc.kek.jp/kekcc2006.html (暫定URL) 少し古いけど、参考に – http://kekcc.kek.jp/docs/HPSS/slide/hpss.htm – http://kekcc.kek.jp/docs/HPSS/000920_HPSS/ 2006/2/9 12/12 [email protected]