Transcript ビジネス・ユニットの名前 共通情報システムの HPSS の機能と使い方 Jul 16 2009 日本アイ･ビー･エム株式会社 2015/11/68/3/05 この文書のデータの利用または公開には、 最終ページに記載されている制限事項が適用されます。 © 2009 IBM Corporation ビジネス・ユニットの名前 階層型ストレージシステムHPSS のご紹介 データを、利用頻度別に、階層を分けて管理   より上位層は、より高速な媒体（ディスクなど）で実装し、 利用頻度の高いデータを格納  より下位層は、より低速な媒体（テープなど）で実装し、 利用頻度の低いデータを格納  階層間のデータの移動は自動的  データの格納場所を意識せずにアクセス可能  常に最上位層のみをアクセスすればよく、いつもそこに データがあるかのように見えます。 Local File System High Speed Shared Disk マシンを台数を増やすと、スケーラブルに性能が向上   いくらでも大規模化が可能  いくらでも高速化が可能  下位層の媒体ではデータを二重に書くなどの設定が 可能、即ち、二重バックアップとしても利用可能  テープに保存すると省電力  GPFSと協調・連携 High Capacity Shared Disk Primary Tape Library Remote Tape Library (年内リリース予定、別ライセンス) 容量 © 2009 IBM Corporation この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。

ビジネス・ユニットの名前
共通情報システムの
HPSS の機能と使い方
Jul 16 2009
日本アイ･ビー･エム株式会社
2015/11/68/3/05
この文書のデータの利用または公開には、
最終ページに記載されている制限事項が適用されます。
© 2009 IBM Corporation
ビジネス・ユニットの名前
階層型ストレージシステムHPSS のご紹介
データを、利用頻度別に、階層を分けて管理


より上位層は、より高速な媒体（ディスクなど）で実装し、
利用頻度の高いデータを格納

より下位層は、より低速な媒体（テープなど）で実装し、
利用頻度の低いデータを格納

階層間のデータの移動は自動的

データの格納場所を意識せずにアクセス可能

常に最上位層のみをアクセスすればよく、いつもそこに
データがあるかのように見えます。
Local File
System
High Speed
Shared Disk
マシンを台数を増やすと、スケーラブルに性能が向上


いくらでも大規模化が可能

いくらでも高速化が可能

下位層の媒体ではデータを二重に書くなどの設定が
可能、即ち、二重バックアップとしても利用可能

テープに保存すると省電力

GPFSと協調・連携
High Capacity
Shared Disk
Primary
Tape Library
Remote
Tape Library
(年内リリース予定、別ライセンス)
容量
2
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
HPSS の利用イメージ
HPSS名前空間：巨大なファイルシステムのイメージ
/hpss
/hpss/ilc_g
API, HPSS tools
pftp,kftp, nftp
API、
HPSS tools
/hpss/test_g
HPSS VFS
API, HPSS tools
Linuxホストに、pftp、APIなどのHPSS
パッケージををインストールすれば、
HPSSへアクセスできます
Linux at JPARC
(RHEL4, RHEL5)
scp
login
Login
login.cc.kek.jp
(KEK CC Work Server)
non-VFS Server RHEL5
一般のwork Serverからも
APIなどのHPSSアクセスができます。
3
hpss.cc.kek.jp
(KEKCC HPSS Work Server)
HPSS VFS server RHEL5
User
login
Hpss.login.cc.kek.jpでは、HPSSをあたかもローカルファイルシステムのように
アクセスできます。その機能をHPSS VFSと呼びます。
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
HPSS概念図 - HSM (Hierarchical Storage Management)
COS=10
Tape
クライアント環境
COS=20
Tape
Mover 2
ワークサーバ
計算サーバ
④データ転送
Fibre Channel
Network
①データリクエスト
- ディスクとテープをひとつの
Storage Areaとして構成し、ユーザ
からは 所在の違いを意識すること
なく利用が可能。
Mover 1
②データ転送用
コントロールパス
Core Server
4
Disk
Disk
メタデータ管理
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
HPSS用語のご紹介 - http://kekcc.kek.jp/service/hpss/uguide/hpssuserman.html#hpss_yougo

マイグレーション Migration
 HPSS ファイルは、新規に書き込まれると、まずディスクに書き込まれ
ます。しばらくたつと、自動的にテープに書き込まれます。テープに書
き込むことを、 migrationと呼びます。

パージ Purge
 そして、しばらく使われていないと、ディスク上のファイルが自動的に
消去されます。ディスクから消すことをpurge と呼びます。このような
ファイルはテープ上にしか存在しません。これをpurgeされたファイル
と呼びます。
クライアント
上位層
マイグレーション
ステージ
下位層

ステージ Stage
 このようなpurgeされたファイルにアクセスが来ると、自動的にテープ
媒体がテープ装置にmountされテープからディスクに自動的にコ
ピーが発生します。テープからディスクにコピーすることをstageと呼び
ます。

HPSSファイルの状態やHPSS混雑具合を hpss.cc.kek.jp にログインして確認可能です。

hpsslevel

データ所在（ディスクにあるか、テープにあるか）、テープ媒体名とテープ内のファイル順序を表示
hpssaccnum


5
クライアントホストからHPSSへの要求(TCP/IP socket)個数 と、テープ装置にmountされているテープ媒
体名を表示。情報は、10分に一度の更新。
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
HPSSのデータの流れ


HPSSのデータは、Moverに接続するDiskに
格納されます。

Diskがいっぱいになったら、データはTapeへmigrationされます。

あまり使われないデータはDisk上から消えます。(purgeされます）

アクセスされたデータがDiskに無い場合、TapeからDiskへ
stagingされます。
ssh login
scp
Work
Server
#3～4
Moverは5台あるので、同時に多数の通信が
発生しても同時並行にI/Oできます。
Work
Server
#3～4
API, HPSSツール
 Moverと直接に通信すると、
大きな帯域を活用できるの
で、通信の性能上有利です。
◎ API, pftp → Moverと直接の通信
○ kftp, nftp → COREサーバ経由Mover
kftp, nftp
Lab-LAN (Global-IP-address)
Mover Mover Mover Mover
#1
#2
#3
#4
CORE
Server
SAN
Switch
△ scp, VFS→ Work Server経由Mover
Tape Lib
6
API, pftp
Disk
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
HPSSを使うためのInterfaceのご紹介
http://kekcc.kek.jp/service/hpss/uguide/hpssuserman.html#hpss_info1
簡易
さ
OS
固有
機能
性能
＊、
？な
どの
利用
pftp
△
×
◎
○
ftp類似の方法で利用できます。HPSS導入が必要です。
HPSS
tool
△
×
◎
×
hpssls, hpsscat などUNIXのls, catと類似の利用ができます。
*, ?などのワイルドキャラクタの利用はできません。HPSS導入が必要です。
特長
API
×
×
◎
×
hpss_Open(), hpss_Write(), hpss_Read(), hpss_Close()などPOSIX API類似の利用
ができます。
open(), write, read(),close()が ほぼそのまま利用できるwrapper(ヘッダファイルで
#define変換)もあります。 HPSS導入とプログラミングが必要です。
Kerbero
s ftp
○
○
○
○
ftp類似の方法で利用できます。HPSS導入は不要、OS固有機能を利用ください。
○
あたかもローカルファイルシステムのように利用できます。
ls, find, などのUNIXコマンドで利用可能です。
*, ?などのワイルドキャラクタも利用できます。
ワークサーバ(cw103-104)のみに導入されていますので、ログインが必要です。
○
Scpは、上記のワークサーバ(hpss.cc.kek.jp)経由で利用可能です。
Ｇｒｉｄからの利用はVFS経由なので、あたかも普通のUNIXファイルシステムに見
えます。
ワーク
サーバ
hpss.login
.cc.kek.jp
VFS,
scp
7
◎
○
×
○
×
△
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
GridからのHPSS利用
GridからのHPSS利用は、VFS経由なので、あたかも 普通のUNIXファイルシステムのように見えます。


VFSホストでは /hpssというディレクトリ以下にmountされている 通常のUNIXファイルに見えます


すべてのHPSSファイル名は必ず /hpss/ から始まります。
/hpss/ggg のgggがグループ名なので、テープquotaを調査する時に必要な情報です。
 例： /hpss/ilc_g/
GridのためにVFSが導入されているのは下記のホストです。


gLite
kek2-sedisk01-02

SRB/iRODS
gsr01-02

これらのホストで VFSとHPSSツールが利用可能です。
Grid側から見えているファイル名とHPSS側から見えているファイル名は異なります。

8

理由： Grid側でファイル名をmappingしているからです。

調査方法： それぞれのGridツールにより異なります。ご自分が利用しているGridツールの管理者に
お問い合わせ下さい。
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
GRIDファイル名とHPSSファイル名の対応 – gLite
LFN・・・gLite コンポーネントでアクセスする際のLFCメタデータ名です。Kek2-UIから
lfc-lsコマンドにて確認することが可能です。


例：lfn:/grid/ilc/users/stak/testfile_2G
SURL・・・LFNに対応する物理ファイル名。lcg-lrコマンドで確認することが可能です

例：srm://kek2-se.cc.kek.jp/dpm/cc.kek.jp/home/ilc/generated/2009-07-02
/filec247f25e-c9ca-4931-b392-730b21c1a59ｚ

さらに、SURLからTURLを調べることで、ファイルの位置を特定することが可能です
lcg-getturlsコマンドを使用します
例：rfio://kek2-sedisk01.cc.kek.jp//storage/ilc/2009-07-02/filec247f25e-c9ca4931-b392-730b21c1a599.35895.0

実際のファイルパス・・・HPSS上に配置されている実際のファイルパスです。上記
TURLの情報をもとにファイルパスを特定することが可能です。

9
例：/hpss/ce/lcg/lcg01/sedisk01/ilc/2009-07-02/
filec247f25e-c9ca-4931-b392-730b21c1a599
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
HPSS client API (1/2)


HPSS client APIとは

POSIX CのI/O Callのopen(), write(), read()などに類似の関数で、C/C++から利用します

Moverと直接通信するので、大きな帯域を活用できます。

Gridツールの一部はこの HPSS client APIにより実装されています。
プログラム作成・コンパイル

コンパイル時・リンク時のオプションは、/opt/hpss/kek/examples/Makefileを参照ください。

API仕様は、下記の「HPSS Programmer‘s Reference Guide」を参照してください。
 http://kekcc.kek.jp/service/hpss/uguide/hpss/progref_A4_v2.pdf
コーディング例は、/opt/hpss/kek/examples/hpssls.cなどを参考にしてください。



より高度なプログラミングを目指す場合には、「HPSS6.2WrapperGuide」を参照ください。
 http://kekcc.kek.jp/service/hpss/uguide/hpss/HPSS_warpper.htm
64bit 版に含まれる 32bit 版 ClientAPI の利用方法は、下記の「32bit HPSS client API ご利用の手引き」を参
照してください。
 http://kekcc.kek.jp/service/hpss/uguide/hpss/hpss620_32bit_api.html


（32bit 版で提供されている ClientAPI のAPI仕様は、64bit 版と同様ですが、64bitOS上で32bitプログラム実行させるための環境変数が異なりま
す。）
APIの例

10
- http://kekcc.kek.jp/service/hpss/uguide/hpssuserman.html#use_api
hpss_Open(), hpss_Write(), hpss_Read(), hpss_Close(), hpss_Stat(), hpss_Chdir()など
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
HPSS client API(2/2) プログラム例 – /opt/hpss/kek/examples/hpssrm.c
#include <stdio.h>
#include <errno.h>
#include "hpss_api.h"
#include "tools.h"
int main( int argc, char *argv[] ) {
int rc,ec,i;
for (i=0;i<argc-1;i++){
rc = hpss_Unlink(argv[1+i]);
if (rc < 0) {
ec=errno;
perror(argv[1+i]);
fprintf(stderr, "rc = %d, errno = %d\n", rc, ec);
exit(1);
}
printf("Succesfully removed object %s\n", argv[1+i]);
}
exit(0);
}
11
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
scp と VFS 利用例

scp利用の前提
 共通情報システムのuseridを持っていること
 DNSを参照でき、hpss.cc.kek.jpを名前解決できること。

利用例
$ scp /etc/group [email protected]:/hpss/test_g/ibm/hpss/ibm-yama/testfile ↓
$ ssh
[email protected]
“ls
-la
/hpss/test_g/ibm/hpss/ibm-yama/testfile” ↓
-rwxr-xr-x 1 ibm-yama ce_ibm 957 Apr 10 11:39 /hpss/test_g/ibm/hpss/ibm-yama/testfile
$

特長
 VFSホストでは /hpssというディレクトリ以下にmountされている 通常のUNIXファイルに見えます

すべてのHPSSファイル名は必ず /hpss/ から始まります。

/hpss/ggg のgggがグループ名なので、テープquota (後述) を調査する時に必要な情報で
す。

例： /hpss/ilc_g/

Gridの一部では VFSを利用して、あたかも通常のUNIXファイルシステムのように見えるHPSSファイ
ルシステムとして、HPSSファイルにアクセスします。
12
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
HPSSツール(1/3) - http://kekcc.kek.jp/service/hpss/uguide/hpssuserman.html#use_hpsstool
HPSSツールは、あたかもUNIXのmkdir, rmdir, ls, cat, chown, chmod のように利用可能なコマンド郡です。

hpsscat
UNIXのcatに類似

hpssmv
mvに類似

hpsschmod
chmodに類似

hpssposixstat
POSIX類似stat()結果を表示

hpsschown
chownに類似

hpssrm
rmに類似

hpsscp
cpに類似

hpssrmdir
rmdirに類似

hpsshardlink
lnに類似。Hardlink作成

hpssstat
statに類似

hpssls
lsに類似

hpsssymlink
ln –sに類似

hpssmkdir
mkdirに類似

hpsstouch
touchに類似
下記はHPSS特有な機能を提供するコマンド群です。

hpssgetvol
格納テープ名とテープ内の位地を表示

hpsslevel
データ所在（ディスクにあるか、テープにあるか）、テープ名とテープ内の位地を表示

hpsspurge
ファイルをpurge。注：migration完了をhpsslevelにより確認してから purgeください。

hpssput
ファイルをUNIXからHPSSへputする。ftpのputに類似

hpssrmd
そのディレクトリのファイルをすべて削除

hpssrmda
そのディレクトリ以下のディレクトリとファイルをすべて削除

hpssstage
ファイルをstage。即ち、テープにあるがディスクにないファイルをテープからディスクへコピー
13
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
HPSSツール(2/3)

ここで "HPSS領域" とは /hpss 以下、"HPSS領域ファイル名" とは /hpss から始まるファイルへのパスを意味して
います

hpssls



14
- http://kekcc.kek.jp/service/hpss/uguide/hpssuserman.html#use_hpsstool

HPSS領域のファイルの名前・日付・permissionなどを標準出力に表示します。Unixのlsコマンドに類似します。

#> hpssls ”HPSSディレクトリ名またはファイル名”↓

#> hpssls ”HPSSのFileSetのMountPoint名の場合に後ろに/.をつける”↓

例：hpssls -la /hpss/ps/klea_g/.

(上記はMountPoint名なので、後ろに/.をつけます)
hpsscat

HPSS領域のファイルを標準出力に表示します（引数へは 1ファイルのみ指定可能です）。

#> hpsscat ”HPSSファイル名”↓
hpssput

UNIXファイル、または標準入力をHPSS領域のファイルとしてコピーします。標準入力から読み取る場合、第2
引数に -（ハイフン）をご指定ください。

#> hpssput -c “COS名” ”dst_HPSSファイル名” ［”src_UNIXファイル名”］↓
hpsscp

HPSS領域のファイルを別のHPSSファイルへコピーします。

#> hpsscp -cosid “COS名” ”src_HPSSファイル名 dst_HPSSファイル名”↓
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
HPSSツール(3/3)

hpsslevel

HPSSファイルがディスク上にあるのかテープ上にあるのかを表示します。（引数へは 1ファイルのみ
指定可能）

#> hpsslevel ”HPSSファイル名”↓



- http://kekcc.kek.jp/service/hpss/uguide/hpssuserman.html#use_hpsstool
利用例
$ hpsslevel /hpss/test_g/ibm/se/1024MB
/hpss/test_g/ibm/se/1024MB
: Disk_Bytes = 1000000000
Tape_Bytes =
1000000000 Tape_Name = 00001100 Relative_Position = 80
This_file_is_on_both_disk_and_tape.[migrated]
$
hpssstage

ディスク上になくテープ上にあるHPSSファイルがを、ディスク上にstageさせます。例えば、明日使い
たいファイルがある場合、今日のうちにstageしておくと、明日のHPSSファイルアクセスが高速になり
ます。

#> hpssstage ”HPSSファイル名（複数指定可能）”↓
hpsspurge

15
Purgeします。即ち、ディスクにもテープにも存在しているファイルについて、ディスクからファイルを
消去します。ただし、未migrationファイルを stageするとファイルの中身が消えてしまいます。必ず、
hpsslevelにより、ファイルのmigrationが完了していることを確認してから purgeしてください。
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
HPSSのグループ管理 - http://kekcc.kek.jp/service/hpss/uguide/hpssuserman.html#hpss_info2

各グループ毎にFileSetとテープがアサインさ
れています。




ご自分の所属グループのFilesetへ書き込ん
でください。
アサインされたテープの巻数まで書き込めま
す。Quota状況は下記のURLで確認できま
す。
このテスト領域 /hpss/test_g のファイルは
予告なく消去されることがありますので、あ
らかじめご了承ください。
Mount Point
Use
d[
巻]
Ass
ign
ed[
巻]
336
359
ps_klea_g
1002
None (since it
is symbolic
link)
1002
ilc
2001
/hpss/ilc_g
45
52
acc
4001
/hpss/acc_g
7
10
ce
6001
/hpss/ce_g
2
4
test_g
1000
1
1
3
atls
3001
0
0
1
2
45
60
http://www.cc.kek.jp/service/hpss/tapeusg_3592_NEW.txt
誰でも自由に書き込める領域 /hpss/test_gが
用意されていますので、ご自由にご利用くださ
い。

Fileset
Family
ＩＤ
/hpss/ps/klea_g
/hpss/ps/klea </hpss/had/koto
/hpss/test_g
/hpss/atls
ce_lcg
0
/hpss/ce/lcg
ce_srb
0
/hpss/ce/srb
ce_bess
6004
/hpss/ce_g/bess
had
5100
/hpss/had
0
0
t2k
5200
/hpss/t2k
0
0
mlf
5300
/hpss/mlｆ
0
0
cmb
5400
/hpss/cmb
0
2
2009年04月 時点
16
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
テープquotaを見るためのURL 
Groupname

=========================================================================

PS_E391A
ps_e391a_quota

Used(Gbyte)
http://www.cc.kek.jp/service/hpss/tapeusg_3592_NEW.txt
144515.1
Used(volume) Quota(volume)
329
359
Used(%)
81.8

-------------------------------------------------------------------------

ILC
ilc_quota

14271.8
48
52
80.0

-------------------------------------------------------------------------

中略

-------------------------------------------------------------------------

HAD
had_quota

0.0
0
0
0.0

-------------------------------------------------------------------------

T2K
t2k_quota

0.0
0
0
0.0

-------------------------------------------------------------------------

MLF
mlf_quota

0.0
0
0
0.0

-------------------------------------------------------------------------

CMB

cmb_quota
0.0
0
0
0.0

-------------------------------------------------------------------------

TEST

test_quota
56.1
2
3
2.7

=========================================================================

at 2009/04/09 11:01
17
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
階層型ファイルシステムご利用のヒント



18
- http://kekcc.kek.jp/service/hpss/uguide/hpssuserman.html#hpss_yougo
HPSSファイル利用に先立ちあらかじめstageするとアクセスが高速になります

使う予定のファイルを、前もってhpssstageによりstageしておけば、HPSSファイルアクセスが高
速になります。

ただし、ステージング領域を圧迫してHPSSの動作を乱す恐れがあるので必要最小限の利用に
とどめてください。
HPSSの利用の手引き

下記の利用の手引きを参照ください。

http://kekcc.kek.jp/service/hpss/uguide/hpssuserman.html
HPSSのFAQ

下記のHPSSのFAQもあわせて参照ください。

http://kekcc.kek.jp/service/hpss/uguide/hpss/HPSS_FAQ.html
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
参考資料(1/5)： 所内LAN接続のホストから利用するための前提条件 http://kekcc.kek.jp/service/hpss/uguide/hpssuserman.html#from_linux

scpを利用の場合
 共通情報システムのuseridを持っていること
 DNSを参照でき、hpss.cc.kek.jpを名前解決できること。

Kerberos-ftpの場合
 上記に加え、そのホストの時刻が時刻サーバ と同期していること。
 そのホストをKerberosサーバaua01.cc.kek.jp のKerberosクライアントに設定すること（手順後述)
 OS固有のKerberos-ftp(例：/usr/Kerberos/bin/ftp など)が導入されていること

pftpまたはHPSS client APIまたはHPSS toolの場合
 上記に加え、下記の「HPSS 6.2 Regresstion Test Platform」にに記載された稼働検証済み OSであること。（これ
以外のLinuxOSでは、ご自身の責任でご利用ください。現在は、RHEL4/RHEL5をサポートしています）
http://kekcc.kek.jp/service/hpss/uguide/hpss/hpss_reg_test_p.html

環境変数 HPSS_API_HOSTNAME
 グローバルに名前解決できないホストからは利用出来ません。
 HPSS_API_HOSTNAMEにはhostnameが初期設定されています。


その場合には、自ホストの名前解決と逆引きが、DNSサーバの名前解決とその逆引きと同一であることが必要です。
 例えば、mlf001というホストの /etc/hostsに 127.0.0.1 mlf001 localhost.localdomain localhost などの行がある場合、
mlf001の逆引きが127.0.0.1になってしまうので、 HPSSとの通信はできません。 RHEL5で初期導入するとこうなることがあり、
変更が必要です。 127.0.0.1 localhost.localdomain localhost に変更するか、または、または、 HPSSとの通信経路のグ
ローバルIPアドレス（hostnameではない）を HPSS_API_HOSTNAMEに設定ください。ください。
逆引きなどの設定を変更できない場合には、HPSSとの通信経路のグローバルIPアドレス（hostnameではない）を
HPSS_API_HOSTNAMEに設定ください。ください。

HPSSパッケージがインストールされていること。

そのマシンでhco01 (short-name)が名前解決できること。即ち、/etc/hostsに 下記の行があること

19
202.13.197.60
hco01.cc.kek.jp
hco01
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
参考資料 (2/5) HPSSの導入 http://kekcc.kek.jp/service/hpss/uguide/hpss/end_user_terminal_setup.html

下記の「エンドユーザ様端末からのHPSS6.2利用について」を読んで、前提ソフトウェアを導入し
てください。http://kekcc.kek.jp/service/hpss/uguide/hpss/end_user_terminal_setup.html

そのホストに/etc/krb5.confファイルが存在する場合、バックアップを取得してから、下記より
krb5.conf をコピー＆ペーストして、/etc/krb5.conf に置いてください。 また、時刻サーバと時刻
同期してください。http://kekcc.kek.jp/service/hpss/uguide/hpss/krb5.conf

お使いのOS環境に該当するインストールパッケージを下記の「HPSS導入パッケージ表」からダ
ウンロードし、confファイル、binaryファイルの順に導入してください。
http://kekcc.kek.jp/service/hpss/uguide/hpss/hpss_reg_test_p.html

前述の「エンドユーザ様端末からのHPSS6.2利用について」を読んで稼動確認してください。

下記の順序での確認がスムーズです。






20
ssh [email protected] (sshログインできることを確認する)
kinit userid の稼動確認
kftpの稼動確認
pftpの稼動確認
HPSS ツールの稼動確認
HPSS client API の確認
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
参考資料 (3/5): HPSSの稼動確認 http://kekcc.kek.jp/service/hpss/uguide/hpss/end_user_terminal_setup.html

HPSS利用には、kinitの成功が前提です。
 Kerberosのkinitコマンド
 #> kinit ”共通計算機(KEKCC)システムのアカウント名”↓
 失敗する場合には、ホストの時刻同期、userid, パスワードを確認ください。

API と pftp の場合： 環境変数”HPSS_API_HOSTNAME”の設定
環境変数”HPSS_API_HOSTNAME”がHPSS稼動に必須です。初期設定では、それにはhostnameが設定され
ています。コマンドhostnameの返り値が HPSSとの通信経路に一致する場合はそのままでOKですが、異なる場
合には、変更が必要です。具体的には、HPSSとの通信経路のグローバルIPアドレスを設定します。

設定ファイル読み込み
HPSSパッケージ導入後に再ログインすると、HPSS_API_HOSTNAMEなどの必須環境変数設定が自動読み込みされます。
ksh,bash をご使用の方は、設定ファイル”/var/hpss/kek/hpss.sh” を読み込みます。
csh,tcsh をご使用の方は、設定ファイル”/var/hpss/kek/hpss.csh” を読み込みます。
HPSS _API_HOSTNAMEが設定されていない場合には、再ログインするか、または上記の設定ファイルを
明示読み込みしてください。



自ホストの名前解決と逆引きとDNS - グローバルIP-addressとして名前解決・逆引きできることが必須

例えば、mlf001というホストの /etc/hostsに 127.0.0.1 mlf001 localhost.localdomain localhost などの行がある場合、
mlf001の逆引きが127.0.0.1になってしまうので、 HPSSとの通信はできません。 RHEL5で初期導入するとこうなることが
あり、変更が必要です。 127.0.0.1 localhost.localdomain localhost に変更するか、または、 HPSSとの通
信経路のグローバルIPアドレス（hostnameではない）を HPSS_API_HOSTNAMEに明示設定ください。

hco01 (short-name)の名前解決 - 即ち、/etc/hostsに 下記の行があることが必須

21
202.13.197.60
hco01.cc.kek.jp
hco01
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
参考資料 (4/5) pftp利用方法 http://kekcc.kek.jp/service/hpss/uguide/hpssuserman.html#use_ftp

以下のように、pftp コマンドを使用します。 ftp と同じsubcommandが利用可能で、さらにHPSS固有拡張
subcommandがあります。ログイン直後は/（ルート･ディレクトリ）にいるので、まず 自分のグループ・ディレクトリ
にcdすることが必要です。
# kinit ibm-yoko ↓
# pftp↓
※ HPSSを導入すると、このコマンドは、/etc/profile.d/hpss.{sh|csh} 内で alias 定義されます。
※ ここでibm-yokoは共通情報システムのuseridです。Kerberos導入が前提です。

［使用例］
# kinit ibm-yoko ↓
Password for [email protected]: ********
# pftp↓
Connected to hco01.cc.kek.jp.
220 hco01 FTP server (HPSS 6.2 PFTPD V1.0.0 Thu Sep 16 09:24:41 MST 2004) ready.
334 Using authentication type GSSAPI; ADAT must follow
GSSAPI accepted as authentication type
GSSAPI authentication succeeded
Preauthenticated FTP to hco01.cc.kek.jp as ibm-yoko:
232 GSSAPI user [email protected] is authorized as [email protected]
230-No directory! Logging in with home=/
230 User [email protected] logged in as [email protected]
Remote system type is UNIX.
Using binary mode to transfer files.
Pwidth set to default(1).
Multinode is Disabled.
ftp> cd /hpss/mlf ↓
22
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。
ビジネス・ユニットの名前
参考資料 (5/5) Kerberos-ftp の利用方法 http://kekcc.kek.jp/service/hpss/uguide/hpssuserman.html#use_ftp

以下のように、Kerberos-ftp コマンドを使用します。ftp と同一subcommandが利用可能で、さらに
HPSS固有の拡張subcommandがあります。ログイン直後は/（ルート･ディレクトリ）にいるので、ま
ず 自分のグループ・ディレクトリにcdすることが必要です。

# kinit ibm-yoko ↓

# /usr/kerberos/bin/ftp hco01.cc.kek.jp 4020↓
※Kerberosを導入すると、RHEL4/5では、/usr/kerberos/bin/ftp が利用可能です。
※ ここでibm-yokoは共通情報システムのuseridです。Kerberos導入が前提です。

［使用例］
# kinit ibm-yoko ↓
Password for [email protected]: ********

23
# /usr/kerberos/bin/ftp hco01.cc.kek.jp 4020↓
Connected to hco01.cc.kek.jp.
220 hco01 FTP server (HPSS 6.2 PFTPD V1.0.0 Thu Sep 16 09:24:41 MST 2004) ready.
334 Using authentication type GSSAPI; ADAT must follow
GSSAPI accepted as authentication type
GSSAPI authentication succeeded
Name (hco01.cc.kek.jp:ibm-yama):↓
ftp> cd /hpss/mlf ↓
© 2009 IBM Corporation
この文書のデータの利用または公開には、最終ページに記載されている制限事項が適用されます。