Transcript PC-VLBI

PC-VLBIシステムを用いた
VERA用相関処理系の構築 2
木村守孝、小山泰弘(情報通信研究機構)
小林秀行、川口則幸、小山友明(国立天文台)
三鷹FX相関器
ソフトウェア相関処理システム
VERA相関処理のための
ソフトウェア相関器の開発目的
年代
1990年
1997年
2002年
2005年
三鷹ＦＸ相関器
設計
運用中
運用中
運用中
VSOP計画
VERA計画
運用開始 運用中
運用開始
20xx年
運用終了
運用中
運用中
大学連携
運用開始 運用中
ソフトウェア相関器
開発開始 運用中
そろそろ三鷹ＦＸ相関器の後継機が必要
VERA用ソフトウェア相関器要求仕様
相関局数
5局 （ソフト相関的には上限なし）
相関処理形式
ソフトウェアFX型（相互相関&自己相関）
相関処理速度
5局@1Gbps観測時に0.5倍～1.0倍速程度
処理可能形式
VERA-T、 VSOP-T、Galaxy-T、K5/VSI、K5/VSSP、Mark-V
相関出力形式
CODA形式、（FITS 形式）
分光点数
64‐64k点程度
相関出力速度
1～100Hz程度
追加機能
多ビーム対応、混合相関対応、実時間処理、…
開発のスケジュール
2005年度
三鷹相関器室にPC-VSI機を設置
ＮＩＣＴのPC-VSI機でVERAシステムからのデータ取得試験
ソフトウェア相関処理でVERA-7モードのフリンジ検出
2006年度
ソフトウェア相関器の出力のＣＯＤＡファイル化
マルチビーム化対応
長時間データでの比較検討
数台のPC-VSI機を追加導入（予定）
2007年度
自動運用化等⇒完成
NICT製 PC-VLBIシステム
PC-VLBI システムの一例
構成
A/Dサンプラ（VSI仕様）、
PC(VSI入力ボード)、汎用ディスクアレイ
機能
デジタルフィルタ、分光計、信号記録、
ネットワーク伝送、相関処理
アレイ構成
Raid-0、Raid-5、Raid-6、etc…
記録時間＠速度
12時間＠2Gbps/array
24時間＠1Gbps/array
PC-VLBI システム
パーソナルコンピュータ
1024/2048
Mbps
A/Dサンプラ
（VSI仕様）
VSI入力ボード
VSI入力ボード
Memory
バッファリング
CPUs
デジタルフィルタ
分光計
Ether Ports
データ送受信
内部バス（PCI-X、PCI-Express、Hyper-Transport)
SATA、SCSI、iSCSI、FC等
ディスクアレイ （観測データの記録）
５１２Msps/2bit観測の等速相関に
要求される計算速度
観測局毎（FFT数をnとする）に必要な演算速度
フーリエ変換部： (5/2 n log n)×(512000000/n)
遅延・位相追尾:
6 ×(n/2) ×(512000000/n)
1024点FFTの場合 1局当たり 約15Gflops/局
相関
局数
基線数
相互/自己相関
基線毎に必要な演算速度
相関部： 6×(n/2) × 512000000/n
積分部： 2×(n/2) ×512000000/n
1基線当たり 約2Gflops/baseline
全体で必要
な演算速度
PC1台当たりで
必要な演算速度
１局
0/1
17Gflops
17Gflops
2局
1/2
36Gflops
18Gflops
4局
6/4
80Gflops
20Gflops
8局
28/8
192Gflops
24Gflops
16局
120/16
512Gflops
32Gflops
AMD Opteron (初代PC-VSI)
1.4GHz×2(dual processor)×1（single-core）×4（SIMD）
11.2Gflops
IBM PowerPC 970FX(3年前)
2.0GHz×2(dual processor)×1（single-core）×8（SIMD）
32.0Gflops
AMD Opteron (2年前)
2.6GHz×2(dual processor)×2（dual-core）×4（SIMD）
41.6Gflops
IBM PowerPC 970MP
2.7GHz×2(dual processor)×2（dual-core）×8（SIMD）
86.4Gflops
Intel Xeon5160[Wood Crest] 今年
3.0GHz×2(dual processor)×2（dual-core）×8（SIMD）
96.0Gflops
Intel Xeon 5355[Clovertown] 来月
2.66GHz×2(dual processor)×4（quad-core）×8（SIMD）
170.24Gflops
Sony PS3
3.2GHz×1(single processor)×8（eight-core）×8（SIMD）
208.4Gflops
ベンチマーク結果
(Xeon 5160での実測値 ネットワークとディスクアクセスは含まず)
1.4
CPU Xeon 5160@3GHz×dual/Station
処
理 1.2
速
度 1
三
鷹
Ｆ
Ｘ
を
１
と
す
る
1局
2局
3局
4局
5局
0.8
0.6
0.4
0.2
0
64
256
1024
4096
FFT-ポイント
16384 65536
ベンチマーク結果
(Xeon 5355での予測値 VERA用ソフト相関器で採用予定)
2.5
処
理
速
度
CPU Xeon [email protected]×dual/Station
2
1局
2局
3局
4局
5局
三 1.5
鷹
Ｆ
Ｘ 1
を
１
と
す 0.5
る
0
64
256
1024
4096
FFT-ポイント
16384 65536
構成パーツの価格
（1局分あたり）
パーツ
型番等
CPU
Intel Xeon 5355
Memory
DDR-677 ECC Registered 1GB×4
30000×4
Raid Card
HighPoint Rocket Raid-2340 (16ch SATA/PCI-Expess)
80000
マザーボード
SuperMicro X7DBE
80000
PCケース（電源搭載）
T-win RMC3E2-PI-XPSS
Hard Disk
IBM-Hitachi Deskstar T7K500 (500GB/SATA)×16
VSI入力ボード
VSI2000-DIM
その他
起動ディスク、ケーブル、…
合計
価格 円
150000×2
160000
22000×16
1200000
数万円
230万円程度
三鷹FX相関器との実際の観測データを使用した
相関結果の比較
観測局：VERA4局
観測データ：2003/328 01:40:00-02:40:00
観測天体：3C345/NRAO512 (2ビームモード)
観測モード：VERA-1(A-beam:256Msps/2bit ×1ch 、 B-beam:256Msps/2bit×1ch )
水沢‐石垣基線（3C345）
水沢‐入来基線(3C345)
振幅
振幅
SNR
SNR
群遅延
群遅延
三鷹FX相関器との結果の比較
クロージャー位相の比較
観測局：VERA4局
観測データ：2003/328 01:40:00-02:40:00
観測天体：3C345/NRAO512 (2ビームモード)
水沢-入来-小笠原基線のクロージャー位相（3C345
）
観測モード：VERA-1(A-beam:256Msps/2bit
×1ch 、 B-beam:256Msps/2bit×1ch
)
水沢‐入来‐小笠原（3C345）
ク
ロ
ー
ジ
ャ
位
相
度
擬似データでの相関結果比較
同
じ
テ
ー
プ
か
ら
の
コ
ピ
ー
同
じ
フ
ァ
イ
ル
か
ら
の
コ
ピ
ー
三鷹ＦＸ
テープ1
＋(遅延量=0、レート=0)
テープ2
+(遅延量=0、レート=＋1ピコ秒/秒)
テープ3
＋(延量=0、レート=－1ピコ秒/秒)
テープ4
＋(遅延量=0.1ナノ秒、レート=0)
相関処理
観測周波数
22.22ＧＨｚ
ソフトウェア相関器
ファイル1
＋(遅延量=0、レート=0)
ファイル2
＋(遅延量=0、レート=＋1ピコ秒/秒)
ファイル3
＋(遅延量=0、レート=－1ピコ秒/秒)
ファイル4
＋(遅延量=0.1ナノ秒、レート=0)
相関処理
観測周波数
22.22ＧＨｚ
相関振幅と相関位相の結果
三鷹相関器
三鷹相関器
相
関
位
相
相
関
振
幅
ソフトウェア相関器
ソフトウェア相関器
群遅延の比較
三鷹相関器
三鷹相関器
遅延オフセット0.1ナノ秒
0.01
サンプル
遅延レート ＋1ピコ秒/秒
群
遅
延
量
（
単
位
サ
ン
プ
ル
）
遅延レート －1ピコ秒/秒
ソフトウェア相関器
遅延レート －1ピコ秒/秒
0.01
サンプル
ソフトウェア相関器
ソフトウェア相関器
付加機能
混合相関処理
マルチビーム相関処理
追加機能
ソフトウェア混合相関処理
混沌としたVLBI観測システム
北海道大学-11ｍ
K4、IP-VLBI、…
水沢-20ｍ
VERA、K4、IP-VLBI 、…
筑波-32m
K4、IP-VLBI、GALAXY 、(VERA)…
鹿島-34m
K4、VSOP,GALAXY、IP-VLBI、PC-VLBI 、
臼田-64m
GALAXY、VSOP、IP-VLBI 、(VERA)…
岐阜大
K4、VSOP、GALAXY、(VERA)…
野辺山-45m
VSOP、（GALAXY） 、(VERA)…
山口大-32m
GALAXY、IP-VLBI 、PC-VLBI、(VERA)…
入来-20m
VERA、VSOP、IP-VLBI 、…
内之浦-32m
K4、IP-VLBI 、…
小笠原-20m
VERA、VSOP 、…
石垣-20m
VERA、VSOP 、…
Galaxy
VSOP
K4
IP-VLBI
ソフト
ウェア
相関器
VERA
PC-VLBI
より柔軟なVLBI観測網が
構成可能
追加機能
マルチビーム相関処理
VERAの2ビーム仕様
（1個のビームに対し1個の参照点）
マルチビーム（複数視野）仕様
（1個のチャンネルに対して複数の参照点）
τ（ｔ）
τ（ｔ）
τ（ｔ）
τ（ｔ）
天体-1
ビームA
天体-2
ビーム-B
天体-1
天体-3
任意Ch τ（ｔ）
任意Ch
天体-2
任意Ch
τ（ｔ）
τ（ｔ）
天体-4
任意C h 天体-5
任意Ch
広範囲に分布したメーザースポットなどで効率的な処理が可能
まとめ




新規ＰＣでのベンチマークを実施 =＞ 処理速度的に問題なし
長時間処理の結果を比較 =＞ ほぼ一致
三鷹ＦＸよりはフリンジ追尾性能は良さそう
付加機能の追加(マルチビーム、混合相関処理の追加)
5局相関処理システム構成
VERAシステム系
DIR-2000
1Gbps
VSI
Interface
制御用PC
PC-VLBI
Disk-Array
５局相関処理システム
DIR-2000
1Gbps
VSI
Interface
PC-VLBI
Disk-Array
DIR-2000
1Gbps
VSI
Interface
PC-VLBI
Disk-Array
DIR-2000
1Gbps
VSI
Interface
PC-VLBI
Disk-Array
DIR-2000
1Gbps
VSI
Interface
PC-VLBI
Disk-Array
GALAXY
光伝送
装置
VLBI局
汎用ネットワーク
GbE
ノ
ン
ブ
ロ
ッ
キ
ン
グ
型
ス
イ
ッ
チ
ン
グ
ハ
ブ
観測局の増加と高速化の対応
DIR-2000
1Gbps
VSI
Interface
PC-VLBI
Disk-Array
相関処理専用PC
（30万円程度）
DIR-2000
1Gbps
VSI
Interface
PC-VLBI
Disk-Array
相関処理専用PC
（30万円程度）
DIR-2000
1Gbps
VSI
Interface
PC-VLBI
Disk-Array
DIR-2000
1Gbps
VSI
Interface
PC-VLBI
Disk-Array
DIR-2000
1Gbps
VSI
Interface
PC-VLBI
Disk-Array
DIR-2000
1Gbps
VSI
Interface
PC-VLBI
Disk-Array
DIR-2000
1Gbps
VSI
Interface
PC-VLBI
Disk-Array
ノ
ン
ブ
ロ
ッ
キ
ン
グ
型
ス
イ
ッ
チ
ン
グ
ハ
ブ
相関処理専用PC
（30万円程度）
相関処理専用PC
（30万円程度）
相関処理専用PC
（30万円程度）
相関処理専用PC
（30万円程度）
相関処理専用PC
（30万円程度）
今後のスケジュール





今年度
三鷹FXとの精度評価（2ビーム位相差等）
3局分のシステム導入
自動運用化（テープカートの制御）
ユーザの意見を取り入れた新機能の追加
バグだし
来年度（完了予定）



5局分のシステム導入
定常運用化
バグだし
完成予想
秋頃まで
冬頃
春頃
常時
常時
2005年～2006年にかけての作業
DMS-24
Station-1 #1
Station-1 #2
Station-1 #3
Station-1 #4
Station-2 #1
Station-2 #2
Station-2 #3
Station-2 #4
Station-3 #1
Station-3 #2
Station-3 #3
Station-3 #4
Station-4 #1
Station-4 #2
Station-4 #3
Station-4 #4
DIR-2000
PC-VLBIを2式三鷹相関器室に設置
1局分のPC-VLBIで多局相関処理に対応
カート利用により数時間の連続多局処理が可能
相関処理速度は等速にくらべ数分の1
VERA全局での相関結果を三鷹FXとの比較
制御用PC
CODA
Files
再生データ
VSI
Interface
Unit
ソフトウェア相関処理
PC-VLBI
Disk-Array
PC-VLBI
Disk-Array
ス
イ
ッ
チ
ン
グ
ハ
ブ