Transcript KEK-VME

J-PARC 実験におけるデータ収集
環境とシステムデザイン
KEK Electronics/Online Group
五十嵐 洋一
講演の内容マップ
データ収集系, KEK-VME 概要
五十嵐
KEK-VME System 構築
仲吉
KEK-VME KEK-VME
既存システム
Trigger 系 Read-out 系
井上
田中
田内
将来の
可能性
内田
J-PARC 50 GeV-PS 実験
• 念頭に置いたデータ収集系の要求性能
– Trigger rate: 500Hz ~ 10kHz
– Channel 数 > 1k
– データ量 1MB/sec ~ 数十MB/sec
• 実現するための問題点
– Dead time < 数 msec
– System integration
• 多数の channel
• 多数にわたるクレート
– モジュールの供給
• 市場に物理測定用 A/D モジュールが少ない。
– トラディショナルなシステムの相対的な高コスト化
• Channel 数の増加
• 安価な高性能技術
解決手段 (Dead Time)
• モジュールの構造の変更
– バッファ・メモリをバスの前に
– モジュール単位で十分なバッファを持たせる。
• Front-end data reduction
– モジュールの単位でのデータの削減
– エレクトロニクスの進歩により安価にフロントエンドに
メモリやシーケンサ、プロセッサを搭載することが可能。
Front-end of Read-out module
TRIGGER
AD module
AD module
AD module
Standard bus
AD module
• トラディショナルなシステム
– Processor が データを集め終
わるまでが Dead time
Processor
BUSY release
FIFO
AD
FIFO
AD
FIFO
AD
FIFO
Local bus
AD
• フロントエンドバッファリング
Processor
– 細かい単位で FIFO にデータ
をバッファリング
– Trigger の分布を一様に均す
ことで Dead time は ～1/10
に
– FIFOの後ろでは Real-time
system が不要
解決手段 (モジュールの供給)
• モジュール開発のベースとなるプ
ラットフォームの開発
– Power/Bus crate: KEK-VME
– Read-out platform: COPPER
• ユーザーと共に必要なモジュールを
開発。
A/D CARD
– 開発するのはプラットフォーム上の小さ
な A/D の部分のみ
POWER
CRATE
READOUT
PLATFORM
Schematic view of a read-out module
• Standard components
– 9U Euro card
– VME-32 compatible
– PCI
Front-end
Buffering
ADC/TDC
FIFO
(FINESSE)
ADC/TDC
FIFO
(FINESSE)
ADC/TDC
FIFO
(FINESSE)
PCI
ADC/TDC
FIFO
(FINESSE)
PrPMC
(Processor)
Bridge
PLX9054
On-board data
reduction
Trigger
module
To Central Trigger
Free Slot
To Downstream
DAQ System
On-board
Network
interface
9U Euro Card
VME
Shared
Memory
Local bus
Signals from detectors
Pipeline
read-out
•Module structure
Serial Link
Network
Etc…
解決手段 (System Integration)
• ネットワークによる分散システム
– ネットワーク技術の進歩により 1Gbps～10Gbps の転送が可
能。
• PLD, PC, Linux など一般的で良く知られた技術の導入
– 組み上げのコストを下げるために出来るだけ特殊なものは使
わない
• PC を組み込んだモジュール群
– Read-out platform: COPPER
– PC 内臓 CAMAC C.C.: CC/Net
System integration
• ADC+PC をユニットとしてネットワークで組み合わ
せる。
– COPPER
– CC/NET
– TKO/VME/VME-PC
A/D
PC
Network
• Read-out は違うが、その他は Software 上は同
じものとして扱える。
• よく知られた馴染み深い環境の利用
– PC/Linux 2.4
• 豊富なアプリケーション/開発環境
• GCC
• Script 言語
Overview of DAQ configuration
(Data Path)
COPPER
•Network
•VME-bus
•Open interface
(USB/FireWire/…)
Network
based
Event Builder
PC
New System
TKO
PC
Network
Back-end
PC
Network
To Data server
VICTOR/VME-CPU
SCH/SMP/VME-CPU
Local Storage
CAMAC
CC/NET
Traditional System
Software
• Read-out driver
• DAQ framework
– Bus を中心としたものから Network を中心とした
ものへ
– Network based Event builder
– Slow/Run control
• Network base message exchanger
– Control
– Watch dog
– Data carrier
• Format
• Pack/unpack interface
Trigger distribution
• システムの半パイプライン化
– Trigger/busy のスキームは O(10 kHz) トリガ
のレンジでは問題ないのでそのまま使う。
• System の構築、 debug に有利
– Event のタグが重要に
• 中央管理のタグ
• モジュール毎のタグ
–
–
–
–
モジュールが持つ local counter
On-board PC が持つ local counter
GP-IO/KEK-VME を使った Trigger/Tag の分配
(Belle TT system を使った Trigger/Tag の分配)
Trigger/Tag distribution
TRIGGER/RESET
TAG
BUSY
Trigger Logic
GP-IO
SMP
Int. register
I/O register
C.C.
TKO
SCH
I/O register
GONG
GP-IO
COPPER
COPPER
COPPER
COPPER
KEK-VME
CAMAC
Storage
• 一般LAN とは別に専用に光ケーブルを要
求済
– HDホールから Data Center まで 1 Gbps を
専用に確保
• Data center が何処にどのような形で出来るかは
まだ未定。
• 大容量 Disk に 溜め込み順次 Data
center のストレージに転送。
– Media server
– RAID
開発の現状
• Hardware
– KEK-VME crate
• 9U/6U ほぼ完成
• Low-noise 電源を開発中
– Read-out module
• 実用モジュールが完成
– Front-end A/D card
• 500 MHz/65MHz FADC, AMT TDC が実用レベル
– Trigger-Card
• 実用試験中
• Software
– 主要な Device driver は動いている。
– DAQ framework
• 試験用DAQシステムを動かして試験中
• 実用への R&D
利用・協力
• Belle DAQ
– 共同開発
– 主 A/D (pipeline TDC) を Fast-bus  KEK-VME に
移行
• EFC を使って実用試験中  うまく動いている。
• KL 実験
– FADC を検討/試験
• KEK短寿命核実験
– FADC を検討/試験
• J-PARC Beam line
– KEK-VME を使った モジュール (Slow-ext.)
– モニター用の FADC (Fast-ext.)
• テレスコープアレイ実験
Know-how の集積
• Web site/Portal site の準備
• 現行の開発ミーティングをユーザーミー
ティングに移行
– 開発ミーティング参加 Gr.
• KEK elec./online gr., Belle DAQ gr., 広島工業大
学, T2K
– 今後は
•
•
•
•
DAQ frame work の開発
利用のための Know-how をためる。
開発の需要調査
などが中心
一緒にやりませんか?
まとめ
• KEK electronics/online group では J-PARC を
含む次世代粒子検出実験のサポートのために
KEK-VME System を開発しています。
– KEK-VME crate, Read-out module, いくつかの
Front-end card が Ready です。
– Front-end card (それ以外でも) の共同開発はいつで
も受け付けます。
• これからの課題
– DAQ framework
– System の実証試験
– 実験グループと共に実験への適用
Crate and Power Supply (KEK-VME)
• Euro card/crate
– 9U and 6U
– VME-32 bus
• J0 Connector for Power
Supply
– Treat front-end analog to
digital conversion devices
Pin assignment of J0
Pos.
z
a
b
c
d
e
f
1
GND
GND
GND
GND
GND
GND
GND
2
GND
GND
GND
GND
GND
GND
GND
3
GND
GND
GND
GND
GND
GND
GND
4
GND
+3.3V
+3.3V
+3.3V
+3.3V
+3.3V
GND
5
GND
+3.3V
6
GND
+3.3V
7
GND
8
GND
9
GND
10
GND
GND
11
GND
-3.3V
12
GND
-3.3V
13
GND
GND
14
GND
-5V
15
GND
GND
16
GND
S1+
17
GND
18
GND
19
GND
+3.3V
+3.3V
+3.3V
+3.3V
+3.3V
GND
+3.3V
+3.3V
+3.3V
+3.3V
GND
+3.3V
+3.3V
GND
GND
GND
GND
GND
GND
GND
GND
GND
GND
GND
GND
GND
GND
GND
GND
GND
-3.3V
-3.3V
GND
-3.3V
GND
-3.3V
-3.3V
-3.3V
GND
-3.3V
-3.3V
-3.3V
-3.3V
GND
GND
GND
GND
GND
GND
-3.3V
-5.0V
-5V
-5V
-5V
-5V
GND
GND
GND
GND
GND
GND
S1-
GND
S2+
S2-
GND
S3+
S3-
GND
S4+
S4-
GND
S5+
S5-
GND
S6+
S6-
GND
S7+
S7-
GND
C1
C2
GND
Voltage
-5.0V
-3.3V
+3.3V
Total Max
Current
100A
320A
200A
A low noise power supply was developed.
(1/10 less than standard VME power supply)
Trigger distribution
COPPER
GONG
CAMAC
128input Trigger module
KEK-VME
Trigger module
(GP-IO)
Trigger logic building tools
Clock generator
Gate generator
Programmable
logic device
TKO
NIM/ECL/LVDS
Trigger Logic
(NIM/VME/KEK-VME)
General purpose I/O module
(It can used as trigger receiver)
KEK-VME logic modules can be replaced
traditional NIM logic modules.
データバッファリング
• 非同期に現れるイベントを同期的にならす
– イベント間の時間幅
• ポアソン分布 → 等間隔
イベント発生時間
Buffer
t
データを取り込んでいる時間
Dead Time を 10%に仮定すれば、
バッファの前後で必要とされる速度は10倍違う!
t
Software model (Data collection)
ADC
Ring buffer
Data read
Ring buffer
TCP/IP
Ring buffer
Data reader
Ring buffer
Data reader
Event builder
Ring buffer
Data reader
• Software は Linux 上で開発・稼動可能
Software model (Slow control)
• Network を超えて制御メッセージ/ステータ
ス の交換を行う framework