Transcript pptx

ATLAS実験における
FTK受信モジュールの
開発構築と実機試験
早大理工 白神賢
飯澤知弥、木村直樹、郡川智洋、昌子貴洋、
仲松弥、寄田浩平、他 ATLAS-FTK group
日本物理学会 2013年秋季大会
高知大学 朝倉キャンパス
2013/9/20（金）
20pSM-10
FTK全体像
Data Fomatter
Input Mezzanine
Dual-output HOLA
RODの出力を
FTK用にコピー
各処理単位へ分配
RODからのhitを
Cluster化
Waseda
UChicago
FNAL
ATCA
AM board(並列)
パターンパッチング
AUX board(並列)
トラックフィッティング
PISA
Argonne
13/09/20
日本物理学会 2013年秋期大会
FTK to LVL2 Crate
FTK全飛跡情報をLVL2へ
2
FTKのInput
ROD Output
Fiber
Pixel
SCT
IBL (IBL) N/A→56
(2015)
80Mch (12M)
6Mch
B
バンチ衝突 1
~20(40)MHz
Pixel
2
44
44
38 →76 (2018)
76
26 →52 (2015)
52
Disk
24
ROD
ROD 132 → 252
Total
(~2018)
SCT
~75kHz
WithinTotal
2.5μs
56
Advanced Telecom
Computing Architecture
x 4crate
D
x 8枚
F
24
252
90 → 128 (2015)
128
222 → 380 (~2018)
380
Event rate: 100kHz
~1kHz
Within
40ms
ROB
ROB
ROD data:
40MHz 32bit data
(最大2hitを含む)
LVL2 CPU Farm
13/09/20
Fiber x4
IM (計128枚)
512 Fiber links(Pixel/IBL:256, SCT:256)
日本物理学会 2013年秋期大会
3
受信部の詳細(IM)
FPGA一つがPixel, SCTそれぞれを一つずつ受け取りClusteringを行う
→FPGAには全て同じFWを実装できる
FPGA
SCT
Spartan6
Pixel
SCT
to DF
from ROD
Pixel
F
M
C
Fiber links
Clustering
Pixel
ToT
φ
小
SCT
1
2
3
4
5
中
大
η
13/09/20
: ToTの重み付け平均
日本物理学会 2013年秋期大会
平均: 3.5
幅: 4
4
受信部の詳細(DF)
並列処理のためのデータ分割及びoverlap regionにおけるhitのsharingを行う
η方向を4分割
ビーム軸
φ方向を16分割
overlap
region
ビームスポット
η方向ではビーム衝突点の z positionを考慮して、φ方向ではトラックの曲率か
らヒットを重複分配する → 取り回しが複雑に
最上流における、高速・複雑な処理を可能にし、柔軟性や堅牢性を持たせる
為にATCAを採用
ATCA用にIMのoutputを変更
13/09/20
日本物理学会 2013年秋期大会
5
テスト用IMから実機用IMへ
Outputプロトコルの変更
VME用IM
ATCA用IM
DFの開発に伴いIMをそれまでのテスト版から実機版へと変更
frequency
VME用IM
EDRO
40MHz
output線
Single-ended 24lines
1wordあたりの
clock数
1clockで1word(24bits)
320MHz
ATCA用IM
DF LVDS 3lines
8clockで1word(24bits)
少ない線で通信できるように、output線を減少
→ high frequencyでのLVDSによるserializeへ
VME
VME用IM
13/09/20
ATCA
ATCA用IM
日本物理学会 2013年秋期大会
6
IMテスト戦略
Standalone Test
@Waseda
Test @FNAL
Test @CERN
Test @Waseda
←疑似ヒット
送信モジュール
↓評価ボード
Pixel/SCT
ROD
13/09/20
ATCA
・ IMのみのテスト
・ 変更点であるOutput
のテスト
ATCA
読み出し
Mini-backplane
DF
HOLA
読み出し
・ IM-DF Communication
テスト
読み出し
・ Inputのテスト
・ データフローテスト
日本物理学会 2013年秋期大会
FTKシステム下流へ
η-φ Tower
・ 実際の運転環境での
データフローテスト
7
Standalone
Test
@Waseda
320MHzでは
output全線を同一のClock
phaseで読み出すのは困難
3になってしまう
立ち上がりが早い
それぞれの線ごとに読み出すClock phaseを変えることも可能だが、、、
データ読み出しの様子
評価ボードを用いてIMのみのテスト
16進数
VME用IM
→ ATCA用IMに伴う変更点の動作確認を行った
DATA (2進数表示)
↓評価ボード
3
4
2
1
8
1
4
2
8
Kintex7 FPGA
1
4
2
8
Output プロトコルを最適化
2
1
8
4
2
1
8
4
IMでデータ作製
200MHz
↓ DDRでラッチすることで、FPGA内での線ご
との配線の差が減少
FMCコネクタを介してLVDS 320MHzでoutput
↓
→→ データ読み出しに成功
評価ボードでreferenceと比較し、PCで読み出し
Spartan6
FPGAs
~finalize
frequency
320MHz
200MHz DDR
output線
LVDS 3lines
LVDS 4lines
clockあたりのbit数
3bits
8bits
1wordあたりの
clock数
8clockで
1word(24bits)
4clockで
1word(32bits)
DF(評価ボード)との
IM内で
Clockを送信
IMが送信するデータ : X”888…8”→
X”444…4” → X”222…2”
→ X”111…1”
→..
PCで読み出し
delay tuning
clockの同期方法
13/09/20
日本物理学会 2013年秋期大会
8
Test @FNAL
• IM-DF間のコミュニケーションテスト
• ATCAに実装する代わりにMini backplaneからの電源供給にてテスト
2013,8/29 データ読み出しの様子
IMでデータ作製
↓ : X”aaa…a”→ X”555…5” →..
IMが送信するデータ
Fermilab High-rise
10Fにて
DF内のreferenceと比較
(200MHz : 1clockあたり5ns)
↓
μ controller、Mini backplaneを介して、PCで読み出し
Clockを5/16 ns
遅らせて読み出し
Mini backplane
さらに、5/16 ns
遅らせて読み出し
裏には μ controllerが
PCで読み出し
IM-DF初接続の記
→念すべき瞬間!!
データの読み出しに成功
ATLASで使用するエレクトロニクスの要求：Error
Rate < 10-16をクリア
13/09/20
9
日本物理学会 2013年秋期大会
量産に向けた最終テストスタンド構築
@Waseda
• Clustering FWを実装しての、データフローテスト
疑似ヒット送信モジュール → IM → DF(ATCA) → PC
• 現在は、Mini backplaneでのテストを行っている
Inputの動作確認を行った後、 DF(ATCA)でのテストに移行
疑似ヒット
疑似ヒット
送信モジュール
クラスター化
Mini backplane
PC
ATCA
Run controlで制御
13/09/20
PC
日本物理学会 2013年秋期大会
10
Test @CERN
• ATLASのトリガーフロー本流に干渉しないように、Pixel/SCTの一部領域の
実データを受け取って、実際の運転環境でのFTK動作テストを行う
• 並列処理における単一の処理単位系でのテスト（Vertical Slice）
• 昨年末、VME用IMではテスト済
最終テストスタンド@Waseda
疑似ヒット
送信モジュール
Test @CERN
IBL/Pixel/SCT
実ヒット
疑似ヒット
IM
IM
DF
DF
クラスタ情報
クラスタ情報
読み出し
13/09/20
η-φ Towerへ
日本物理学会 2013年秋期大会
11
今後の予定
2014
2015
13(14) TeV Run
シャットダウン (増強)
LHC
• Test @CERN (with IBL ROD & ATCA)
• Quality Controlを整備
インストール・運用
IM
• 次期IM設計・製造
• 量産に向けて、最終テス
トスタンドの構築
13/09/20
• 最終版IMの量産
• Quality Control
日本物理学会 2013年秋期大会
12
纏めと展望
• 開発は戦略的かつ段階的に行っており、順調である
• IM-DFテストを行った@FNAL
– 読み出しに成功、エラーレート < 10-16
– IM-DF間の通信プロトコルを決定
• IM量産に向けて、最終テストスタンドの構築を開始@Waseda
• SCT, PixelのFWも作成中
• 次期IM（〜最終版）のデザインを開始
•
•
•
•
年内にIBL ROD & ATCAを含めたテストを行う予定@CERN
IMの量産に向けたQCを整備する
年度内に最終版を決定・量産へ
QCを終えた後、2014年度始めにCERNへ輸送しインストール
13/09/20
日本物理学会 2013年秋期大会
13