Transcript 南极天文实时数据处理（马斌，国家天文台）

南极天文实时数据处理
马斌 （NAOC/CCAA）
AST3软件组
国家天文台
天津师范大学
天津大学
清华大学
2010/11/26
云南 丽江
1 数据本地实时处理的必要性
• 天文学家计划在南极冰穹A安装3台50厘米
口径施密特望远镜（AST3），第一台将于
2011/2012年安装，将对2000平方度的天区
不断重复观测，以发现变源，特别是能在
瞬变源（如超新星）出现的早期即发现并
预警，以进行后续的跟踪观测—实时性
• 海量数据（每2分钟产生一幅10K*5K的图像，
极夜24小时不间断观测）只能由下一年度
的科考人员取回—本地处理
2010/11/26
云南 丽江
2 实时数据处理系统
• 2.1 系统要求
无人值守：自动化、易维护升级
越冬观测：稳定可靠
实时处理：速度快
动力有限：功耗低
2010/11/26
云南 丽江
2.2 系统组成
• 原始数据压缩备份
• 后台守护进程
• 数据处理流程
Survey Plan
& Stratage
Telescope
Control System
Observation
Scheduler
AST3
Camera
Real Time
Pipeline
Follow Up
2010/11/26
云南 丽江
Raw Data
Compression
& Archive
3 原始图像备份
• 文件命名规则
ar_hhmm-ddmm_yymmdd.hhmmss.fits
a：望远镜编号，r：滤光片编号
• Fpack压缩fits文件
• 存储目录
hhmm-ddmm
• 磁盘阵列：每次只开启一块硬盘，节省电
力，写满后更换
2010/11/26
云南 丽江
4 后台守护进程
• 由于南极观测无人值守，需要自动触发任
务，并进行监控、调度管理、日志记录及
崩溃恢复等
• 一旦发现有新图像产生，即将其加入任务
队列，在处理进行中对流程进行监控，若
流程意外崩溃则重启该任务，在日志中记
录处理结果
• 出现图像排队时：每N幅处理前M幅；每次
只处理最新产生的图像
2010/11/26
云南 丽江
5 数据处理流程
•
•
•
•
Data
Acquisition
Image
Processing
(bias/flat/cosmic
Image..)Chop
测光定标
制作模板
图像相减
变源分类
Aperture
Photometry
(source
extractor)
Source
Catalog
Data
Quality
Build
Templa
tes
Astrometry
(scamp,swarp)
Template
exists?
Temp
ates
Image
Subtraction
(isis/hotpants)
PSF fitting
Photometry
Transi
ent
Source
Catalo
Catalog
g
Light Curve Analysis，Stamp Image，Alert
2010/11/26
云南 丽江
Database, Follow up
Simulatio
ns
5.1 测光定标
• Bias，flat等改正
• 将10K*5K图像分割成多幅小图（比如
10*5）：
在大的视场范围内，不同位置会有不同的
畸变，很难用一套简单的坐标系精确描绘
整个图像。将图像切到足够小，以便使线
性WCS能足够精确。
2010/11/26
云南 丽江
5.1 测光定标
对每个小图
• 测光：sextractor，得到星表
• 位置定标：scamp，将星表与标准星表对比，
得到改正后的wcs参数
• 更新fits头wcs参数
• 判断图像质量：好则加入数据库，包括存
储路径、文件名、中心及顶点坐标
2010/11/26
云南 丽江
5.1 测光定标
不同分割数目对运行时间（单位：秒）的影响
分割数目
检查文件名、
目录、数据库
分割
测光、定标
更新数据库
2*2
0.80
0.91
11.1
0.016
4*2
0.79
1.02
12.0
0.016
4*4
0.83
0.97
15.5
0.017
8*4
0.80
1.25
22.3
0.031
10*5
0.82
1.92
30.1
0.032
8*8
0.79
1.19
36.1
0.034
16*8
0.81
1.67
64.4
0.037
2010/11/26
云南 丽江
5.1 测光定标
2010/11/26
SCAMP 标准星星表大小的影响
• 全天 550MB
～3.0sec
• -7.5deg< DEC <7.5deg 64MB
～0.4sec
云南 丽江
5.2 制作模板
对每个小图：
• 在数据库中查找其近邻的质量好小图
• 将查询结果图像用swarp叠加
• 从叠加图像中切出与源图像对应的部分
2010/11/26
云南 丽江
查询时间与数据库中已有小图数目的关系
2010/11/26
云南 丽江
5.2 制作模板
对每个小图：
• 在数据库中查找其近邻的质量好小图
• 将查询结果图像用swarp叠加
• 从叠加图像中切出与源图像对应的部分
2010/11/26
云南 丽江
2010/11/26
制作模板所花时间与所用小图数目的关系
（2.5K*2.5K
subimage)
云南 丽江
5.3 图像相减
2010/11/26
云南 丽江
• 求解卷积核 R ⊗ K – I = 0
• 图像卷积—占用绝大部分运行时间
• 图像相减
（天津大学提供）
2010/11/26
云南 丽江
5.4 变源分类
SDSS-SN (Sako et al. 2008)
2005:6 scanners,3000-5000 objests per full night
2006: autoscanner reduces the number of handscanning
from 145,428 to 14,430 云南 丽江
2010/11/26
• Palomar Transient Factory (PTF): Galaxy Zoo
Supernovae (Smith et al. 2010)
优点：
减轻巡天项目组负担
多人多次检查
快速鉴别，及时后续观测
2010/11/26
云南 丽江
2010/11/26
云南 丽江
5.5 后续观测
• 变源测光—光变曲线
• 将光变曲线和包含变源的一小块图像通过
铱星传回
• 后续观测：对特殊变源调整AST3指向，或
利用其他望远镜合作观测（光谱等）
2010/11/26
云南 丽江
6 总结
• 数据处理系统第一版以及完成，后面需要
继续完善、优化
• 测光定标模块所花时间主要在SCAMP上，且
与图像分割数目成正比；制作模板模块时
间主要用在图像叠加，也与所用图像数目
成正比；图像相减模块时间由图像卷积主
导。据此对软件进行优化。
• 利用VO项目Galaxy Zoo Supernovae进行变源分
类
2010/11/26
云南 丽江
谢谢大家！
2010/11/26
云南 丽江