Transcript 国立天文台電波天文データ公開用システムの開発

JVOの研究開発
国際連携と全体進捗
国立天文台 & 総合研究大学院大学
大石雅寿
[email protected]
2004/03/23
2004年 天文学会春季年会 V01a
Virtual Telescope/Observatory
Digital Universeを観測し，そのデータを
解析・処理することにより天文学的知見を生み
出す抽象化された観測装置
いつでも，どこからでも，天候などに左右されず
に観測することができる
2004/03/23
2004年 天文学会春季年会 V01a
世界のVOプロジェクト
•
•
•
•
NVO (USA), AVO (EU), AstroGrid (UK)
Germany, Canada, Russia, Australia
India, China, Italy, France, Hungary, Korea
JAPAN
VOを連携する標準方式の策定グループ
→ International Virtual Observatory Alliance
(IVOA)
2004/03/23
2004年 天文学会春季年会 V01a
Working Groups in IVOA
• Registry : 計算資源のメタデータ形式
• VOtable : VOの出力標準形式
• VOQL : 連携DBの標準検索言語 （日本がまとめ役）
フォーマットとしてXMLを採用 – マシン間の通信に適する
• UCD : Unified Column Description – 個別DBで内容は同
じだが名称が異なるカラム名を統一的に扱う
• Data model : DB内のデータ記述法を標準化
• Executive Committee
• were held twice
2004/03/23
2004年 天文学会春季年会 V01a
Interoperability Meetings
• 1年に2回，世界のVO関係者が集合
• 各WG毎にface-to-faceで議論し，標準化を
議論
• 2003 May – Cambridge (UK)
• 2003 Oct – Strasbourg (France)
• 2004 May – Boston (US)
2004/03/23
2004年 天文学会春季年会 V01a
JVO Query Language(1)
Catalog Query
create view myEROtable as
Create view with the user
specified name in JVO
select s.Bmag,
system.
s.Rmag,
t.Hmag,
Select attributes from each
catalog server. Column
t.Kmag,
names can be expressed
...,
in UCD.
sr.BOX(POINT(s.ra,s.dec),w,h)
as Rimage,
Select cutout images from
tk.BOX(POINT(s.ra,s.dec),w,h)
each image data server.
as Kimage,
Image area can be
specified by BOX or
...
CIRCLE operand.
from
SUBARU s,
Select the catalog server.
2MASS t,
...,
SUBARU.R sr,
Select the image data server.
2MASS.K tk,
...
where XMATCH(s,b,...) < 3 arcsec
Cross-match distributed
catalogs.
and
(s.Rmag-t.Kmag) > 6 mag
Query condition based on
and
distributed catalog.
BOX(POINT(ra0,dec0), w0, h0)
Specify search area with the
2004/03/23
2004年
天文学会春季年会
V01a
same syntax as cutout
and
image specification.
...
SkyQL & ADQL
• JVOQL has been adopted as one of the
basis for SkyQL (standard query language
in IVOA)
• XML description of SkyQL = ADQL
Astronomical Data Query Language
2004/03/23
2004年 天文学会春季年会 V01a
Select t.b, b.* from Tab t, Bob b Where Avg(b.dd) < 4.56 order by b.dd
<?xml version="1.0" encoding="utf-8" ?>
<Select xmlns:xsd="http://www.w3.org/2001/XMLSchema“
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns="http://adql.ivoa.net/v0.73">
<SelectionList>
<Column Table="t" Name="b" />
<Column Table="b" Name="*" />
</SelectionList>
<From>
<Table Name="Tab" Alias="t" />
<Table Name="Bob" Alias="b" />
</From>
<Where>
<Compare Comparison="<">
<Function>
<Aggregate>AVG</Aggregate>
<Column Table="b" Name="dd" />
</Function>
<Atom>
<Real>4.56</Real>
</Atom>
</Compare>
</Where>
<OrderBy>
<Item>
<Column Table="b" Name="dd" />
</Item>
</OrderBy>
2004/03/23
2004年 天文学会春季年会 V01a
Resource Meta Data
Identity metadata
curation metadata
service metadata
content metadata
title
short_name
identifier
publisher
publisher_id
creator
creator_logo
contributer
date
version
contact_name
contact_email
service_interface_url
service_base_url
service_http_result
service_standard_uri
service_standard_url
service_msr
string
string
URI
string
URI
string
URL
string
string
string
string
e-mail address
URL
URL
MIME type
URI
URL
float,decimal degrees
ucd
unit
datatype
width
precision
arraysize
string
string
string
int
string
string
catalog
table
column
identity
○
○
○
2004/03/23
curation
○
○
○
service
○
○
○
content
○
○
○
column metadata
column
×
×
○
subject
description
source
reference_url
type
coverage_spatial
coverage_region_of_regard
coverage_spectral
coverage_spectral_bandpass
coverage_spectral_central_wavelength
coverage_spectral_minimum_wavelength
coverage_spectral_maximum_wavelength
coverage_temporal_start_time
coverage_temporal_stop_time
coverage_depth
coverage_depth_unit
coverage_object_density
coverage_object_count
coverage_sky_fraction
resolution_spatial
resolution_spectral
resolution_temporal
content_level
facility
instrument
format
right
string,list
string,free text
string
URL
string,list
string
float,decimal degrees
string,list
string,list
float
float
float
string
string
float
string
float
int
float
float
float
float
string,list
string,list
string,list
string,list
string
Catalog、Table Resourceはcolumn metadata 以外を持つ。
2004年 天文学会春季年会 V01a
Column Resource はすべての metadata をもてる。(省略化）
世界のVOの動向
• 太陽観測データのVO接続
UK, US等で具体的に検討中
日本はどうする?
• 理論シミュレーションDBのVO接続
シミュレーションと観測の対比をVO上で
行う
シミュレーションデータの標準フォーマット??
2004/03/23
2004年 天文学会春季年会 V01a
Grid 技術の標準化
• Global Grid Forum
http://www.ggf.org/
• OGSA (Open Grid Service Architecture)の
仕様策定等
• Research Groups : アプリからの要求を出す
• Astro-RG : 世界のVO関係からの要求を取り
まとめる (Co-Chairs – UK & Japan)
2004/03/23
2004年 天文学会春季年会 V01a
Virtual Observatory → Common Infrastructure for Astronomy
2004/03/23
2004年 天文学会春季年会 V01a
Prototype1の問題点
• Globus Tool Kit2は，認証等の際のオーバー
ヘッドが大きすぎる (GRAMの仕様)
→
NMI (NSF Middleware Initiative)を導入し，
認証時間を短縮し，かつ，GTK2のコードを変
更してpolling intervalを短くし，オーバーヘッ
ドを半分以下に短縮
2004/03/23
2004年 天文学会春季年会 V01a
JVOプロトタイプ2の開発方針
分散基盤
Globus Toolkit Ver.3
への移行
データへのアクセス方式
GT３のGRAM／
GRIDサービス
メタデータ
登録情報（メタデータ）
の管理、検索方式
2004/03/23
利用者ごと機能
①利用者管理の試作
②データ保存
解析処理
解析処理連携の検討
2004年 天文学会春季年会 V01a
ユ
ー
ザ
ー
イイ
スン
タ
ー
フ
ェ
ユーザ認証
• ユーザ登録
• ユーザ認証
JSP
状態確認
• VOTable Viewer
• Plotter
• 画像データ Viewer
• スペクトルデータ Viewer
• 複数カタログの重ね合わせプ
ロット
• 異なる波長画像の重ね合わせ表
示
JVO
JVOQL
解析 interface
シンプル解析機能
• 天体検出（Sextractor）
• HyperZ
• 画像演算
• Photometry
特殊解析機能
• 重力レンズ
• 銀河ダスト
• 化学組成の進化
JSP
JSP
Servlet
検索実行
状況
解析指示
DBメタデータ検索
検索文
(XPath)
コントローラー JB
検索結果 (XML)
状態確認
コントローラー JB
Grid サービス
Registry
（XMLDB）
観測指示書
Parsed JVOQL, 実績
スケジューラ JB
観測指示書
結
果
渡
しに
よ
る
天文DB
GridFTP
メタDB
ユーザDB
2004年 天文学会春季年会 V01a
検
索
命
令
結
果
渡
しに
よ
る
Grid サービス
OAI-PMH
メタDB
Grid サービス
OAI-PMH
Grid サービス
OAI-PMH
GridFTP
検
索
命
令
エクゼキュータ JB
SOAP
OAI-PMH
SOAP
2004/03/23
OAI-PMH
天文DB
SOAP
DB
メタDB
結
果
渡
しに
よ
る
に
よ
る
デ
ー
タ
転
送
実績
エクゼキュータ JB
検
索
命
令
GSI-SFS
GSI-SFS
スケジューラ JB
JVOQLパーサ JB
に
よ
る
デ
ー
タ
転
送
解析実行
状況
Parsed JVOQL
Grid サービス
・
解
析
部
• JVOQLエディタ
• リソースファインダによるDB検索
• UCDファインダー
• 天体名レゾルバー
• 実行状況表示
• リソースファインダーによるDB検索
（白）
検索指示
(JVOQL)
シ
ス
テ
ム
部
データ表示
JSP
JSP
DBナビゲータ
検索 interface
Resource Meta Data
Identity metadata
curation metadata
service metadata
content metadata
title
short_name
identifier
publisher
publisher_id
creator
creator_logo
contributer
date
version
contact_name
contact_email
service_interface_url
service_base_url
service_http_result
service_standard_uri
service_standard_url
service_msr
string
string
URI
string
URI
string
URL
string
string
string
string
e-mail address
URL
URL
MIME type
URI
URL
float,decimal degrees
ucd
unit
datatype
width
precision
arraysize
string
string
string
int
string
string
catalog
table
column
identity
○
○
○
2004/03/23
curation
○
○
○
service
○
○
○
content
○
○
○
column metadata
column
×
×
○
subject
description
source
reference_url
type
coverage_spatial
coverage_region_of_regard
coverage_spectral
coverage_spectral_bandpass
coverage_spectral_central_wavelength
coverage_spectral_minimum_wavelength
coverage_spectral_maximum_wavelength
coverage_temporal_start_time
coverage_temporal_stop_time
coverage_depth
coverage_depth_unit
coverage_object_density
coverage_object_count
coverage_sky_fraction
resolution_spatial
resolution_spectral
resolution_temporal
content_level
facility
instrument
format
right
string,list
string,free text
string
URL
string,list
string
float,decimal degrees
string,list
string,list
float
float
float
string
string
float
string
float
int
float
float
float
float
string,list
string,list
string,list
string,list
string
Catalog、Table Resourceはcolumn metadata 以外を持つ。
2004年 天文学会春季年会 V01a
Column Resource はすべての metadata をもてる。(省略化）
プロトタイプ2動作開始
• プロト1に比べて，圧倒的に高速（各タスク起動時間
は約1／100程度に）
• 理由：
×GRAM ◎Grid-Service
◎Kareareaの高速検索
• スペクトルデータの検索可能に
• 詳細：田中他(V02a)
• デモ：本田他(V03c)
• サイエンス：白崎他(V04b)
• 解析パイプライン（野辺山）：立松他(V05b)
2004/03/23
2004年 天文学会春季年会 V01a
Road Map
2003年度 Prototype 2の開発
→ 実用に向けたコンポーネントの開発
2004年度 実用システムの開発開始
年度後半??
試用開始
世界のVOとの接続試験
2005-2006 試験運用＆機能向上
宇宙研DBやMASTARS等の接続
2007 ALMA部分運用への対応を目指す
2004/03/23
2004年 天文学会春季年会 V01a
日本初の赤外線天文専用衛星
2004/03/23
2004年 天文学会春季年会 V01a
Collaborators
NAOJ
• Mizumoto
• Yasuda
• Shirasaki
• Tanaka
• Honda
Ochanomizu U.
• Masunaga
2004/03/23
Fujitsu Ltd.
• Monzen
• Kawarai
• Ishihara
• Yanaka
• Yamaguchi
• Ishida
• Saito
• Abe
• Tsutsumi
2004年 天文学会春季年会 V01a
SEC Ltd.
• Morita
• Nakamoto
• Kobayashi
• Yoshida
Ken Miura
Web Pages
http://jvo.nao.ac.jp/
http://www.ivoa.net/
2004/03/23
2004年 天文学会春季年会 V01a