Transcript 発表資料 - JVO

GRID技術を活用した
電網天文台の構築
(Virtual Observatory)
国立天文台 & 総合研究大学院大学
大石雅寿
[email protected]
2003/11/26
DBWeb2003
すばる望遠鏡
2003/11/26
DBWeb2003
すばる望遠鏡
2003/11/26
DBWeb2003
2003/11/26
DBWeb2003
2003/11/26
DBWeb2003
45m大型電波望遠鏡
2003/11/26
DBWeb2003
ミリ波干渉計
2003/11/26
DBWeb2003
VSOP
2003/11/26
DBWeb2003
現代天文学の要請
•
•
•
•
宇宙開闢後の物理
銀河形成の謎
大規模構造形成の謎
宇宙の平均密度の決定
etc.
→ 均質なサーベイデータを用いた統計的処理
が必須
2003/11/26
DBWeb2003
WMAP （0.2度の分解能）
2003/11/26
DBWeb2003
WMAPから分かること
• 宇宙年齢： 134±3億年
• ハッブル定数：72±5 km/s/Mpc
• 物質以外のエネルギー：約71%
→ ダークエネルギー（正体不明）
2003/11/26
DBWeb2003
天文学者の欲求
•
•
•
•
感度を上げたい!
たくさんのデータを取りたい!
広い領域を見たい!
新しい波長で見たらどんな宇宙が?
2003/11/26
DBWeb2003
Time and Spectral Dimensions
The Multiwavelength Crab Nebulae
Crab star
1053 AD
X-ray,
optical,
infrared, and
radio
views of the nearby
Crab Nebula, which is
now in a state of
chaotic expansion after
a supernova explosion
first sighted in 1054
A.D. by Chinese
Astronomers.
2003/11/26
DBWeb2003
Slide courtesy of Robert Brunner @ CalTech.
Archiveを用いた天文学研究
– large fraction of astro-papers based on
archives
– HST archive use growing faster than
archive
30
Gbytes/Day
25
20
15
10
5
Already more retrieval than ingest!
0
1994.8
1995.3
1995.8
1996.3
Ingest
1996.8
Year
2003/11/26
1997.3
1997.8
1998.3
DBWeb2003
Retrievals
Ingest
1998.8
1999.3
graphics from
US NVO
project
mystery outliers
2003/11/26
DBWeb2003
graphics from
US NVO
project
z>5 quasars in Sloan test
data
2003/11/26
DBWeb2003
大型望遠鏡による観測データ
• 野辺山電波望遠鏡：~1TB/yr
• すばる望遠鏡
：~20TB/yr
• ALMA（予定）
：~PB/yr
良質なデータ（特にサーベイデータ）の洪水
ディジタル化・アーカイブ化されている
2003/11/26
DBWeb2003
データ処理する人間の意識
それほどは変わらない
従来の方法では処理しきれないデータ
→なんとかならないか
2003/11/26
DBWeb2003
計算機環境の激変
• 計算機の高性能化
CPU,memory,I/O性能
• Data Storageの大型化
PBクラスのデータは格納可能
SAN
• Networkの高速化
SuperSINET 10Gbps
2003/11/26
DBWeb2003
計算機環境の激変により・・・
• 高性能計算機資源が高速ネットワークで接続
→遠隔地の計算機資源をあたかもローカ ル
計算機のように利用することが可能
→単細胞生物から多細胞生物への進化に
対応
2003/11/26
DBWeb2003
情報学・計算機科学の発展
•
•
•
•
•
Web技術
分散・結合技術：CORBA,GRID
OODB(Object Oriented Data Base)
Data Mining
etc.
2003/11/26
DBWeb2003
計算機利用パラダイムの転換
高度化した計算機環境＋情報処理技術
を組み合わせることによって可能になる
新たな天文研究スタイルを確立しよう
2003/11/26
DBWeb2003
Virtual Telescope/Observatory
Digital Universeを観測し，そのデータを
解析・処理することにより天文学的知見を生み
出す抽象化された観測装置
いつでも，どこからでも，天候などに左右されず
に観測することができる
2003/11/26
DBWeb2003
観
測
アイデア
実望遠鏡での
データ
検
解
アイデア
析
研究発表
観測
2003/11/26
索
データ
解
電網望遠鏡での
観測
DBWeb2003
析
望遠鏡は覗
かないよ !
2003/11/26
DBWeb2003
実望遠鏡での観測
観測手順を思い起こそう
１）観測用ターミナルに，天体の座標，観測
波長（周波数），観測方法などを入力
２）観測開始＝データが取れるのを待つ
３）データ取得終了＝計算機画面にデータが
現れる
４）そのデータを計算機で解析する
５）成果を論文として発表する
2003/11/26
DBWeb2003
電網望遠鏡での観測
観測手順を思い起こそう
１）検索用ターミナルに，天体の座標，観測
波長（周波数），観測方法などを入力
２）検索開始＝データが取れるのを待つ
３）データ取得終了＝計算機画面にデータが
現れる
４）そのデータを計算機で解析する
５）成果を論文として発表する
2003/11/26
DBWeb2003
これまでの開発成果を基盤に
• 望遠鏡制御システムの構築
• 天文データベースの構築
• DASH － CORBAを用いたLAN内の分散
解析環境
• NEWSTAR － 電波天文用解析ソフトウエ
ア（サーバー・クライアント型）
• 天文データに対するデータマイニング
2003/11/26
DBWeb2003
JVOの基盤技術(1)
• GRID－分散した計算機資源を利用する
ためのミドルウエア
• 電力網とのanalogy
• ローカル計算機にログインすれば，GRIDで
結合した計算機資源全てにアクセス可
2003/11/26
DBWeb2003
DBの配置
• 観測データは，望遠鏡（観測所）におかれるこ
とが望ましい
• 多波長データを利用するためには，必然的に，
分散データベースとなる
• Header items ?
2003/11/26
DBWeb2003
JVO prototype : Ver. 1
• Establish seamless access to federated
DBs by using the Grid technology
• Define JVO Query Language, and
implement its parser
• Test environment is in a closed subnet
2003/11/26
DBWeb2003
Data Bases in the prototype
• Subaru SuprimeCAM
• Sloan Digital Sky Survey (SDSS)
• 2μm All Sky Survey (2MASS)
2003/11/26
DBWeb2003
天文データの検索
• 球座標（地球上の緯度・経度と同じ）での検索
→ 経度0度の1度西は経度359度！
• 望遠鏡の空間分解能の違い
• 望遠鏡の指向制度
等を考慮する必要あり
2003/11/26
DBWeb2003
JVO Query Language(1)
Catalog Query
create view myEROtable as
select s.Bmag,
s.Rmag,
t.Hmag,
t.Kmag,
...,
sr.BOX(POINT(s.ra,s.dec),w,h)
as Rimage,
tk.BOX(POINT(s.ra,s.dec),w,h)
as Kimage,
...
from
SUBARU s,
2MASS
t,
...,
SUBARU.R sr,
2MASS.K
tk,
...
where
XMATCH(s,b,...) < 3 arcsec
and
(s.Rmag-t.Kmag) > 6 mag
and
BOX(POINT(ra0,dec0), w0, h0)
2003/11/26
DBWeb2003
and
...
C re a te vie w w ith th e u se r
sp e cifie d n a m e in JV O
syste m .
S e le ct a ttrib u te s fro m e a ch
ca ta lo g
se rve r.
C o lu m n
n a m e s ca n b e e xp re s se d
in U C D .
S e le ct cu to u t im a g e s fro m
e a ch im a g e d a ta se rve r.
Im a g e
a re a
ca n
be
sp e cifie d
by
BOX
or
C IR C L E o p e ra n d .
S e le ct th e ca ta lo g se rve r.
S e le ct th e im a g e d a ta se rve r.
C ro ss -m a tch d istrib u te d
ca ta lo g s.
Q u e ry co n d itio n b a se d o n
d istrib u te d ca ta lo g .
S p e cify se a rch a re a w ith th e
sa m e
syn ta x
as
cu to u t
im a g e sp e cifica tio n .
P a rtitio n to
sm a ll se g m e n t
JVO Query Language(2)
Image Query
A R E A ta b le
a1
a2
a3
s
t
select s.a,
t.a,
...
from
SUBARU.R s,
2MASS.K
t,
cu to u t re q u e st
...
OVERLAP
where
(s.AREA() OVERLAP t.AREA()) as a s.AREA()
SUBARU.R s
2003/11/26
DBWeb2003
t.AREA()
2MASS.K t
Redhat Linux
JVO Prototype System Architecture
GSDL
UDDI Maintenance Tool
JVO Client
Apache Tomcat
Netscape Communicator
JVO Service (X match)
Maintenance Tool
UDDI4J
soapuddi
Apache
ＳＯＡＰ
① Applet
DownLoad
Globus Toolkit (Server)
Java2SE 1.4
Java2SE 1.4
Hypertext
contents
Redhat Linux
JVO Service
Gb Ether
Solaris8 (Possible at Linux)
JVO
Controller
UDDI Registory / Servlet Engine
2Mass
DataBase
JVO Service
(select)
• register
• update
• delete
JDBC
SQL
library
Java2 Plugin
JVO Client
(applet)
③ Find Service
② Request
Observation
JVO Controller
DB Service
Java2SE 1.4
PostgreSQL (DBMS)
UDDI4J
•
•
•
•
Image
Data
SUBARU
SupCam
z-band
UDDI
Data
get & parse GSDL
pre condition check
execute Service
post condition check
⑤ execute Service
⑤’ execute Service
Internet
③ get GSDL
Check status
④’ Get GSDL
by GridFTP
⑥’ spawn Service
GridFTP
SQL
library
JVO Service
(select)
SQL
library
JVO Service
(image)
Image
Data
Free Software
2003/11/26
Commercial Software
GSDL
⑥ spawn Service
JVO Service
(count)
In House Software
Function
JVO Service (image)
JVO Service (X match)
Globus Toolkit (Server)
Globus
Toolkit
GSDL
Globus Toolkit (Server)
JVO Service
SUBARU
DataBase
SUBARU
DataBase
JVO Service
⑦ issue SQL
GSDL
(copy)
④ Get GSDL
by GridFTP
AVO
2Mass DB
Redhat Linux
Globus Toolkit (Client)
NVO
PostgreSQL
JVO Server
Monitoring
Globus
Toolkit
DB Service
Image
Data
(copy)
JVO Service
(X match)
Image
Data
(copy)
The following free software is included by globus toolkit.
• OpenSSL (Secure Socket Library)
• OpenLDAP (LDAP Server)
• wu-ftpd (ftp server)
DBWeb2003
JVO Service
(select)
SQL
library
JVO Service
(count)
SQL
library
⑦’ issue SQL
Copy imate data
by GridFTP
Copy imate data
by GridFTP
Image
Data
(copy)
Image
Data
DB Service
ORACLE
SUBARU
SupCam
i-band
How it works ?
• Read JVO QL
• Create “Work Flow”, and execute each
step
• When necessary, access to the registry to
expand the step of the work flow
• Thus the steps increases dynamically
2003/11/26
DBWeb2003
2003/11/26
DBWeb2003
Monitor Window:
Refreshed automatically in every 15 seconds
次にどういう作業をするべきかをダイナミック
に判断し，作業ステップを構成・実行する
2003/11/26
DBWeb2003
各ステップの実行
• 実行前のチェック
ジョブを依頼したいサーバーは生きているか？
入力ファイルは存在するか？
等
• 実行後のチェック
出力ファイルが正常に作成されたか？
ジョブが失敗したら，他のサーバーが使えるか？
等
2003/11/26
DBWeb2003
Sample Outputs
2003/11/26
DBWeb2003
2003/11/26
DBWeb2003
Prototype1の問題点
• Globus Tool Kit2は，認証等の際のオーバー
ヘッドが大きすぎる
→
NMI (NSF Middleware Initiative)を導入し，
認証時間を短縮し，かつ，GTK2のコードを変
更してpolling intervalを短くし，オーバーヘッ
ドを半分以下に短縮
2003/11/26
DBWeb2003
インターフェースの改良
JVOQLを使うためには，SQLの知識を要する
→
SQLを知らなくてもJVOを利用できるよう，GUI
を用いてエディターを作成
作成したQLを画面上で編集可能
→ GUIに欠ける柔軟性を確保
2003/11/26
DBWeb2003
2003/11/26
DBWeb2003
宇宙ひもによる重力レンズ探し
• SXDSのデータをJVOに登録して「探査」
• 条件入力→実行
5分未満で候補の絞り込み，SED表示などが可能
• JVOが目指す「研究の加速」を実証
2003/11/26
DBWeb2003
「宇宙ひも」とは?
• 宇宙が誕生してから10-35秒，温度1015GeV
の頃に存在した(?)とされる素粒子の素
• 点ではなく，大きさをもつ
• 太さは10-22m以下だが，宇宙の大きさほどの
長さ。10kmの長さで地球と同程度の質量
2003/11/26
DBWeb2003
重力レンズとは?
• 巨大質量天体の強大な重力により空間がひずみ，天
体の向こうにある別の天体の像がその巨大天体の周
囲に複数見える現象
2003/11/26
DBWeb2003
IAU 総会(Sydney)でのデモ
• IVOA（後述）ブースで他国のVOと共同デモ
を実施
• Sydney ⇔ Mitakaを接続して，実行できた
• Delayはある（日豪間は約8000? km)ものの
実行に問題なし
2003/11/26
DBWeb2003
プロトタイプ2の開発
複数利用者の同時アクセスに耐えるよう
• ユーザー登録機能（シングルサインオン機
能＝GRID環境への登録）
• Firewallを越えられるユーザー領域確保
（GSI-SFSの試用）
• OGSAの採用 (Web Servicesとの融合）
• 各種解析機能の搭載に向けた準備
2003/11/26
DBWeb2003
JVOプロトタイプ2の開発方針
分散基盤
Globus Toolkit Ver.3
への移行
データへのアクセス方式
GT３のGRAM／
GRIDサービス
メタデータ
登録情報（メタデータ）
の管理、検索方式
2003/11/26
利用者ごと機能
①利用者管理の試作
②データ保存
解析処理
解析処理連携の検討
DBWeb2003
システム構成
分散情報管理
利用者操作画面
ｾｷｭﾘﾃｨ
管理
RFT
サーバ 資源管理
条件指定画面
統合検索状況モニター
検索機能
ﾎﾟｰﾀﾙｻｰﾌﾞﾚｯﾄ
合
検索状況モニター画面
・レジストリ検索
・ＧWSDL解釈
・準備、実行、結果確認
データ検索処理
GRAM
行
機
解析処理実行機能
GWSDL
GRIDｻｰﾋﾞｽ
SUBARU
SupCam
cron i-band
GRAM
能
Globus Toolkit V3
Linux
データベースサーバ３
データ検索処理
RFT
GT3
画像管理
DB
データ数count
削除
検索結果画面
利用者毎の
データ/ログ
cron
PostgreSQL
作業領域 不要データ
制
Web Server
2MASS
不要データ
削除
データベースサーバ２
実
御
画像管理
DB
Linux
検
データ保存
Globus Toolkit V3
GWSDL
Globus Toolkit V3
索
分散処理制御
ORACLE
データ数count
作業領域
統
状況表示
統合検索結果表示機能
ﾚｼﾞｽﾄﾘ/
ﾒﾀﾃﾞｰﾀ
ポータルサーバ
利用者管理機能
データベースサーバ１
データ検索処理
抽出機能
Globus Toolkit V3
統合検索指示
登録情報検索機能
Gb
Ether
GSI-SFS
Gb
Ether
GRIDｻｰﾋﾞｽ
PostgreSQL
GWSDL
画像管理
DB
データ数count
SUBARU
SupCam
z-band
クロスマッチ処理
解析処理
解析処理画面
Webブラウザ
Windows,
2003/11/26
Solaris8, Linux
ﾊﾟｰｻ
ｽｹｼﾞｭｰﾗ
作業領域
Globus Toolkit V3
JVO-QL翻訳ｻｰﾊﾞ
DBWeb2003
Linux（Solaris8）
不要データ
削除
cron
Globus Toolkit V3
Solaris8
Road Map
2003年度 Prototype 2の開発
→ 実用に向けたコンポーネントの開発
2004年度 実用システムの開発開始
年度後半?? 試用開始
2005-2006 試験運用＆機能向上
MASTARS，既存DBの接続
2007 ALMA部分運用への対応を目指す
2003/11/26
DBWeb2003
ALMA in Chile (sub-mm wave)
2003/11/26
DBWeb2003
世界のVOプロジェクト
• NVO (USA), AVO (EU),AstroGrid (UK)
• Germany, Canada, Russia, Australia
• India, China, Italy, France, JAPAN
VOを連携する標準方式の策定グループ
→ International Virtual Observatory Alliance
(IVOA)
2003/11/26
DBWeb2003
www.ivoa.net
2003/11/26
DBWeb2003
IVOAにおける日本の役割
• 多くのWGのうち，VOQL(Virtual
Observatory Query Language)の取り纏め
担当
• 他のWG -- registry, data model, data
access layer, VOtable, etc.
• IVOAにおける標準化活動の重要なメンバー
2003/11/26
DBWeb2003
MVC
天文台殿
天体カタログDB
MVC
サービス
サービス
天体カタログ
サービス
MVC
VO用
ブラウザ
研究者
天体カタログ
JVO
ポータル
Web
サーバ
セキュリティ管理
VO用
Viewer
ワーク
フロー
サービス
サービス
利用者独自
サービス
セキュリティ管理
資源管理
データ管理
仮想観測実行
サービス
仮想観測
指示
天文台殿
DA/DB
サービス
サービス
DB/DA
サービス
資源管理
サービス
レジストリA
データ管理
セキュリティ管理
資源管理
DB
Data
データ管理
GRID環境 A
サービス
レジストリC
Web
サーバ
サービス
レジストリB
資源管理
セキュリティ管理
VO用
ブラウザ
セキュリティ管理
研究者
VO用
Viewer
2003/11/26
GRID環境
C
サービス
サービス
サービス
セキュリティ管理
VO
ポータル
サービス
サービス
サービス
資源管理
他システム
データ管理
処理
データ管理
資源管理
セキュリティ管理
データ管理
資源管理
データ管理
DBWeb2003
サービス
他システム
サービス
サービス
サービス
pipeline
他システム
サービス
サービス 処理
処理
他システム
処理
GRID環境 B
Gridで重要なもの
• 計算資源のネットワーク
これは当然
それだけでなく・・・
• 分野を越えた人間のネットワークがより重要
2003/11/26
DBWeb2003
何ができるようになるの?
• 銀河研究での例：
銀河の「客観的分類」を行って，原始銀河
の特徴をあぶり出す銀河誕生の理解
• Cosmic stringによる空間のひずみを広域サーベイ
データからあぶり出す宇宙初期の理解
• 微弱スペクトルから「アミノ酸」を探す宇宙におけ
る生命誕生?の理解
• ・・・・・・・
2003/11/26
DBWeb2003
何ができるようになる?（続き）
•
•
•
•
•
ガンマ線バースト天体の同定
Quasarの時間変化
太陽系近傍天体(EKBO等）の探査
Brown dwarfの探査
etc.
2003/11/26
DBWeb2003
波及効果
• 大学・大学院教育の支援
• 初等・中等教育の支援
• Public outreach
2003/11/26
DBWeb2003
電網天文台が拓くDB天文学
• 光学赤外線電波天文学／電波X線天文学
• 大量データの統計処理
→物理量を精度よく決定
→天文学は精密科学へと変貌する
• 未知天体の発見ラッシュ
2003/11/26
DBWeb2003
Collaborators
NAOJ
• Y. Mizumoto
• N. Yasuda
• Y. Shirasaki
• M. Tanaka
• S. Honda
Ochanomizu U.
• Y. Masunaga
2003/11/26
Fujitsu Ltd.
• K. Monzen
• K. Kawarai
• Y. Ishihara
• H. Yanaka
• Y. Yamaguchi
• M. Ishida
• N. Saito
• K. Abe
• J. Tsutsumi
DBWeb2003
Ken Miura
Supported by
• 科研費特定領域研究
「情報学」 A05（松岡・下條）班
2003/11/26
DBWeb2003
Web Pages
http://jvo.nao.ac.jp/
http://www.ivoa.net/
2003/11/26
DBWeb2003