Transcript 国立天文台電波天文データ公開用システムの開発

JVOの研究開発(2)
全体進捗
大石雅寿
国立天文台 ＆ 総研大
[email protected]
2003/03/25
天文学会春季年会
Collaborators
NAOJ
• Y. Mizumoto
• N. Yasuda
• Y. Shirasaki
• M. Tanaka
Ochanomizu U.
• Y. Masunaga
2003/03/25
Fujitsu Ltd.
• K. Monzen
• K. Kawarai
• Y. Ishihara
• H. Yanaka
• Y. Yamaguchi
• M. Ishida
• N. Saito
天文学会春季年会
Supported by
• Research Grant from
the MEXT
（文部科学省 科研費
特定領域研究
「情報学」
松岡・下條組）
2003/03/25
• Research Grant from
the Sokendai
（総合研究大学院大学
企画研究）
天文学会春季年会
Data Productivity
• Nobeyama Radio ：~1TB/yr
• Subaru@Hawaii ：~20TB/yr
• ALMA（planned） ：~PB/yr
Flood of excellent data (survey data)
Digitized & Archived
2003/03/25
天文学会春季年会
HPC + High Speed NETWORK
+GRID Technology
→ it is possible to connect and seamlessly
use remote DBs and computing facilities
for data analyses
→ Virtual Observatory
2003/03/25
天文学会春季年会
JVO (will) consists of
•
•
•
•
Seamless Access to Federated DBs
Various Data Analysis tools
Advanced Analysis such as Data Mining
Federation with Real Telescopes
→ crucial to control data quality in VO
2003/03/25
天文学会春季年会
JVO prototype : Ver. 1
• Establish seamless access to federated
DBs by using the Grid technology
• Define JVO Query Language, and
implement its parser
• Test environment is in a closed subnet
2003/03/25
天文学会春季年会
Query
request
Web
Broser
JVO Query
Language 利用者独自
サービス
JVO
Browser
Catalog Query Service
Commands
callable from
the GT2
Parse
JVO QL into
each query
sequence
JVO
Portal
ASTRONOMER
JVO
Viewer
Catalog DB
Data Archive Service
skycat
JVO
Contoroller
Globus
Toolokit V2
Data Management
DB
UDDI Server
（FreeSoft)
Globus Toolkit
Service
Registry
Security Service
Resource Management
Data Management
GridFTP
each query
Resolve servers to
request queries
2003/03/25
Data
天文学会春季年会
Data Analysis Services
JVO Query Language
create view myEROtable as
select s.Bmag,
s.Rmag,
t.Hmag,
t.Kmag,
...,
sr.BOX(POINT(s.ra,s.dec),w,h)
as Rimage,
tk.BOX(POINT(s.ra,s.dec),w,h)
as Kimage,
...
from
SUBARU s,
2MASS t,
...,
SUBARU.R sr,
2MASS.K tk,
...
where XMATCH(s,b,...) < 3 arcsec
and
(s.Rmag-t.Kmag) > 6 mag
and
BOX(POINT(ra0,dec0), w0, h0)
and
...
2003/03/25
Create view with the user
specified name in JVO
system.
Select attributes from each
catalog server. Column
names can be expressed
in UCD.
Select cutout images from
each image data server.
Image
area
can
be
specified by BOX or
CIRCLE operand.
Select the catalog server.
Select the image data server.
Cross-match distributed
catalogs.
Query condition based on
distributed catalog.
Specify search area with the
same syntax as cutout
image specification.
天文学会春季年会
詳細は，安田他
の講演(V27b)で
Redhat Linux
JVO Prototype System Architecture
GSDL
UDDI Maintenance Tool
JVO Client
Apache Tomcat
Netscape Communicator
JVO Service (X match)
Maintenance Tool
UDDI4J
soapuddi
Apache
ＳＯＡＰ
① Servlet
DownLoad
Globus Toolkit (Server)
Java2SE 1.4
Java2SE 1.4
Hypertext
contents
Redhat Linux
JVO Service
Gb Ether
Solaris8 (Possible at Linux)
JVO
Controller
UDDI Registory / Servlet Engine
2Mass
DataBase
JVO Service
(select)
• register
• update
• delete
JDBC
SQL
library
Java2 Plugin
JVO Client
(servlet)
③ Find Service
② Request
Observation
JVO Controller
DB Service
Java2SE 1.4
PostgreSQL (DBMS)
UDDI4J
•
•
•
•
Image
Data
SUBARU
SupCam
z-band
UDDI
Data
get & parse GSDL
pre condition check
execute Service
post condition check
⑤ execute Service
⑤’ execute Service
Internet
③ get GSDL
Check status
④’ Get GSDL
by GridFTP
⑥’ spawn Service
GridFTP
SQL
library
JVO Service
(select)
SQL
library
JVO Service
(image)
Image
Data
Free Software
Commercial Software
2003/03/25
GSDL
⑥ spawn Service
JVO Service
(count)
In House Software
Function
JVO Service (image)
JVO Service (X match)
Globus Toolkit (Server)
Globus
Toolkit
GSDL
Globus Toolkit (Server)
JVO Service
SUBARU
DataBase
SUBARU
DataBase
JVO Service
⑦ issue SQL
GSDL
(copy)
④ Get GSDL
by GridFTP
AVO
2Mass DB
Redhat Linux
Globus Toolkit (Client)
NVO
PostgreSQL
JVO Server
Monitoring
Globus
Toolkit
DB Service
Image
Data
(copy)
JVO Service
(X match)
Image
Data
(copy)
The following free software is included by globus toolkit.
• OpenSSL (Secure Socket Library)
• OpenLDAP (LDAP Server)
• wu-ftpd (ftp server)
天文学会春季年会
JVO Service
(select)
SQL
library
JVO Service
(count)
SQL
library
⑦’ issue SQL
Copy imate data
by GridFTP
Copy imate data
by GridFTP
Image
Data
(copy)
Image
Data
DB Service
ORACLE
SUBARU
SupCam
i-band
• JVOプロトタイプのGRID技術については
石原他の講演(V30a)を参照
• データベース構築，user interfaceについては
白崎他の講演(V28b)を参照
• 検索サービスの構築については
田中他の講演(V29b)を参照
2003/03/25
天文学会春季年会
How it works ?
• Read JVO QL
• Create “Work Flow”, and execute each
step
• When necessary, access to the registry to
expand the step of the work flow
• Thus the steps increases dynamically
2003/03/25
天文学会春季年会
2003/03/25
天文学会春季年会
2003/03/25
天文学会春季年会
Query Files can be stored in a local PC (WS)
2003/03/25
天文学会春季年会
Monitor Window:
Refreshed automatically in every 15 seconds
2003/03/25
天文学会春季年会
VOTable as output
• XML
• Standard data exchange format among
VOs defined by the IVOA (see below)
2003/03/25
天文学会春季年会
Sample Outputs
2003/03/25
天文学会春季年会
2003/03/25
天文学会春季年会
FAQs on our Prototype
Q) Contents of environment variables are not
passed to the executing machines.
A) Prepare a shell script to get environment
variables and another script to execute the
command. Then GridFTP these shell scripts ,
and execute the shells in the remote machine.
Q) It is impossible to prepare all users’ account to
all relevant machines.
A) Map all accounts on a portal to a single
representative one, such as globus.
2003/03/25
天文学会春季年会
FAQs
Q) GT2 has too large overhead before
starting actual jobs !! They are several
seconds.
Request) Overheads must be < 0.1 seconds
excluding the network delays.
A) Use NMI (NSF Middleware Initiative)
where each key generation is quite fast
through assembler.
2003/03/25
天文学会春季年会
Future
• Prototype version 2 (in progress)
implement data analysis tools
add more data (SXDF, SDSS, etc.)
• Interoperation with VOs in the world
We have joined the International Virtual
Observatory Alliance, and are
contributing standardizing protocols for
interoperability.
2003/03/25
天文学会春季年会
VOs in the World
• NVO (USA), AVO (EU),AstroGrid (UK)
• Germany, Canada, Russia, Australia
• India, China, JAPAN
Protocols to interconnect VOs
→ International Virtual Observatory Alliance
(IVOA)
2003/03/25
天文学会春季年会
MVC
天文台殿
天体カタログDB
MVC
サービス
サービス
天体カタログ
サービス
MVC
VO用
ブラウザ
研究者
天体カタログ
JVO
ポータル
Web
サーバ
セキュリティ管理
VO用
Viewer
ワーク
フロー
サービス
サービス
利用者独自
サービス
セキュリティ管理
資源管理
データ管理
仮想観測実行
サービス
仮想観測
指示
天文台殿
DA/DB
サービス
サービス
DB/DA
サービス
資源管理
データ管理
サービス
レジストリA
セキュリティ管理
資源管理
DB
Data
データ管理
GRID環境 A
サービス
レジストリC
Web
サーバ
サービス
レジストリB
資源管理
セキュリティ管理
VO用
ブラウザ
セキュリティ管理
研究者
VO用
Viewer
2003/03/25
GRID環境
C
サービス
サービス
サービス
セキュリティ管理
VO
ポータル
サービス
サービス
サービス
資源管理
他システム
データ管理
処理
データ管理
資源管理
セキュリティ管理
データ管理
資源管理
データ管理
天文学会春季年会
サービス
他システム
サービス
サービス
サービス
pipeline
他システム
サービス
サービス 処理
処理
他システム
処理
GRID環境 B
JVO Home Page
http://jvo.nao.ac.jp/
2003/03/25
天文学会春季年会