Transcript Сетевой интерактивный ресурс данных по физике космоса Space Physics Interactive Data Resource (SPIDR) Михаил Жижин, ИФЗ РАН [email protected] Основная концепция Интерактивный поиск данных (data mining)     Параллельность – сразу в.

Сетевой интерактивный
ресурс данных по физике
космоса
Space Physics Interactive Data
Resource (SPIDR)
Михаил Жижин, ИФЗ РАН
[email protected]
Основная концепция
Интерактивный поиск данных (data mining)




Параллельность – сразу в нескольких базах данных
Метаданные – общий список параметров, спутников и
наземных станций
Многодисциплинарная визуализация
События – удовлетворить нечеткие критерии отбора
Функции




Гибкая доставка данных по Сети (content delivery)
Синхронные региональные серверы
Персональная «покупательская» корзина
Адаптивный формат экспорта данных
Приложения



Сбор и контроль качества данных
Синтез данных
B2B источник для моделей космической погоды
Основные разделы данных
SSN – статистика солнечных пятен, с 1700
Геомагнитные вариации (минутные и часовые)
тестируется, c 1901
Геомагнитные и солнечные индексы, с 1932
Параметры ионосферы, c 1954
IMF – межпланетное магнитное поле и параметры
солнечного ветра, с 1973
GOES – геостационарные спутники NOAA, с 1986
DMSP – метеорологические спутники, с 1991
Изображения Солнца в различных диапазонах и
магнитограммы, с 1992
Типовой узел SPIDR
Data
Base 1
Client
Java servlets
Internet
Application server
W
eb RM
se I
rv
i ce
s
WWW server
JDBC
Data
Base 2
Data
Base 3
Space weather
models
Internet
SPIDR API
Кластер баз данных
Linux-кластер
SPIDR database structure (Boulder)
stp
dmspdb
goesdb
hpidb
imfmin
sgd
swrstations
qdays
solardb
esg5.ngdc.noaa.gov
geomag
Wsg9.ngdc.noaa.gov
Swr1.ngdc.noaa.gov
swr
rstndb
Internet
Beluga.ngdc.noaa.gov (WWW server)
cosmdb
Esg1.ngdc.noaa.gov
Esg4.ngdc.noaa.gov
geomdb
Esg2.ngdc.noaa.gov
ionodb
Esg3.ngdc.noaa.gov
Кластер баз данных в Москве
15 Linux nodes
1 Tbyte of disk space
1 Gbit Ethernet backbone
1 Gbit optical link to Internet
Подключаемые (pluggable) базы
данных
Для подключения новой базы данных необходимо:
Написать метод доступа к базе, создающий объект
модели данных SPIDR (день наблюдений
параметра на станции) по JDBC запросу (MySQL,
Oracle);
Создать HTML (JSP) форму запроса данных;
Проинформировать сервлеты выборки и
визуализации о новом типе данных (метаданные о
физических единицах, масштабах и типах шкал на
графиках, и т.п.)
http://clust1.wdcb.ru/spidr
Ссылки
на узлы
Прошлые
сессии
Доступные
данные на
текущий
момент
Новости
Динамический интерфейс
Logo and
homepage
Links to
developers
Tips and
quick help
Links to
regional
hosts
Buttons
toolbar
Data menu
Frame for data requests and
visualization
Синхронные графики
временных рядов
Интерактивная картография
HTML
Карта станций
для интервала дат
Java
Список и описания
отобранных
станций
HTML
Web-анимация рядов
изображений со спутников
Снимки Земли:
DMSP, Terra
Изображения Солнца:
обсерватории и
спутники
Расстановка узлов SPIDR
Поддержка множества узлов
Региональные узлы в России, США,
Африке, Австралии, Японии и Китае
Сравнение метаданных на разных узлах
(web-сервисы)
Независимая загрузка данных в любой из
узлов (браузер или web-сервис)
Автоматическая синхронизация узлов (email)
Автоматический анализ логов загрузки и
предупреждение об ошибках (e-mail)
Загрузка данных через Web
Сравнение метаданных на
разных узлах SPIDR
Детальная инвентаризация
за период-элемент-станцию
Сравнение узлов и
синхронизация по запросу
Геомагнитные данные из России
Нечеткий поиск событий
Data
basket
Fuzzy
Visualization
search
Критерий поиска в терминах
нечеткой логики
«Спокойный день»:
Малые значения индекса Kp
Индекс Dst около нуля
«Магнитная буря»:
Большие значения индекса Kp
Большие отрицательные значения Dst
Форма «нечеткого» запроса
Временной интервал
для поиска
Параметры
Тип нечеткой функции
принадлежности
Пороги и
значимость
Результат поиска – список
событий
Rank
1
2
3
4
5
6
7
8
9
10
Score
0.995
0.99
0.974
0.959
0.957
0.955
0.944
0.944
0.936
0.914
Date
1999-01-31
1998-12-16
1997-03-09
1998-10-14
1997-05-11
1997-12-26
1997-04-15
1999-05-10
1997-08-25
1997-11-20
Time
20:00
21:00
9:00
6:00
20:00
22:00
6:00
21:00
12:00
21:00
«Синтез» данных в SPIDR
Минутные данные о солнечном ветре
(скорость, плотность, магнитное
поле):
ACE – с августа 1997
WIND – с ноября 1994
IMP8 – с июля 1992 по ноябрь 2000
Слияние минутных данных с
трех спутников
Средняя скорость солнечного ветра и
задержка до границы магнитосферы
для каждого спутника
На данную минуту если нет данных
ACE, то использовать WIND, в
крайнем случае IMP8 (с учетом
положения вне
Сравнение с часовыми данными
OMNI, 1-7 августа 1999
Магнитное поле
1 мин
OMNI
Плотность
Space Weather Reanalysis - SWR
SPIDR
Geomag
IMF min
GOES
QC
Algoritms
Indices
WDC-B
SWR
Clean
Geomag
SWR
databases
Models
SPIDR databases
GEODAS
AMIE
MSM
Integration suit
SPIDR API
Model output
Integration suit
Raw data
WDC-C
CTIM
SWR
KRM
ISP
SPIDR WEB
interface
SWR WEB
interface
Internet
Internet
Intermag
Client
Client
SWR API
Контроль качества данных
для SWR
SWR homepage
http://swr.ngdc.noaa.gov/swr
SWR временные ряды
Графики временных рядов
Java апплет или GIF изображения
Запрос на выборку
временного ряда
в интервале времени
для нескольких узлов
на сетке и по множеству
параметров
SWR значения поля на сетке
Статические карты
9 – 12 на страницу
Динамический Java
для анимации изменения
поля во времени
Распределение пользователей
на узле в Болдере, США
450
400
6400 users from USA
350
300
250
200
150
100
50
0
Amount of SPIDR users (USA node)
U n ite d S ta te s
U n ite d K in g d o m
R u s s ia n F e d e r a tio n
C a n a d a
G e rm a n y
A u s tr a lia
Ita ly
Ja p a n
F ra n c e
IN
B r a z il
N e th e r la n d s
C h in a
S p a in
A r g e n tin a
M e x ic o
B e lg iu m
A r m e n ia
G re e c e
S w e d e n
N e w
P u e r to R ic o
F in la n d
D e n m a rk
S w itz e r la n d
A u s tr ia
P o la n d
S o u th A fr ic a
K o r e a (S o u th )
P o r tu g a l
C z e c h R e p u b lic
B u lg a r ia
C o lo m b ia
F r a n c e M e tr o p o lita n
U k r a in e
Is r a e l
N o rw a y
T u rk e y
R o m a n ia
T a iw a n
E g y p t
In d o n e s ia
Ir e la n d
V e n e z u e la
C h ile
A fg h a n is ta n
H u n g a ry
C u b a
M a la y s ia
T h a ila n d
P a k is ta n
S a u d i A r a b ia
Z e a la n d
In d ia
Статистика в реальном времени
Число пользователей
Запросы на визуализацию
и экспорт данных
Доступна на каждом
узле из меню:
- SPIDR tools
- Statistics
Bugrat – база данных ошибок
и исправлений
Основная концепция
Интерактивный поиск данных (data mining)




Параллельность – сразу в нескольких базах данных
Метаданные – общий список параметров, спутников и
наземных станций
Многодисциплинарная визуализация
События – удовлетворить нечеткие критерии отбора
Функции




Гибкая доставка данных по Сети (content delivery)
Синхронные региональные серверы
Персональная «покупательская» корзина
Адаптивный формат экспорта данных
Приложения



Сбор и контроль качества данных
Синтез данных
B2B источник для моделей космической погоды
Coming release SPIDR 3.0
MVC and workflow state machine using
Jakarta Struts
Enhanced usability with wizards: data
collection trails “by time” and “by dataset”
Ionosphere data loading and synchronization
re-worked
Web services for all B2B transactions
SWR data products included
Experimental SPDML-compliant metadata
Experimental GRID Globus toolkit ver. 3+