地震台网数据处理系统 JOPENS 5.2

Download Report

Transcript 地震台网数据处理系统 JOPENS 5.2

地震台网数据处理系统
JOPENS 5.2
吴永权
2014年4月 广州
重要提示:
• 本演示文稿只介绍JOPENS5.2新增加的内容
,并非完全的JOPENS5.2培训教程。
• 本演示文稿是基于学员具有JOPENS前期版
本维护经验的基础上编写的,只有具有维护
经验的学员才能快速准确理解本课件的内容
。
• 对于初学的学员,JOPENS5.2用户手册才是
完整的学习材料。
主要内容
• 一、JOPENS5.2简介
• 二、JOPENS5.2的更新内容
• 三、JOPENS5.2的系统架构
• 四、JOPENS5.2各模块的更新
• 五、JOPENS5.2的安装与配置
• 六、JOPENS附带工具软件
一、 JOPENS5.2 简介
一、 JOPENS5.2 简介
• 在中国地震局的支持下,广东省地震局一直致力于推
动JOPENS系统的创新与发展,多年来发布了多个版
本的数据处理系统,使得系统的功能日趋完善。
JOPENS 0.3
JOPENS 0.4.3
JOPENS 5.2
JOPENS 0.4.4
JOPENS 0.1
JOPENS 5.2 简介
• 增加了多个新的软件模块
• 大幅度修改了系统架构
• 简化了系统的安装与配置过程
• 增强了系统的稳定性
• 提高了数据处理的效率
• 提升了数据处理结果的精度
• 丰富了系统的功能
• 提供了实用的工具软件
二、 JOPENS 5.2的更新内容
JOPENS 5.2的更新内容
• 1、增加AWS模块。
•
AWS模块用于连续波形在线存储,建议用户将连续波
•
形数据都存储在AWS模块中。JOPENS数据库保留了存储
连续波形数据的功能,但不建议在数据库中存储连续波形
数据,只存储事件波形、事件结果、震相数据、台站参数
等数据库。
这样做可以避免因连续波形数据表结构更改、数据占
满磁盘或者机器突然掉电等多种可能因素导致
Waveform_con表结构破坏,需要重建整个JOPENS数据库
,进而导致的事件波形、事件结果、震相数据、台站参数
等数据的迁移,丢失等问题,这样可以有效提高JOPENS
数据库的安全性和稳定性,保障数据的安全,减轻系统管
理员数据库维护的困难和负担。
JOPENS 5.2的更新内容
• 2、增加了地震超快速报(预警)JEEW模块。
•
地震预警模块采用了目前国际先进的地震预警
处理算法,能够实用地震波前三秒的数据快速测定
地震发生位置和估算震级规模,实现地震事件的超
快速报,为地震波还没有传播到达的地区发出地震
预警信号(预警模块还未验收,JOPENS5.2 正式发
布版本暂不包括此模块)。
JOPENS 5.2的更新内容
• 3、软件配置过程简化。
JOPENS5.2简化了系统的配置过程,把系统各模块
的IP地址、服务端口、用户名、密码、路径等信息
都集中到了conf目录下的jopens-config.properties
文件里,这样用户就不必到每个模块的配置文件里
修改这些信息,有效简化了系统配置过程。
JOPENS 5.2的更新内容
• 4、更改软件打包结构
•
JOPENS5.2中各模块的可执行程序包都统一打
包放在lib目录下,各模块目录里只存放配置文件、
启动脚本及日志文件,不再存放可执行程序包。
JOPENS 5.2的更新内容
• 5、数据库Waveform_con和Waveform_event
表结构有更改,还新增加了近几年我国地震行
业新开发引进的地震仪器模板参数。新版本的
数据库必须与相同版本的软件模块一起使用,
错误的版本搭配可能导致服务不正常。
JOPENS 5.2的更新内容
• 6、SSS流服务升级
•
新增加支持了近几年我国地震行业新开发
引进的地震仪器实时数据流接收,增加了持久
用户的长时间断点重传功能,增加了数据抽样
与重组功能,台站名支持正则表达式配置,用
户IP地址限制支持CIDR地址表达方式,可以
把用户限定在一段IP地址内。
JOPENS 5.2的更新内容
• 7、RTS模块升级
•
提升了地震参数自动测定的速度和精度,
增强了可靠性,修复了RTS内存释放不畅导致
内存溢出,RTS停止运行的问题,把RTS-PICK
和RTS-LOC两个进程再次合并为一个RTS进程
。
JOPENS 5.2的更新内容
• 8、MSDP模块升级
•
更新了地图数据,增加了定位算法、震相自
动拾取与转换的方法、自动量取仿真震幅,增加
了地震参数测定台站快速选择、地震速报地名自
动匹配等功能,Hypsat定位增加了使用3D走时模
型,增加了3D走时模型和定位算法,增加了
IscLoc定位算法。有效提高了人机交互地震速报
和地震编目的效率。
JOPENS 5.2的更新内容
• 9、为方便地震台网编目工作,JBOSS模块增加了
最新格式的地震台网观测报告文件自动导出功能
,简化了控制台台站信息配置过程。
• 10、增加了一些地震数据格式转换,地震波形数
据导入的工具软件,方便地震台网的日常工作。
JOPENS 5.2的更新内容
• 11、升级了第三方依赖软件包的版本
• JOPENS5.2需要在Jdk1.6.0(或者openjdk6)以
上的JAVA运行环境中运行,建议使用JDK1.7。
• Mysql数据库使用Mysql5.5版本。
JOPENS 5.2的更新内容
• 12、由于计算机技术发展快速,64位的计算机服
务器已经成为主流,因此JOPENS5.2版只发行64
位版本。使用一台性能较好的64位服务器,可以
把JOPENS所有模块安装在一台服务器上,维护使
用较为方便。
三、 JOPENS 5.2的系统架构
JOPENS 5.2的目录架构
•
•
•
•
•
•
•
•
•
•
•
JOPENS系统的软件模块都会被安装在/usr/local/jopens目录下面
conf目录:系统配置文件目录
utils 目录:JOPENS实用工具目录
rts目录:地震参数自动测定模块
ipplot 目录:简单的实时波形显示模块
lib 目录:JOPENS系统软件库
msdp目录:交互分析模块
sss 目录:流服务器模块
aws目录: 波形数据在线服务模块
traceView目录:有震相显示的实时波形显示模块。
monitor目录:监控系统模块
JOPENS 5.2的系统总配置文件jopens-
config.properties
•
•
•
•
•
•
•
•
•
•
#配置AWS模块的IP地址和服务端口
jopens.aws.host=localhost
jopens.aws.port=16000
#配置AWS模块使用持久用户登录到SSS的用户名及密码
jopens.aws.sss.user=aws
jopens.aws.sss.password=aws
#FreeBSD config
#jopens.aws.archiveDir=/home/jopens/tank
#Linux config
jopens.aws.archiveDir=/var/lib/tank
JOPENS 5.2的系统总配置文件
• #配置数据库的IP地址、端口、用户名、密码
• jopens.mysql.host=localhost
• jopens.mysql.port=3306
• jopens.mysql.user=root
• jopens.mysql.password=rootme
• #配置Memcached的IP地址、端口
• jopens.memcached.host=localhost
• jopens.memcached.port=11211
JOPENS 5.2的系统总配置文件
• #配置AMQ消息服务器的IP地址(即JBOSS的IP地
址)、服务端口
• jopens.amq.host=localhost
• jopens.amq.port=61616
• jopens.amq.user=manager
• jopens.amq.password=manager
JOPENS 5.2的系统总配置文件
•
•
•
•
#配置MSDP发送EQIM地震速报信息的EQIM服务器参数
jopens.eqim.host=localhost
jopens.eqim.port=5000
jopens.eqim.user=GD(配置登录EQIM服务器的用户代码
)
• jopens.eqim.password=** (配置登录EQIM服务器的用
户密码)
• jopens.eqim.db.user=GD(配置登录EQIM数据库的台网
代码,一般为台网代码)
• jopens.eqim.db.password=** (配置登录EQIM数据库的
密码)
JOPENS 5.2的系统总配置文件
• #配置台网代码与台网名,e.g. GD
• jopens.networkInfo.code=GD
• jopens.networkInfo.chineseName=广东地震台网
• jopens.networkInfo.englishName=Guangdong
Seismic Network
JOPENS 5.2的系统总配置文件
• #配置FreeBSD/Amd64系统下,MSDP模块的外挂
定位程序路径
• FreeBSD/Amd64 setting
• jopens.location.hyp2000.program=../lib/hyp2000/
hyp2000.freebsd.amd64
• jopens.location.hyposat.env=HYPOSAT_DATA=../.
./lib/hyposat/data
• jopens.location.hyposat.program=../lib/hyposat/bi
n/hyposat
JOPENS 5.2的系统总配置文件
• #配置Linux/x86_64系统下,MSDP模块的外挂定
位程序路径
• # Linux/x86_64 setting
• jopens.location.hyp2000.program=../lib/hyp2000/
hyp2000.linux.amd64
• jopens.location.hyposat.env=HYPOSAT_DATA=../.
./lib/hyposat/data
• jopens.location.hyposat.program=../lib/hyposat/bi
n/hyposat-linux.amd64
JOPENS 5.2的系统总配置文件
• 配置苹果公司的Mac OSX系统下的外挂定位程序
• # Mac OSX setting
• jopens.location.hyp2000.program=../../lib/hyp200
0/hyp2000
• jopens.location.hyposat.env=HYPOSAT_DATA=../.
./lib/hyposat/data
• jopens.location.hyposat.program=../../lib/hyposat
.win/bin/hyposat
JOPENS 5.2的系统总配置文件
• 配置Windows系统下,MSDP模块的外挂定位程序
路径
• # Windows setting
• jopens.location.hyp2000.program=../lib/hyp2000/
hyp2000.exe
• jopens.location.hyposat.env=HYPOSAT_DATA=../.
./lib/hyposat.win/data
• jopens.location.hyposat.program=../lib/hyposat.w
in/bin/hyposat.exe
JOPENS 5.2的系统总配置文件
• #配置MSDP自带的ISC定位程序工作路径
• jopens.location.iscloc2.configDirectory=../lib/ISCl
ocRelease/etc
• jopens.location.iscloc2.instructionFile=work/iscloc
_instruction.conf
四、 JOPENS 5.2各模块的更新
1、SSS流服务模块的更新
• 增加了部份新型号数采实时数据流的接口程序。
• 增加了持久存储功能,持久存储由数据源服务器提
供,当数据源服务器支持持久存储功能时能完成超
长时间数据的断点重传。
• Sbox-config.xml配置文件增加了支持正则表达式的
配置方法,简化了配置过程。
• 采用CIDR规则限定访问SSS用户的IP地址。
• 增加了数据抽样功能,可以把接收到的数据重新抽
样,降低采样率后提供给用户(简要介绍)。
新型号数采接口程序
SSS的持久存储功能
• 对于持久用户,流服务在sss目录下建立一个buffer目录,当
•
•
•
•
•
持久用户链接中断后,SSS会把该持久用户需要的数据存储
在buffer目录里,当持久用户再次上线后,SSS会把buffer里
的数据快速传输给持久用户,这样可以完成长时间的断点续
传。持久存储采用数据源流服务持久存储的原则,只有数据
源流服务支持持久用户功能才可实现。用户需要设定哪些用
户是持久用户,在sbox-config.xml文件里,Server部份的台
站列表之后,有以下配置
<persistUsers>
<user name="aws" bufferSize="100000" />
<user name="s2s" bufferSize="100000" />
</persistUsers>
其中bufferSize是以十六进制表示的缓冲存储数据包个数
,默认设置为0x100000,换算为十进制为1048576个数据包
,每个数据包为512字节大小。
SSS的正则表达式配置方法
• 正则表达式的概念
•
正则表达式是对字符串操作的一种逻辑公式,就
是用事先定义好的一些特定字符、及这些特定字符
的组合,组成一个“规则字符串”,这个“规则字符串”
用来表达对字符串的一种过滤逻辑。
• 给定一个正则表达式和另一个字符串,我们可以达
到如下的目的:
• 1. 给定的字符串是否符合正则表达式的过滤逻辑(
称作“匹配”);
• 2. 可以通过正则表达式,从字符串中获取我们想要
的特定部分。
SSS的正则表达式配置方法
•
为了简化sbox-config.xml文件的配置过程,特别
是在台站很多的情况下,编辑sbox-config.xml显得
比较繁琐,JOPENS5.2的SSS支持了台站代码的正则
表达式配置方式。正则表达式的使用方式很多,在
sbox-config.xml文件里,有以下两种常用的用法:
• .*表示所有的台网及台站代码
• 台网代码/.*表示某个地震台网的所有台站。
正则表达式在SSS的用法示例1
• 在Server2Server里,如果需要在两个流服务之间传输数据源流服务器
•
•
•
•
•
•
•
•
•
•
•
管理的所有台站数据,则可以如下配置:
<Server2Server enable="YES" profile="Server2Server">
<source host="192.168.168.168" port="5000" user="newdown"
password="download" networkID="GD" />
<target host="localhost" port="5000" user="newup"
password="upload" networkID="GD" />
<cfg>
<station>.*</station>
</cfg>
</Server2Server>
如果希望在两个流服务之间传输GD台网的所有数据,则可如下表达
:
<cfg>
<station>GD/.*</station>
</cfg>
正则表达式在SSS的用法示例2
• 在用户管理配置里,如果允许某个用户下载或上传
SSS所管理的所有台站或某几个台网的台站,则可以
如下配置:
• <user name="liss" allowIP="0.0.0.0/0"
comment="download ... monitorRight="1">
•
<access station=".*" />
•
<access station="GD/.*" />
•
<access station="FJ/.*" />
• </user>
SSS的CIDR规则限定用户IP地址
• CIDR规则
• 英文缩写: CIDR (Classless InterDomain Routing)
• 中文译名: 无类别域间路由选择
• CIDR 地址中包含标准的32位IP地址和有关网络前缀
位数的信息。以CIDR地址192.168.168.168/24为例
,其中“/24”表示其前面地址中的前24位代表网络部
分,其余位代表主机部分。
SSS的CIDR规则限定用户IP地址
• 生成用户密码时可以采用CIDR的方式把用户的IP地
址限制设定为一个地址段内。为下面讲述用户管理
工具生产新密码的用法:
例如需要更新upload用户允许的IP地址为
192.168.168.*,密码为新密码upload,则可以输入:
./ UserManager.sh -p [email protected]/24
upload
SSS的抽样功能
• JOPENS5.2版本的SSS增加了抽样功能,可以把SSS
从数采里接收到的数据再次抽样得到更低采样率的
实时波形数据,而且SSS能同时提供一个台多种采样
率的实时数据。例如GZH台,数采设置的是100的采
样率,那SSS默认收到的也是100的采样率数据,
SSS可以为GZH台再抽样,得到50,20,10,1,0.1
,0.01等多种采样率的实时数据。
SSS的抽样功能
• SSS再抽样的配置文件为:
/usr/local/jopens/sss/SProcessor.xml。
• 配置文件里定义了原始数据的输入类型,只有完全
匹配输入类型参数的数据,SSS才对这些数据再抽样
,用户可以设定只为某个台网、台站、通道的数据
做抽样。如果不需要做抽样时,只需把数据输入的
条件的台网代码改为”XX”,这样输入数据就不能与
”XX”匹配,数据抽样功能就不生效。用户可以为一
个台站的数据定义抽样出多种采样率的数据,并以
不同的通道名命名。(详情请参考用户手册)
2、新增加的AWS模块
• JOPENS系统在台网运行多年,我们常遇到以下难题
:
•
1、数据库存储容量有限,在不改变数据库结构的
前提下,扩展数据库存储容量比较困难;
• 2、数据库具有复杂的表结构,大量数据的迁移和
备份比较困难;
• 3、有时因特殊原因导致数据库连续波形表结构损
坏,必须重建数据库,数据库中的长期存储的地震台
网事件数据就存在丢失损坏的风险。
• 基于以上问题,我们开发了AWS模块,用于存储海量
的连续波形数据,为用户提供海量数据的长期实时在
线服务的问题,这有利于地震台网的数据管理、提高
观测数据的使用效率、保障观测数据的安全,
AWS模块的特点
• 为用户提供超大容量(数万通道)长期(十年)实时在线服务,主
•
•
•
要具备以下功能和特点:
1、建立三层存储服务机制,内存缓冲(Memory Cache)、
内存文件系统(MFS)和常规文件系统。最新数据放在内存缓冲
中,次之数据放在内存文件系统中,更次之数据按照命名规
律放在常规文件系统。最新数据总能得到优先快速的服务。
2、存储容量的易于扩展特性:
系统采用数据文件和索引的方式存储数据,当数据存储容
量快饱和时,只需增加磁盘阵列等类型的数据存储设备,包
括iSCSI设备、SAN设备和InfiniBand 网络设备等,挂载入系
统,系统就会自行往新设备中存储数据文件,并建立起数据
索引,系统的存储容量就可以扩大。随着硬件设备的不断发
展,系统的存储容量可以持续扩大,几乎不受存储空间容量
的限制,至少可以提供10年以上数据的在线服务。
AWS模块的特点
•
•
3、数据迁移简单方便:
因为系统采用文件加索引的存储管理方式,所以当
需要做数据迁移时,只需将需要迁移的数据文件复制
到目的地,系统根据数据文件的更改时间和大小等信
息,重新为数据文件再做一次索引即可使用。
• 4、实时与长期数据在线服务特性:
• 系统可持续接收数据流服务器接收到的实时数据,
将数据以MiniSEED格式写入数据文件,并为数据在系
统管理软件中建立数据索引,系统也可以将以前长期
记录到的数据导入系统,形成数据文件和索引,因此
系统可为用户提供实时和长期的数据在线服务。
AWS模块的特点
• 5、数据管理与服务的高效性:
• 系统为数据建立的索引存储在管理模块的内存中,
需要有高效智能的索引管理策略,在索引的效率和容
量之间取得平衡,使得系统非常容易从索引中查找数
据位置。用户需要调用数据时,系统只需从内存的索
引中快速查找数据位置,便可直接从相应位置中调出
数据提供给用户。索引在文件系统中存储时采用
NetCDF格式,NetCDF非常合适管理定长的的矩阵型
索引数据,索引按需采用LRU算法调入内存。因此数
据查找非常快速,系统具有高效的数据自动管理和服
务功能。
AWS模块的特点
• 6、多种数据格式服务:
• 系统管理可存储长期的地震台站定长采样观测数据
,如地震波形和大部分前兆类型数据,存储采用定长
512字节的MiniSeed压缩格式。当用户需要获取某一
段数据时,在JOPENS系统的台站参数配合下,可以
转换出SEED、SAC、EVT、ASCII等多种格式的数据文
件给用户。
AWS模块服务
•
AWS模块服务的配置
• AWS需要在内存中开辟内存介质文件系统,因此需要
系统支持内存盘设备,FreeBSD系统需要在rc.conf
文件中配置。SUSE 11 Linux系统默认已支持MD。
• mdconfig_md0="-t malloc -s 3g" #内存磁盘空
间大小根据AWS的配置来计算,详见AWS部份,对
于一个有50个台站的台网,如果单个文件存储1024
个PACK,则需设置为不小于150M,如果机器内存足
够大,设置大一点也是可以的。
• mdconfig_md0_owner="jopens"
• mdconfig_md0_perms="755"
AWS模块服务的配置
• AWS的系统配置文件很简单,默认配置的数据存储路
径等在全局配置文件/usr/local/jopens/conf/jopensconfig.properties 里完成。
• 用户可以修改数据存储路径,建议存储数据目录的空
间容量尽量大,而且路径不要太深。如果不修改,那
用户需确认此目录是否存在,如果不存在则要自行创
建一个tank目录,并确认此目录的属性为jopens用户
拥有读写权限。
AWS模块服务的配置
• AWS采用三级管理数据的模式,为提高数据服务效率,最新
的数据都存储在内存理,因此内存空间的管理很重要,这些
参数的设置也与台网的台站数量和服务器内存空间有关,需
要用户在ArchiveWaveServer.xml配置文件里灵活设置。
• <bean id="archiveBufferNode"
class="cn.org.gddsn.jopens.wfpool.ArchiveBufferNod
e" scope="prototype">
• <propertyname=“cacheDays” value=“5” /> #内存中存储
数据索引的天数。一小时的数据最多存储100个索引,一个索
引为24字节(冗余考虑按32字节计算)。一个有100个三通
道台站的台网,一天索引文件的大小为
32*100*24*3*100/1024/1024=21.97M。对于中型台网来说
,5天是一个合理的数据,一般不需要改。
AWS模块服务的配置
• <propertyname="segSize" value="0x200" />
• 设置mfs系统一个存储文件包含的数据包个数。以十
六进制表示。
• 需要计算在内存中开辟mfs系统的空间,为保证系统
在大多数机器都能正常运行,默认的设置较小,实际
使用是,用户可以适当调整。一个有100个三通道台
站的台网,需要设置的mfs空间大小为
100*3*2*512(0x200)*512/1024/1024=150M。
• 广东台网有一百多个台站的数据,实际运行时,我们
把segSize的值设为0x800,mfs空间至少为600M。
AWS模块服务的配置
• <propertyname="cacheBufSize" value="16" />
• 一个通道直接存储在内存中的最优级数据缓冲空间,
单位为可k,对于100个3通道台站的台网,缓冲空间
为100*3*16/1024=4.7M。 -->
AWS模块服务的配置
• 默认情况下,AWS将登录SSS下载所有台站的实时波形数据并存储到指
•
•
•
•
•
•
•
•
•
•
定的目录,如果用户不想存储SSS上的所有台站数据,也可以使用正则
表示式的表示方法,只存储某几个台网的数据,或者在
ArchiveWaveServer.xml文件里配置希望存储的台站列表,配置内容为:
<bean id="sssPort" class="cn.org.gddsn.liss.port.sss.SSSPort">
<property name="lissClient" ref="lissClient" />
<property name="chanMask" value="0x01fffffff" />
<!-- "*" for all station -->
<property name="stationCode">
<list>
<value>.*</value>
</list>
</property>
</bean>
AWS模块服务的配置
• 过期数据自动删除
• 虽然AWS的存储空间是可以扩充的,但是有些用户不
需要存储时间太久的连续波形数据,希望能自动删除
过期数据。AWS没有自动删除过期数据的功能,但是
由于数据是以文件形式存放在目录的,因此删除过期
数据的工作可以交由计算机操作系统去做。无论是
FreeBSD系统或者是SUSE Linux系统,存在
/etc/crontab文件,此文件的作用是配置系统定期自动
去执行一些命令,我们可以在此文件中配置定期去删
除过期的连续波形数据文件。
AWS模块服务的配置
• # /etc/crontab - root's crontab for FreeBSD
• # Adjust the time zone if the CMOS clock keeps local
time, as opposed to
• # UTC time. See adjkerntz(8) for details.
• 1,31 0-5 *
*
*
root adjkerntz -a
•0
0
*
*
*
root find
/home/jopens/tank/waveform -type f -ctime +100d
–delete (FreeBSD)
•0
0
*
*
*
root find
• /var/lib/tank/waveform -type f -ctime +100 –delete
(SUSE Linux)
2、数据库表结构更改
• 我们更改了波形数据的分区格式,采用一天一个分区,分区
号采用to_days标记,也就是当天是从0000年以来的第几天,
这样分区号就永远不会重复,SSS流服务在每天00:00分清楚
过期的分区数据,再创建一个新分区存储当天的数据。此更
改涉及到waveform_con和Waveform_event两个表。
• 计算当天的to_days值可登录Mysql后用Mysql语句:
select to_days(now());
+----------------+
| to_days(now()) |
+----------------+
| 734023 |
+----------------+
1 row in set (0.00 sec)
数据库表结构更改
• Waveform_event表结构更改为:
• CREATE TABLE `Waveform_event` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`Net_code` varchar(2) NOT NULL,
`Sta_code` varchar(5) NOT NULL,
`Loc_id` varchar(2) NOT NULL,
`……
• KEY `CL_HASH` (`cl_hash`),
KEY `Channel_id` (`Channel_id`),
KEY `id` (`id`),
KEY `Event_id` (`Event_id`),
KEY `Start_time` (`Start_time`),
KEY `End_time` (`End_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
PARTITION BY RANGE (YEAR(Start_time)) SUBPARTITION BY HASH (cl_hash)
(
PARTITION p2000 VALUES LESS THAN (2000) ENGINE = InnoDB,
PARTITION p2017 VALUES LESS THAN (2001) ENGINE = InnoDB,
……
• PARTITION p2018 VALUES LESS THAN (2018) ENGINE = InnoDB,
PARTITION p2019 VALUES LESS THAN (2019) ENGINE = InnoDB,
PARTITION p2020 VALUES LESS THAN (2020) ENGINE = InnoDB
);
3、RTS实时处理模块的更新
• JOPENS5.2的RTS模块经过优化升级后,增加了FP5触
发检测算法。FP5触发算法的检测参数配置文件为
cfg/FP5Detector.par,该参数文件与NgDetector.par
类似,用户也不必修改其参数。
• 提高了震相组合匹配的效率与Ml震级计算的速度,解
决了RTS占用内存空间释放回收的问题,增加了更多
的事件过滤策略,减少了误报率。内存资源利用效果
更高,RTS运行更稳定,在此基础上,为简化用户的
维护过程,JOPENS5.2版本的RTS再次从RTS-PCIK
和RTS-LOC两个进程合并为一个RTS进程。
4、TraceView模块的更新
• JOPENS5.2版本的TraceView增加波形的实时滤波
功能,可以显示按照原始、近震、远震波形特征滤波
过的波形。
5、JBOSS模块的更新
• JOPENS5.2版本JBOSS删除了波形自动归档功能。
• JBOSS最适合的默认配置写到文件中,如果JOPENS
系统所有软件模块安装在一台机器上,JBOSS目录下
配置文件不需要再修改。
• 如果JOSS与数据库、memcached不是安装在同一
台计算上,那么还需分别到以下文件中修改数据库和
memcached服务的IP地址。
• jopens-ds.xml
• SeedCached.xml文件
6、新增加的Monitor模块
• JOPENS5.2的Monitor模块是单独打包出来的系统监控
模块,JOPENS0.4.3之前的版本中,Monitor模块是挂
载在控制台上运行的。为了系统安装调试的便利,在
此版本的JOPENS中单独打包出此模块。
• JOPENS5.2的监控平台的信号中断报警增加了报警策
略,可以最大限度地减少不必要的报警,但是当系统
或传输链路出现故障时又能及时准确地报警。
7、台站信息配置
台站信息配置
8、编目报告产出
• JOPENS5.2系统增加了在控制台产出符合最新格式规
范的地震台网观测目录功能。
• 编目查询与观测报告生成:
• jboss启动完成后,用浏览器打开地址:
http://jboss_ip:8080/JOPENSCat , 会弹出查询页面,
如下图所示。
8、编目报告产出
8、编目报告产出
• 点击查询,后会显示查询到的目录结果,页面中有生
成观测报告的时间、位置范围、震级范围、及其他参
数可以作为生成报告时的查询条件,当然用户生成观
测报告时不需要每个项目都填,不填写的选项表示不
限制。例如台网生成观测月报时,只需选择月报的起
止日期,选择目录类型为编目结果(C类),点击查
询,就会显示查询到的月报编目目录结果,如下图所
示。
8、编目报告产出
8、编目报告产出
五、 JOPENS 5.2的安装与配置
• FreeBSD系统下的安装与配置
• SUSE Linux系统下的安装与配置
1、在FreeBSD系统下安装JOPENS5.2
• 要求:FreeBSD9.0以上系统
• 一、设置软件源
• #setenv PACKAGESITE
ftp://ftp.freebsd.org/pub/FreeBSD/ports/amd64/pac
kages-9-stable/Latest/
• 二、安装第三方软件(在超级用户下,确保系统接入Internet)
2.1 安装openjdk7
• #pkg_add –r openjdk7
2.2 安装memcached
• #pkg_add –rf memcached
1、在FreeBSD系统下安装JOPENS5.2
2.3 安装Mysql5.5
• #pkg_add –r mysql55-client
• #pkg_add –r mysql55-server
• 创建mysql的工作目录,并复制mysql性能参数文件到mysql目
录
•
•
•
•
#cd /home/
#mkdir mysql
#chown mysql:mysql mysql
#cp /usr/local/share/mysql/my-innodb-heavy-4G.cnf
/home/mysql/my.cnf
在复制过来的my.cnf文件中,注释掉log-bin=mysql.bin这一行
。
1、在FreeBSD系统下安装JOPENS5.2
2.3安装Mysql5.5
• 在/etc/rc.conf文件中加入系统自动启动Mysql的参数
• mysql_enable=“YES”
• mysql_dbdir=“/home/mysql”
• 启动mysql
• #/usr/local/etc/rc.d/mysql-server start
1、在FreeBSD系统下安装JOPENS5.2
• 2.4 创建和挂载online目录
• #mkdir /online
•
编辑/etc/fstab文件,在系统下配置挂载内存文件
系统
• fdesc /dev/fd
fdescfs
rw
0
0
• proc /proc
procfs
rw
0
0
• /dev/md0 /online ufs rw,async 0 0
1、在FreeBSD系统下安装JOPENS5.2
• 三、 安装JOPENS5.2
• 把jopens-freebsd9-ports-0.5.2.tar.gz文件解压到
/usr/ports下
• #tar xvf jopens-freebsd9-ports-0.5.2.tar.gz -C
/usr/ports
• 进到解压生成的目录
• #cd /usr/ports/jopens
• #make install clean
• 这时系统就会自动从JOPENS软件的发布服务器上
下载各个软件模块并自动安装,直到出现“#”提示符
后提示命令执行完毕,系统安装成功。
1、在FreeBSD系统下配置JOPENS5.2
• 四、 配置rc.conf文件
• 配置rc.conf文件,根据情况设定软件各模块的启动参数,需
•
•
•
•
•
•
•
•
要启动的项目,把”NO”改为”YES”。
memcached_enable="YES"
seedlink_enable=”NO”
seedlink_flags=“-Xmx512m”
aws_enable=”YES”
aws_flags=“-Xmx2G”
mdconfig_md0="-t malloc -s 3g" #具体设置多大可根据台
网情况计算,见AWS配置。
mdconfig_md0_owner="jopens"
mdconfig_md0_perms="755"
1、在FreeBSD系统下配置JOPENS5.2
• 五、 修改系统总配置文件 jopens-config.propeters
• 六、初始化数据库(确认mysql已经启动)
• 进入数据库初始化文件所在路径
• # cd /usr/local/jopens/sss/schema/
• #mysql -u root -p –f <jopens-0.5.2-mysql55.sql
• 为网络用户注册访问权限
• #mysql> grant all on jopens.* to
root@'xxx.xxx.xxx.%' identified by 'rootme';
1、在FreeBSD系统下配置JOPENS5.2
•
•
•
•
•
•
•
•
•
•
•
七、 配置数据库中的台站参数
确认系统的/etc/hosts文件中机器名和IP地址关联是否正确
/etc/hosts文件示例如下:
#::1
localhost localhost.gddsn.org.cn
127.0.0.1
localhost localhost.gddsn.org.cn
10.44.**.**
bak.gddsn.org.cn bak
10.44.**.**
bak.gddsn.org.cn.
红色所示的第一行为IPV6的本地地址配置,需要删除或注释
掉这一行。
确认正常后,执行下面一行命令,启动JBOSS
#/usr/local/etc/rc.d/jboss4 start
然后用浏览器访问控制台并配置台网及台站参数。
1、在FreeBSD系统下配置JOPENS5.2
• 八、 配置SSS,根据情况配置SSS的sbox-config.xml
文件,接收相关台站的数据。
• 九、 创建AWS模块数据存储目录。
•
检查jopens-config.properties文件中设定的AWS波
形文件存储的目录是否存在,如果不存在就需用户自
己创建一个目录,目录的路径应与文件中设定的一致
,并且目录允许jopens用户读写。
• 默认FreeBSD系统下的AWS文档路径为:
/home/jopens/tank,如果不存在,则使用以下命令
创建:
• #mkdir /home/jopens/tank
• #chown jopens /home/jopens/tank/
1、在FreeBSD系统下配置JOPENS5.2
• 十、为让AWS系统使用内存文件系统,还需要在tank
目录下建立一个符号链接文件online到内存磁盘。确
认/online目录是否存在,如果不存在就使用下行命名
创建。
• #mkdir /online
• 建立链接
• #ln -sf /online /home/jopens/tank/online
• 可以重启服务器让相关设置生效,相关软件模块自动
启动。如果不希望开机自启动,可也是人工依次启动
软件模块。
1、在FreeBSD系统下配置JOPENS5.2
• 十一、重启计算机使得设定生效,自动启动相关软件模块。
• #reboot
• 十二、 手工启动软件模块(重启过计算机就不必手工启动)
• 启动md内存文件系统管理服务
• /etc/rc.d/mdconfig start #启动内存文件系统
• /etc/rc.d/mdconfig2 start #启动内存文件系统
• FreeBSD系统下JOPENS模块启动命令
•
•
•
/usr/local/etc/rc.d/jopens-sss start
#启动SSS流服务
/usr/local/etc/rc.d/jopens-aws start
#启动AWS流服务
/usr/local/etc/rc.d/jopens-seedlink start #启动
Seedlink2Server
/usr/local/etc/rc.d/jopens-rts start
#启动RTS进程
2、在SUSE Linux系统下配置JOPENS5.2
• 要求:必须在SUSE 11 Linux(64位)以上版本安装。
• 安装前准备:
安装好Linux系统后,卸载掉Linux系统缺省安装的
低版本的MySQL及JDK包,关闭系统防火墙。关掉
Linux系统对的IPv6支持:YaST>Network
Devices>Network Settings>Global Options> 反选
Enable IPv6.
如果是重装JOPENS5.2,需删除之前安装时系统自动
在/var/lib/tank/目录下建立的online目录。
#rm –r /var/lib/tank/online
2、在SUSE Linux系统下配置JOPENS5.2
• 一、Linux系统下安装JOPENS5.2
• 解压jopens-0.5.2-linux.tar.gz软件包:
• #tar –xvf jopens-0.5.2-linux.tar.gz
• JOPENS5.2只发布64位操作系统版本,解压完成后会
生成一个jopens目录,在jopens目录下有一个pkg目录
,一个安装启动脚本,一个卸载脚本。
• # cd jopens
• # ./install
• 命令执行后JOPENS系统就自动开始安装,在安装
的过程中会分别创建jopens用户,并会提示用户创建
密码,直到出现#提示符提示命名执行完毕,这表示
系统安装成功。
2、在SUSE Linux系统下配置JOPENS5.2
• 二、Linux系统下JOPENS模块启动配置
• 注意:如要启动jboss的用户,需要在/etc/init.d/jboss
文件中,把localhost改为网卡实际配置的IP地址。
• JAVA_OPTS=${JAVA_OPTS:-"Djava.rmi.server.hostname=10.44.***.***"}
2、在SUSE Linux系统下配置JOPENS5.2
• 三、编辑系统配置文件
• 编辑/usr/local/jopens/conf/jopens-config.properties
系统总配置文件,根据情况修改相关参数。
• JOPENS5.2配置此文件后,其它模块不需要配置就应
能正常启动服务。
2、在SUSE Linux系统下配置JOPENS5.2
• 四、初始化数据库
• 确认mysql已经正常运行。
• 进入数据库初始化文件所在路径
• # cd /usr/local/jopens/sss/schema/
• #mysql -u root -p –f <jopens-0.5.2-mysql55.sql
• 为网络用户注册访问权限
•
mysql> grant all on jopens.* to
root@‘xxx.xxx.xxx.%' identified by 'rootme';
• (用户手册P175页错误,请更改)
2、在SUSE Linux系统下配置JOPENS5.2
• 五、配置数据库中的台站参数
• 启动JBOSS就启动了JOPENS的控制台,可以通过浏览器登
•
•
•
•
•
•
•
•
陆控制台配置台站参数,但是在启动JBOSS前,请确认系统
的/etc/hosts文件中机器名和IP地址关联是否正确,如果关联
不正确会导致JBOSS不能正常启动运行。
/etc/hosts文件示例如下:
#::1
localhost localhost.gddsn.org.cn
127.0.0.1
localhost localhost.gddsn.org.cn
10.44.**.**
bak.gddsn.org.cn bak
10.44.**.**
bak.gddsn.org.cn
红色所示的第一行为IPV6的本地地址配置,需要删除或注释
掉这一行。
确认正常后,执行下面一行命令,启动JBOSS
#/etc/init.d/jboss4 start
2、在SUSE Linux系统下配置JOPENS5.2
• 六、 配置SSS
• 根据情况配置SSS的sbox-config.xml文件,接收相关台站
的数据。
•
•
•
•
•
•
•
•
七、启动各软件模块
/etc/init.d/jopens-sss start
#启动SSS流服务
/etc/init.d/jopens-aws start
#启动AWS流服务
/etc/init.d/jopens-comserv start #启动ComServ2Server
/etc/init.d/jopens-s2s start
#启动Server2Server
/etc/init.d/jopens-seedlink start
#启动Seedlink2Server
/etc/init.d/jopens-rts start
#启动RTS进程
……
六、 JOPENS 5.2附带工具软件
工具软件
• SM 数据库中台站参数配置工具;
• AutoExportSeedVolume.sh:RTS触发事件波形导出工
具;
• Event2Edas.sh:把JOPENS支持的数据转为evt;
• Event2SAC.sh:把JOPENS支持的数据转为sac;
• DelayRecord.sh:延时计算结果显示;
• Event2Server.sh:事件数据送到流服务;
• MiniSeed2Server.sh:miniSeed格式数据送到流服务;
• MiniSeedArchiverUtil.sh:归档服务器工具
1、SM工具
•
地震台网以前记录到的SEED格式的波形数据文件
或者Dataless文件(Dataless文件可以在JOPENS控制
台的台站信息列表界面生成),使用SM工具从SEED
文件或Dataless文件中导入台站参数,需要注意的是
,文件里台站参数的结束时间必须大于当前时间,否
则SM不导入该参数。
1、SM工具
•
导入参数之前必须保证Mysql数据库和JBOSS正常
运行,并且已经完成jopens数据库的初始化,SM导入
参数时不会导入数据库已经有的台站参数,如果希望
通过SM更新台站参数,则必须先删除数据库中的参数
。因为Seed文件格式里没有仪器类型参数,因此使用
SM导入参数后,还需要人工在控制台配置各台站的仪
器类型,配置完成后运行台站参数检查,确认参数无
误后才可以使用。
1、SM工具
•
•
•
•
•
•
•
•
•
•
•
SM工具在/usr/local/jopens/sm目录下。SM的用法如下:
在/usr/local/jopens/sm目录下可以执行以下命令
1:获取SM用法的帮助信息,了解SM的功能
#./sm.sh -help
2:根据seed文件或dataless文件批量导入所需的台站信息到
数据库:
#./sm.sh -merge2 GD.dataless
# ./sm.sh -merge2 GD.SEED
3:选择性导入台站参数
#./sm.sh -merge2 GD.seed -net GD -loc 00 -sta GZH
4:删除TST台参数
#./sm.sh -delSta -sta TST
2、AutoExportSeedVolume
•
RTS模块检测到地震事件后会往数据库自动提交
触发事件,触发事件的波形数据还在AWS模块存储,
数据库只是存储事件的震相信息和结果信息。本工具
软件是为地震台网导出这些RTS模块触发的地震事件
而开发的。该导出工具可以从归档服务器中导出指定
起始时间和长度的波形数据,也可以自动定时导出指
定条件的事件波形数据,导出的数据格式统一为SEED
。
2、AutoExportSeedVolume
• 配置文件为conf/jopens-config.properties和
utils/AutoExportSeedVolume.xml,其中需要配置的地
方为主要有:
• jopens-config.properties文件需要配置波形归档服务
器的IP地址jopens.aws.host和端口jopens.aws.port,
另外需要配置jboss的ip地址jopens.jboss4.host。
2、AutoExportSeedVolume
• AutoExportSeedVolume.xml需要配置的地方如图所示:
•
2、AutoExportSeedVolume
• AutoExportSeedVolume.sh:事件波形自动导出有两种工作模
式:1.设定条件,每天定时自动导出;2. 定制条件手动导出
。
• 模式1:每天定时自动导出符合设定条件的地震事件波形数据
,此时使用数据库中事件截取的起始时间和长度来导出。直
接运行脚本
• sh AutoExportSeedVolume.sh或者
./AutoExportSeedVolume.sh即可。
2、AutoExportSeedVolume
• 模式2:手动导出时有三种方式导出,可以输入 sh
AutoExportSeedVolume.sh –help查看。输入命令后会有如下
的帮助信息:
•
•
表示按起始时间为“yyy-MM-dd
HH:mm:ss”和长度nsec为参数导出事件波形。
• 表示按目录信息为参数导出事件波形。
• 表示按起始时间和需要导出的天数为参数导出事件波形。
3、DelayRecord.sh
• 地震台站数据传输延时统计软件可以统计计算各台站的数据
延时,该软件统计的数据延时是数据打包延时、传输延时之
和。 DelayRecord软件有两种运行模式:界面模式和字符终
端模式。
• DelayRecord软件启动前不需要配置,只需执行启动脚本即可
运行,然后在软件界面上填写SSS流服务的IP地址、用户名及
密码即可。如图所示:
3、DelayRecord.sh
4、Event2Edas文件格式转换工具
• Event2Edas工具可以批量将某目录下的MSDP可以打开的文
件转换成港震格式的EVT格式文件。
•
•
Event2Edas工具在/usr/local/jopens/utils目录下。
例如:将/usr/local/jopens/seed文件下的seed文件转换成
evt文件并保存在/usr/local/jopens/evt下,可以执行以下命令
:
• #./Event2Edas.sh /usr/local/jopens/seed
/usr/local/jopens/evt
5、Event2SAC文件格式转换工具
• Event2SAC工具可以把JOPENS支持格式的事件文件转换成
SAC格式的文件,Event2SAC有两个参数 -a 和 -b,其中“-a”
表示转换为 ASCII格式的SAC文件,“-b”表示转换为Binary(
二进制)格式的SAC文件。
• 例如:
• (1) 把SEED格式的数据文件转换为ASCII格式的SAC文件
,并保存在/tmp目录下
• #./Event2SAC.sh -a GD.seed /tmp
• (2)把SEED格式的数据文件转为二进制格式的SAC文件,
并存在/tmp下
• #./Event2SAC.sh -b GD.seed /tmp
6、Event2Server工具
• Event2Server工具可以将SEED格式或EVT格式文件的数据发
送到流服务里,用于地震波形事件的回放,还可以通过SSS写
入到数据库中,该功能在软件调试时非常有用。使用
Event2Server工具导入数据时,必须保证Mysql数据库和SSS
流服务正常运行,并且所回放的台站必须包含在SSS提供数据
服务的范围内,
6、Event2Server工具
• 使用此工具需要先在jopens/conf/jopens-config.properties文
件中配置流服务信息:
•
• 在jopens/util/Event2Server.xml文件中配置以下信息即可
•
6、MiniSeed2Server工具
•
MiniSeed2Server工具可以批量将设定目录里miniseed格式
数据依次发送到SSS流服务中,使用MiniSeed2Server工具导入
台站数据时,必须保证Mysql数据库和SSS流服务正常运行。并
且所回放的台站必须包含在SSS提供数据服务的范围内.
• 应用举例:1、地震预警、自动速报系统调试、演示。
•
2、波形数据通过SSS写入数据库,再通过MSDP打
开数据后导出其他格式的数据文件,实现波形数据格式的转换
。
6、MiniSeed2Server工具
•
在jopens/util/ MiniSeed2Server.xml文件中配置以下信息即
可
7、MiniSeedArchiverUtil.sh
• 将Miniseed文件转换成归档服务器aws格式文件,可以用来补
充缺失的数据。
• 应用举例:
• (1) 将流动台记录的数据并入台网记录的数据库中,使用
MSDP打开后就可以进行联合分析。
• (2)如果台站传输链路中断,导致数采记录到的重要数据没
有传回台网中心,那么可以将数采中记录的文件数据通过此工
具写入AWS,这样就可以补齐丢失的那段重要数据。
7、MiniSeedArchiverUtil.sh
•
•
•
•
使用方法:
•
•
•
•
1:BUD类型(美国共享数据类型)
./ MiniSeedArchiverUtil.sh 0|1 poolDir seedDir
参数:
0: SDS类型,jopens的波形归档服务器用这种类型,所以默认
用0
poolDir:缓冲池目录
seedDir:seed文件存放目录
程序运行结束后,将poolDir目录中内容拷贝到归档服务器目录
即可实现补数功能。
结束语
• 我们希望培训完成后,各地震台网都逐步切换到JOPENS5.2来
完成地震台网的工作,培训完成后,我们将只支持JOPENS5.2
的技术咨询与服务工作。
• 我们期望JOPENS5.2能长期稳定地为各地震台网服务。
谢谢!