以云计算技术构建环境数据中心

Download Report

Transcript 以云计算技术构建环境数据中心

四川环境信息资源中心建设总体
思路探讨
——以云计算技术构建环境数据中心
四川省环境信息中心
力
陈
以云计算技术构建环境数据中心
摘
要
 以云计算技术构建环境数据中心,可以实现整合来自各种
环境业务应用系统中的数据,以建设数据仓库为基础,利
用ETL、OLAP 等数据处理和加工工具,对数据进行整理、
转换、匹配、校验、整合和分析,使环境数据标准化,并
通过统一的接口实现环境数据的共享和综合利用,解决“
信息孤岛”问题。通过虚拟化与云计算技术,实现IT资源
的按需动态分配,并将各种计算资源以服务的形式提供给
业务系统,解决“资源孤岛”问题,节约大量投资,减少
系统运行成本。
2
以云计算技术构建环境数据中心
引
言
随着我国经济的高速发展,环境质量整体恶化,污染
物排放总量居高不下,大大超出环境容量。
党中央、国务院从治国理念的高度把环境保护摆上了
更加突出的重要位置。
“十一五”期间一系列重大建设项目的实施,环境信
息化建设取得了显著成效。
以云计算技术构建环境数据中心
本文是在以环保的核心问题“数据来源”基础上,
结合当前环境信息化的实际情况,提出构建标准统
一、接口开放、可持续扩展的环境数据中心,并探
讨依托当前信息技术发展主流趋势的“云计算”技
术来构建环境数据中心的建设思路和方法。
以云计算技术构建环境数据中心
第一章
析
环境信息化建设现状分析
一、环境信息化建设现状分析
建成了涵盖部、省、市三级的“国控重点污染源自
动监控系统”;
建成了覆盖“部、省、市、县”四级联通的环保专
网;
即将建成:“减排应用支撑平台”、“建设项目管
理”、“环境统计业务系统”、“数据传输与交换
平台”、“GIS地理信息系统平台”。
一、环境信息化建设现状分析
 从环境管理业务的角度来看,现有的环境数据管理
和应用主要存在如下两方面的问题:
环境数据来源复杂,多数环境数据分散于各部门,没有
统一的元数据标准,缺乏应有的处理和加工,难以进行
共享和应用;
不同的环境管理业务涉及的管理对象存在不同程度的重
叠,但对应的信息系统却相互独立,造成系统内数出多
门、一数多源,相互矛盾的事情时有发生。
一、环境信息化建设现状分析
 从信息化的角度出发,环境信息化所面临的最大问
题是“信息孤岛”,主要表现在以下几个方面:
数据难以共享,不一致,真实性、可靠性低;
缺乏统一的标准;
数据分散存放,不安全;
数据难以转化为信息和知识,难以在环境管理中发
挥应有的作用。
一、环境信息化建设现状分析
 利用当前较成熟的IT技术手段来建设环境数据中心,
能够全面整合环境数据,彻底消除“信息孤岛”,
实现环境数据的和谐共享,同时可以纠正数据自身
的问题,避免“数出多门”,真正摸清“家底”。
以云计算技术构建环境数据中心
第二章
析
环境数据中心定义及建设目标
二、环境数据中心定义及建设目标
1. 环境数据中心是环境信息资源整合的核心
环境数据中心建设重点强调环境数据集中管理
和环境信息资源整合,其采用集中与分布相结合的
方式管理环境数据,是环境信息资源数据的存储中
心、管理服务中心、共享交换中心以及环境管理决
策的支持中心。
二、环境数据中心定义及建设目标
二、环境数据中心定义及建设目标
2.
环境数据中心建设的目标
建立统一的标准规范;
实现数据的和谐共享;
联合监管污染源;
提供更有效、有力、科学的决策依据。
以云计算技术构建环境数据中心
第三章
析
环境数据中心技术架构
三、环境数据中心技术架构
 环境数据中心的技术架构设计如下图:
三、环境数据中心技术架构
1. SOA面向服务的体系结构
 环境数据中心的建设是一项大型和复杂的系统
工程,需要实现多个应用系统的集成,各个应
用系统之间需要进行数据交换和整合,因此每
个子系统的设计应该遵循面向服务的体系结构,
使各个子系统之间可以完整地集成在一起;
 面向服务的体系结构(SOA)表示如何合理的
使用 Web 服务。
三、环境数据中心技术架构
2. 基于Web Service的数据调用机制
 Web Services是指以一种松散的服务捆绑
集合形式,能够快速、低代价地开发、发
布、发现和动态绑定应用;
 Web Services可以实现应用程序之间的函
数或方法级的集成。
三、环境数据中心技术架构
3. 基于XML的数据交换规范
 XML是一种数据交换格式,允许在不同的系统
或应用程序之间交换数据,通过一种网络化的
处理机构来遍历数据,每个网络节点存储或处
理数据并且将结果传输给相邻的节点;
 是一组用于设计数据格式和结构的规则和方法,
易于生成便于不同的计算机和应用程序读取的
数据文件。
三、环境数据中心技术架构
4. 基于ETL过程实现数据的有效整合
 ETL过程是环境数据中心建设的关键步骤,利
用ETL工具实现各业务的异构数据库系统和文
本、电子表格等文件系统格式的数据整合和集
成,并针对具体的每个分系统编写具体的数据
转换代码,来一起完成从原始数据采集、错误
数据清理、异构数据整合、数据结构转换、数
据转储和数据定期刷新的全部过程。
三、环境数据中心技术架构
5. 基于数据仓库技术的建模机制
 环境数据中心已经集成了相对丰富的各类环境
业务数据,这些业务系统大多是OLTP系统(联
机事务处理系统),这些系统中积累了大量的
历史环境数据;
 关键问题:环境数据中心在现有数据库系统的
基础上应用数据仓库技术
以云计算技术构建环境数据中心
第四章
析
环境数据中心建设内容
四、环境数据中心建设内容
 环境数据中心建设是一项复杂的系统工程,
其建设内容如下:
1.
完成基础信息采集及共享
完成数据资源规划,收集、采集各类数
据源,完成公共代码、污染源代码、污染源
主数据梳理,通过共享接口、基础档案应用
等功能实现环境基础信息的充分共享利用。
四、环境数据中心建设内容
2.
源
建立数据仓库整合环境数据资
完成数据资源规划,收集、采集各类数据
源,完成公共代码、污染源代码、污染源主数
据梳理,通过共享接口、基础档案应用等功能
实现环境基础信息的充分共享利用。
3.
完成数据分析应用
通过数据仓库和BI技术,建设各类分析
专题,为各级环境管理应用提供决策数据支持。
四、环境数据中心建设内容
4.
无缝集成业务数据与空间数据
将GIS的空间数据和环境业务数据通过业务
对象的唯一编码实现空间数据和业务属性数据
的关联,从而实现空间数据和环境业务数据的
无缝集成。
5.
性
采用开放式体系结构确保其可扩展
环境数据中心建设应统筹规划,分步实施,
与未来环境信息化的宏观发展规划相适应。
以云计算技术构建环境数据中心
第五章
析
云计算技术构建环境数据中心
五、云计算技术构建环境数据中心
 传统数据中心的不足
1. 资源利用率低
造成服务器资源利用率低的主要原因是
各个业务部门在提出业务应用需求时,都在
单独规划、设计其业务应用的运行环境,并
且按照最大业务规模的要求进行系统容量的
规划和设计。
五、云计算技术构建环境数据中心
 传统数据中心的不足
2.
资源孤岛
根据业务系统的要求建设相应软硬件设施
的传统数据中心建设模式,则从系统资源上导
致了“资源孤岛”。传统数据中心建设模式很
难从整体基础架构的角度来考虑资源分配及使
用的合理性,因此从基础设施的角度来看应用
系统,它们还是一个个独立的“烟囱”。
五、云计算技术构建环境数据中心
 “烟囱”型的基础设施
五、云计算技术构建环境数据中心
 传统数据中心的不足
3.
增加资源管理开销
传统数据中心资源配置和部署过程多采用
人工方式,没有相应的平台支持,使大量人力
资源耗费在繁重的重复性工作上,没有自服务
和自动部署的能力。因此,对业务部门的需求
往往无法做到及时响应和准确有效,并极大的
增加了资源管理的难度和投入。
五、云计算技术构建环境数据中心
 什么是云计算
美国国家技术和标准研究院(NIST,National
Institute of Standards and Technology)将云计算定义为:
“云计算是一个提供便捷的可通过网络访问一个可
定制的计算资源共享池能力的模式(计算资源包括
网络,服务器,存储,应用和服务);这些资源能
够快速部署,并只需要很少的管理工作或与服务供
应商很少的交互。”
五、云计算技术构建环境数据中心
 简而言之,云计算就是信息技术作为服务(IT
as a Service)的一种计算供应和消费方式。
其特征主要表现在如下几个方面:
 云计算强调资源的共享,而不是独占;
 云计算强调的是资源集中,而不是分散;
 云计算强调的是一种服务,而不是技术;
 云计算强调动态资源配置,而不是静态资源分配;
 云计算强调的是专业分工,而不是事必躬亲。
五、云计算技术构建环境数据中心
 云计算的技术架构
五、云计算技术构建环境数据中心
 传统IT的资源使用模型
五、云计算技术构建环境数据中心
 云计算的资源使用模型
五、云计算技术构建环境数据中心
 使用云计算技术构建环境数据中心
 数据中心建设的未来发展方向是对传统数据
中心进行虚拟化和云计算架构的转型,不断
提高IT基础设施的灵活性,降低硬件、能源
和空间等成本,从而让用户能够快速响应业
务需求,提高业务敏捷性;
 云计算技术能提高IT基础设施资源的利用效
率,提升基础设施的应用和管理水平,实现
计算资源的动态优化。
五、云计算技术构建环境数据中心
 云计算技术构建数据中心主要有以下特点:
 集中管理环境数据中心的硬件资源,包括服务器,
存储和网络等;
 可以动态分配服务资源;
 用户可以根据需求自助申请计算资源,平台根据
SLA和用户付费情况,决定审批结果;
 应用管理,服务度量计费和SLA(Service-Level
Agreement)等;
 提供高效的数据存储和安全的灾备服务。
五、云计算技术构建环境数据中心
 云计算技术构建环境数据中心的逻辑架构
五、云计算技术构建环境数据中心

云计算环境数据中心的建设思路:
在省、市已建成并投入运行的“国控重点污染
源自动监控中心”基础上,使用虚拟化和云计算技
术,在建设“省控重点污染源自动监控中心”的过
程中,将现有的软、硬件IT基础资源进行整合,建
成省、市两级环保部门的私有云,并将环境数据中
心虚拟化和云化,在整合IT基础资源的私有云平台
上,建成四川省“云计算环境数据中心”。
以云计算技术构建环境数据中心
第六章
析
云计算环境数据中心在环境保护
工作中的应用和意义
六、云计算环境数据中心的应用意义
 提升各级环保部门对环境数据管理和应用的
综合水平,可实现如下应用:
 环境数据资源目录服务、环境数据资源目录管理系
统;
 “一源一档”的污染源档案管理系统;
 环境质量分析系统;
 污染源分析系统;
 基于环保“一张图”理念的空间信息共享服务平台
六、云计算环境数据中心的应用意义
 相较传统的业务系统建设和环境数据应用模
式,云计算环境数据中心具有如下的优势:
1. 提供集中化、基于策略的环境数据和IT资源管理模
式,节约了系统管理成本和人力投资;
2. 将IT基础资源虚拟化,可智能的调配IT资源来支持
环境业务系统的运行,既能快速应对业务需求变化,
又能最大化利用IT基础资源,减少软硬件的重复采
购投资;
六、云计算环境数据中心的应用意义
 相较传统的业务系统建设和环境数据应用模
式,云计算环境数据中心具有如下的优势:
3. 云平台将保证环境业务系统的不间断运行,并提供
多重的数据存储和灾难恢复机制,使应用系统和数
据资源获得更多的安全保障;
4. 提供统一的数据集成和管理方案,通过跨区域的数
据整合共享,形成环境管理的数据基础,使用业务
系统及相关的报表分析工具,为领导决策与应急处
理工作提供定量化与精细化的管理依据。
六、云计算环境数据中心的应用意义
 相较传统的业务系统建设和环境数据应用模
式,云计算环境数据中心具有如下的优势:
5. 提供统一的数据发布平台,可及时发布污染源防
控信息,解释相关法律政策,普及环保基础知识,
发动公众监督力量,实现环保部门与社会公众的
交流沟通,提升环保部门的社会服务形象。
以云计算技术构建环境数据中心
第七章
析
云计算技术展望
七、云计算技术展望
云计算技术是未来信息资源整合、系统动
态部署的潮流和趋势,在将来,更多的“环保
云”将为环境保护工作增加助力
 建设“环保基础设施云”;
 建设“环保基础信息云”;
 建设“环保基础业务云”;
 建设“污染源自动监控云”。
以云计算技术构建环境数据中心
谢 谢
四川省环境信息中心