Transcript 以云计算技术构建环境数据中心

四川环境信息资源中心建设总体
思路探讨
——以云计算技术构建环境数据中心
四川省环境信息中心
力
陈
以云计算技术构建环境数据中心
摘
要
 以云计算技术构建环境数据中心，可以实现整合来自各种
环境业务应用系统中的数据，以建设数据仓库为基础，利
用ETL、OLAP 等数据处理和加工工具，对数据进行整理、
转换、匹配、校验、整合和分析，使环境数据标准化，并
通过统一的接口实现环境数据的共享和综合利用，解决“
信息孤岛”问题。通过虚拟化与云计算技术，实现IT资源
的按需动态分配，并将各种计算资源以服务的形式提供给
业务系统，解决“资源孤岛”问题，节约大量投资，减少
系统运行成本。
2
以云计算技术构建环境数据中心
引
言
随着我国经济的高速发展，环境质量整体恶化，污染
物排放总量居高不下，大大超出环境容量。
党中央、国务院从治国理念的高度把环境保护摆上了
更加突出的重要位置。
“十一五”期间一系列重大建设项目的实施，环境信
息化建设取得了显著成效。
以云计算技术构建环境数据中心
本文是在以环保的核心问题“数据来源”基础上，
结合当前环境信息化的实际情况，提出构建标准统
一、接口开放、可持续扩展的环境数据中心，并探
讨依托当前信息技术发展主流趋势的“云计算”技
术来构建环境数据中心的建设思路和方法。
以云计算技术构建环境数据中心
第一章
析
环境信息化建设现状分析
一、环境信息化建设现状分析
建成了涵盖部、省、市三级的“国控重点污染源自
动监控系统”；
建成了覆盖“部、省、市、县”四级联通的环保专
网；
即将建成：“减排应用支撑平台”、“建设项目管
理”、“环境统计业务系统”、“数据传输与交换
平台”、“GIS地理信息系统平台”。
一、环境信息化建设现状分析
 从环境管理业务的角度来看，现有的环境数据管理
和应用主要存在如下两方面的问题：
环境数据来源复杂，多数环境数据分散于各部门，没有
统一的元数据标准，缺乏应有的处理和加工，难以进行
共享和应用；
不同的环境管理业务涉及的管理对象存在不同程度的重
叠，但对应的信息系统却相互独立，造成系统内数出多
门、一数多源，相互矛盾的事情时有发生。
一、环境信息化建设现状分析
 从信息化的角度出发，环境信息化所面临的最大问
题是“信息孤岛”，主要表现在以下几个方面：
数据难以共享，不一致，真实性、可靠性低；
缺乏统一的标准；
数据分散存放，不安全；
数据难以转化为信息和知识，难以在环境管理中发
挥应有的作用。
一、环境信息化建设现状分析
 利用当前较成熟的IT技术手段来建设环境数据中心，
能够全面整合环境数据，彻底消除“信息孤岛”，
实现环境数据的和谐共享，同时可以纠正数据自身
的问题，避免“数出多门”，真正摸清“家底”。
以云计算技术构建环境数据中心
第二章
析
环境数据中心定义及建设目标
二、环境数据中心定义及建设目标
1. 环境数据中心是环境信息资源整合的核心
环境数据中心建设重点强调环境数据集中管理
和环境信息资源整合，其采用集中与分布相结合的
方式管理环境数据，是环境信息资源数据的存储中
心、管理服务中心、共享交换中心以及环境管理决
策的支持中心。
二、环境数据中心定义及建设目标
二、环境数据中心定义及建设目标
2.
环境数据中心建设的目标
建立统一的标准规范；
实现数据的和谐共享；
联合监管污染源；
提供更有效、有力、科学的决策依据。
以云计算技术构建环境数据中心
第三章
析
环境数据中心技术架构
三、环境数据中心技术架构
 环境数据中心的技术架构设计如下图:
三、环境数据中心技术架构
1. SOA面向服务的体系结构
 环境数据中心的建设是一项大型和复杂的系统
工程，需要实现多个应用系统的集成，各个应
用系统之间需要进行数据交换和整合，因此每
个子系统的设计应该遵循面向服务的体系结构，
使各个子系统之间可以完整地集成在一起；
 面向服务的体系结构（SOA）表示如何合理的
使用 Web 服务。
三、环境数据中心技术架构
2. 基于Web Service的数据调用机制
 Web Services是指以一种松散的服务捆绑
集合形式，能够快速、低代价地开发、发
布、发现和动态绑定应用；
 Web Services可以实现应用程序之间的函
数或方法级的集成。
三、环境数据中心技术架构
3. 基于XML的数据交换规范
 XML是一种数据交换格式，允许在不同的系统
或应用程序之间交换数据，通过一种网络化的
处理机构来遍历数据，每个网络节点存储或处
理数据并且将结果传输给相邻的节点；
 是一组用于设计数据格式和结构的规则和方法，
易于生成便于不同的计算机和应用程序读取的
数据文件。
三、环境数据中心技术架构
4. 基于ETL过程实现数据的有效整合
 ETL过程是环境数据中心建设的关键步骤，利
用ETL工具实现各业务的异构数据库系统和文
本、电子表格等文件系统格式的数据整合和集
成，并针对具体的每个分系统编写具体的数据
转换代码，来一起完成从原始数据采集、错误
数据清理、异构数据整合、数据结构转换、数
据转储和数据定期刷新的全部过程。
三、环境数据中心技术架构
5. 基于数据仓库技术的建模机制
 环境数据中心已经集成了相对丰富的各类环境
业务数据，这些业务系统大多是OLTP系统(联
机事务处理系统)，这些系统中积累了大量的
历史环境数据；
 关键问题：环境数据中心在现有数据库系统的
基础上应用数据仓库技术
以云计算技术构建环境数据中心
第四章
析
环境数据中心建设内容
四、环境数据中心建设内容
 环境数据中心建设是一项复杂的系统工程，
其建设内容如下：
1.
完成基础信息采集及共享
完成数据资源规划，收集、采集各类数
据源，完成公共代码、污染源代码、污染源
主数据梳理，通过共享接口、基础档案应用
等功能实现环境基础信息的充分共享利用。
四、环境数据中心建设内容
2.
源
建立数据仓库整合环境数据资
完成数据资源规划，收集、采集各类数据
源，完成公共代码、污染源代码、污染源主数
据梳理，通过共享接口、基础档案应用等功能
实现环境基础信息的充分共享利用。
3.
完成数据分析应用
通过数据仓库和ＢＩ技术，建设各类分析
专题，为各级环境管理应用提供决策数据支持。
四、环境数据中心建设内容
4.
无缝集成业务数据与空间数据
将GIS的空间数据和环境业务数据通过业务
对象的唯一编码实现空间数据和业务属性数据
的关联，从而实现空间数据和环境业务数据的
无缝集成。
5.
性
采用开放式体系结构确保其可扩展
环境数据中心建设应统筹规划，分步实施，
与未来环境信息化的宏观发展规划相适应。
以云计算技术构建环境数据中心
第五章
析
云计算技术构建环境数据中心
五、云计算技术构建环境数据中心
 传统数据中心的不足
1. 资源利用率低
造成服务器资源利用率低的主要原因是
各个业务部门在提出业务应用需求时，都在
单独规划、设计其业务应用的运行环境，并
且按照最大业务规模的要求进行系统容量的
规划和设计。
五、云计算技术构建环境数据中心
 传统数据中心的不足
2.
资源孤岛
根据业务系统的要求建设相应软硬件设施
的传统数据中心建设模式，则从系统资源上导
致了“资源孤岛”。传统数据中心建设模式很
难从整体基础架构的角度来考虑资源分配及使
用的合理性，因此从基础设施的角度来看应用
系统，它们还是一个个独立的“烟囱”。
五、云计算技术构建环境数据中心
 “烟囱”型的基础设施
五、云计算技术构建环境数据中心
 传统数据中心的不足
3.
增加资源管理开销
传统数据中心资源配置和部署过程多采用
人工方式，没有相应的平台支持，使大量人力
资源耗费在繁重的重复性工作上，没有自服务
和自动部署的能力。因此，对业务部门的需求
往往无法做到及时响应和准确有效，并极大的
增加了资源管理的难度和投入。
五、云计算技术构建环境数据中心
 什么是云计算
美国国家技术和标准研究院（NIST，National
Institute of Standards and Technology）将云计算定义为：
“云计算是一个提供便捷的可通过网络访问一个可
定制的计算资源共享池能力的模式（计算资源包括
网络，服务器，存储，应用和服务）；这些资源能
够快速部署，并只需要很少的管理工作或与服务供
应商很少的交互。”
五、云计算技术构建环境数据中心
 简而言之，云计算就是信息技术作为服务（IT
as a Service）的一种计算供应和消费方式。
其特征主要表现在如下几个方面：
 云计算强调资源的共享，而不是独占;
 云计算强调的是资源集中，而不是分散;
 云计算强调的是一种服务，而不是技术;
 云计算强调动态资源配置，而不是静态资源分配;
 云计算强调的是专业分工，而不是事必躬亲。
五、云计算技术构建环境数据中心
 云计算的技术架构
五、云计算技术构建环境数据中心
 传统IT的资源使用模型
五、云计算技术构建环境数据中心
 云计算的资源使用模型
五、云计算技术构建环境数据中心
 使用云计算技术构建环境数据中心
 数据中心建设的未来发展方向是对传统数据
中心进行虚拟化和云计算架构的转型，不断
提高IT基础设施的灵活性，降低硬件、能源
和空间等成本，从而让用户能够快速响应业
务需求，提高业务敏捷性；
 云计算技术能提高IT基础设施资源的利用效
率，提升基础设施的应用和管理水平，实现
计算资源的动态优化。
五、云计算技术构建环境数据中心
 云计算技术构建数据中心主要有以下特点：
 集中管理环境数据中心的硬件资源，包括服务器，
存储和网络等；
 可以动态分配服务资源；
 用户可以根据需求自助申请计算资源，平台根据
SLA和用户付费情况，决定审批结果；
 应用管理，服务度量计费和SLA（Service-Level
Agreement）等；
 提供高效的数据存储和安全的灾备服务。
五、云计算技术构建环境数据中心
 云计算技术构建环境数据中心的逻辑架构
五、云计算技术构建环境数据中心

云计算环境数据中心的建设思路：
在省、市已建成并投入运行的“国控重点污染
源自动监控中心”基础上，使用虚拟化和云计算技
术，在建设“省控重点污染源自动监控中心”的过
程中，将现有的软、硬件IT基础资源进行整合，建
成省、市两级环保部门的私有云，并将环境数据中
心虚拟化和云化，在整合IT基础资源的私有云平台
上，建成四川省“云计算环境数据中心”。
以云计算技术构建环境数据中心
第六章
析
云计算环境数据中心在环境保护
工作中的应用和意义
六、云计算环境数据中心的应用意义
 提升各级环保部门对环境数据管理和应用的
综合水平，可实现如下应用：
 环境数据资源目录服务、环境数据资源目录管理系
统；
 “一源一档”的污染源档案管理系统；
 环境质量分析系统；
 污染源分析系统；
 基于环保“一张图”理念的空间信息共享服务平台
六、云计算环境数据中心的应用意义
 相较传统的业务系统建设和环境数据应用模
式，云计算环境数据中心具有如下的优势：
1. 提供集中化、基于策略的环境数据和IT资源管理模
式，节约了系统管理成本和人力投资；
2. 将IT基础资源虚拟化，可智能的调配IT资源来支持
环境业务系统的运行，既能快速应对业务需求变化，
又能最大化利用IT基础资源，减少软硬件的重复采
购投资；
六、云计算环境数据中心的应用意义
 相较传统的业务系统建设和环境数据应用模
式，云计算环境数据中心具有如下的优势：
3. 云平台将保证环境业务系统的不间断运行，并提供
多重的数据存储和灾难恢复机制，使应用系统和数
据资源获得更多的安全保障；
4. 提供统一的数据集成和管理方案，通过跨区域的数
据整合共享，形成环境管理的数据基础，使用业务
系统及相关的报表分析工具，为领导决策与应急处
理工作提供定量化与精细化的管理依据。
六、云计算环境数据中心的应用意义
 相较传统的业务系统建设和环境数据应用模
式，云计算环境数据中心具有如下的优势：
5. 提供统一的数据发布平台，可及时发布污染源防
控信息，解释相关法律政策，普及环保基础知识，
发动公众监督力量，实现环保部门与社会公众的
交流沟通，提升环保部门的社会服务形象。
以云计算技术构建环境数据中心
第七章
析
云计算技术展望
七、云计算技术展望
云计算技术是未来信息资源整合、系统动
态部署的潮流和趋势，在将来，更多的“环保
云”将为环境保护工作增加助力
 建设“环保基础设施云”；
 建设“环保基础信息云”；
 建设“环保基础业务云”；
 建设“污染源自动监控云”。
以云计算技术构建环境数据中心
谢 谢
四川省环境信息中心