Transcript 网格计算
网格计算 报告人：李娟 2004、6、11 报告流程 网格原理 网格实现 网格应用 网格原理 何为网格 网格需求 网格要求 网格特点 何为网格－网格问题的来源 网格问题的引出 随着社会的发展，人们的应用需求不断提高，同时原 有问题的求解领域的不断扩展和复杂化，并层出不穷 的涌现出新问题需求，但是现有的计算机和设备无论 从自身的性能还是从局部的合作上都无法满足人们日 益增加的要求，然而由于网络等相关技术的发展，使 得世界各地的计算机可以联网协同工作，利用空闲的 以前无法使用和共享的设备等空闲资源。 何为网格－网格问题的来源 网格思想的来源 网格是借鉴电力网的概念提出的。提出网格的目的就 是能够使得人们在使用网格资源的时候，能够像使用 电力资源一样，自由使用，而不用关心我现在使用的 电力资源是水力发电的还是核电呢，是从哪个发电厂 来得之类的事情。网格也希望给最终用户提供的是与 地理位置无关，与具体的计算设施无关的通用的计算 能力。 电力网和网格组成对比 网格定义： 广义定义： 网格是一个集成的计算与资源环境，或者说是一 个计算资源池。网格能够充分吸纳各种计算资源， 并将它们转化成一种随处可得的、可靠的、标准 的同时还是经济的计算能力。这里的资源除了各 种类型的计算机，还包括网络通信能力、数据资 料、仪器设备、甚至是人等各种相关的资源。 狭义定义： 狭义网格中网络资源主要是指分布的计算机资源， 因而狭义网格一般被称作为计算网格，即主要用 于解决科学与工程计算问题的网格。 网格计算的定义 由于网格定义分为狭义和广义两种，所以 相应的网格计算也分为两种： 广义网格计算：基于网格的问题求解。 狭义的网格计算：就是将分布的计算机组织起来协同 解决复杂的科学与工程计算问题。 网格概念分歧 到目前为止，关于什么是网格和什么是网格计算还没有一个普遍 接受的定义，关于网格概念的分歧和争论仍然存在。 网格就是下一代的Internet。 网格计算就是在动代变化的、拥有多个部门或者团体的复杂虚拟组织 内，灵活、安全的协同资源共享与问题求解。 网格就是方便资源管理，有效支持广域分布的、多领域的科学与工程 问题解决的中间件系统。 网格是建造分布式科学计算环境的一种一体化的集成方法，这一环境 包括计算、数据管理、科学仪器以及人类的协作。 网格是一种无缝的、集成的计算与协作环境。 网络是基于硬件支持的各种服务和功能的提供者。 这些都是目前出现的一些有关网格的定义，它们从不同的角度和 侧重点来阐述了对网格的认识。 网格的发展 萌芽阶段：在90年代早期，主要是千兆网的测试 床，以及一些元计算的实验； 早期实验阶段：在90年代中期到后期，比如IWAY项目，还包括一些学术性的软件项目，比如， Globus，Legion，还有一些应用实验； 迅速发展阶段：2002年以来，出现了大量的应用 社团和项目，主要基础设施的开发的使用，工业 对网格计算的兴趣在增长等，比如IBM， Platfrom，Microsoft，Sun，Compaq等重要的公 司； 目前的研究机构： 国外的研究机构和涉及的网格项目 美国的NASA的IPG项目； 美国能源部和三个国家重点实验室Sandia，Linvermore， LosAlamos共同承担的ASCI计划； 美国军方的GIG项目； 日本的Ninf项目； NCSA的NTG和STARTAP项目以及后续的iGrid项目； 商业的P2P工作组，Avaki，Entropia，Gridware，InSors。 国内的研究机构和涉及的网格项目 中科院牵头的“国家高性能计算环境(NHPCE)”； 清华大学牵头的由教育部支持的重点项目“先进计算基 础设施北京上海试点工程”； 2002年863信息领域高性能计算机及其核心软件项目 网格原理 何为网格 网格需求 网格要求 网格特点 网格需求－－网格为何出现 现有资源和计算能力已经无法满足人们需求和求解问题 的增加。新型资源配置格式应需而生，即网格出现了。 主要有以下方面的原因： 计算的重要性 “计算”与理论和实验并存，并且成为第三种重要的科学研究 方式。其中计算将理论和实验连接起来，成为二者之间的桥梁。 计算已经不再是科学领域中，已经渗透到社会与经济活动中。 问题的需求 随着人们求解问题领域的不断拓展，所遇问题复杂化，规模化， 计算幅度也大幅提高。如天文、生物研究、在线日常事务处理。 相关技术的发展 网络和计算机两方面的共同发展和协同。 网格需求－－网格应用领域 在科学领域，网格可以有如下应用 分布式超级计算 高吞吐率计算 数据密集型计算 社会经济生活领域 基于广泛信息共享的人与人交互 更广泛的资源贸易 网格是一种面向问题和应用的技术，随着网 格技术的不断完善和应用领域的不断扩展，网格 可以在更多的领域得到应用，发挥更大的作用。 网格需求－－网格的应用群体 网格能够出现并且有十分广阔的应用领域， 广大 的应用领域必然有广大的用户群。网格的应用群 体涉及到几乎所有的领域，从尖端的科研到日常 的生活。 科学研究领域： 首先是计算科学家和工程师 其次是实验科学家 社会和经济团体：协会，公司，人类公共问题 研究机构等。 网格原理 何为网格 网格需求 网格要求 网格特点 何为网格－－网格要求 可靠性要求 标准化要求 易访问性要求 价格低廉性 影响网格建设的因素 网格是一个有重要影响的基础设施，网格 基础设施包括硬件、软件和网格组织。关 于如何建造网格，必须遵照一定的原则来 进行。以下是一些网格建设的经验和因素： 国家行为 从局部到整体 利用市场和经济杠杆 网格原理 何为网格 网格需求 网格要求 网格特点 何为网格－－网格特点 作为一种新出现的重要基础设施，从了解 这个设施的特点，可以帮助了解认识和把 握网格。网格的特点如下： （1）分布性 网格特点（2） （2）自相似性 分形模型最重要特征就是自相似性，即整体和局部之间存 在一定的相似性。整体和局部互相体现特征。 网格特点（3） （3）动态性和多样性 动态性包括动态增加和动态减少两个方面 （4）自治性与管理的多重性 网络中的资源首先是归自身所有者拥有的， 网格资源也必须接受网格的统一管理。 网格的自治性是指网格允许资源拥有者对 他的资源有自主的管理能力。 网格管理多重性是指一方面它允许网格资 源的拥有者对资源具有自主性管理，另一方面 又要求网格资源必须接受网格的统一管理。 网格体系结构 体系结构本身就是一个系统的整体框架 结构，通过它从整体上了解一个系统的 构架布局等。 网格体系结构也是如此，我们给出一个 通用意义上的定义：网格体系结构就是 关于如何建造网格的技术。它给出了网 格的基本组成与功能，描述了网格各组 成部分的关系以及它们集成的方式或方 法，刻画了支持网格有效运转的机制。 网格体系结构的精髓 网格体系结构体现了一个分合思想，贯穿两条主 线，一个是“分”，另一个就是“合” 网络体系结构的作用是在一定程度上对网格的解 剖。GA必须要能够标识出网格的基本组成成分， 要能够清楚地说明网格整体是由那些关键部分结 合在一起形成地。GA还必须能够对各个部分地功 能、目的、特点等进行清晰地描述，是人们能够 了解各个组成部分的作用。这是“分”的作用。 “分”的基础之上，GA还需要进一步描述“合” 的功能，即充分了解网格的各个部分的作用机理、 作用方式等的基础上，将分的部分按照一定的方 式进行组织合集成，形成一个特定功能的整体对 外提供服务。 网格体系结构的分类 五层沙漏结构 由Foster等最早提出的，是一个最先出现的应 用和影响最广泛的结构。 OGSA体系结构 开放网格服务结构OGSA(Open Grid Services Architecture)是Global Grid Forum 4的重要标准 建议，是继五层沙漏结构之后最重要，也是目 前最新的一种网格体系结构。是由Foster等结 合Web Service等特定，在IBM带头下提出的新 的网格结构。 网格体系结构（1）－－五层沙漏结构 五层沙漏结构是一种以协议为中心的结构，也十分 强调服务与API（Application Programming Interfaces） 和SDK （Software Development Kits）的重要性。 五层沙漏的基本思想： 共享 互操作 协议 服务 API/SDK 五层划分 网格体系结构（1）－－五层沙漏结构 网格体系结构（1）－－五层结构及其与 TCP/IP协议的比较 网格体系结构（1）－－功能映射示意图 五层结构各部分与globus功能对应关系 网格系统结构（2）－－OGSA OGSA的基本思想有三方面： 是一种以服务为中心的模型 统一的web架构 突破科学领域 网格体系结构（2） －－OGSA服务框架 OGSA是一种以服务为中心的“服务结构”模型。 对其简单的可以描述为：网格服务＝接口/行为＋服务数据 如下图所示： 网格体系结构（2） －－OGSA服务框架 OGSA是一个服务为中心的模型。 以服务为中心，可以简化问题的求解，降低问题的难度， 有很多优点。 局部节点的操作系统和网络接口，底层网络基础 设施以及网格试验床 网格体系结构（2） －－OGSA两大支撑技术 网格技术（即Globus软件包） Globus是一种基于社团的，开放结构，开放源码的服务的 集合，也是支持网格与网格应用的软件库，该工具包解决 了安全，信息发现，资源管理，数据管理，通信，错误检 测以及可移植等问题。 Web Service Web Service 只要是涉及一些协议标准的，主要有SOAP， WSDL，WS－Inspection，UDDI等协议。这些协议之间互 相可以支持。其中关于XML协议是它的工作基础。 网格技术与Web Service关系 网格项目AVAKI认为它俩之间存在着密切的联系，并且归 纳：Web Service的核心是在大的异构网络上将各种应用连 接起来，借助于Web标准UDDI，WSDL和XML/SOAP等将 Internet从一个通信网络进一步发展到一个应用平台。 OGSA应用实例的示意图 网格层次结构：这是一种大家容易理解的、 从网格开发角度体现出来的网格层次结构。 我们通过它来讨论网格技术的内涵 网格技术 网格技术分类 网格应用技术 网格编程技术 网格核心管理技术 网格底层支持技术 以上的网格技术是根据其所处的不同层 次来划分的，相互之间的层次关系在下面 给出。 网格应用技术 分布式超级计算应用 分时广域分布式仪器系统 包括远程可视化以及远程控制等，其核心是网格支持 的远程控制操作。 数据密集型计算 一些科学与工程计算问题的解决 大型的天体物理、人体医学、图像等大型数据库的分 析和处理 远程沉浸 对性能和服务质量有特别的要求，应用于交互的计算 可视化、教育、培训、场景模拟、艺术与娱乐等领域。 网格编程技术 编程支持系统 面向对象技术及Legion 基于商品化技术集成的网格编程 VRML,Java3D,JDBC,CORBA,COM,JavaBean,Web 以及各种网格技术等，一个重要成果是提出了 一个逻辑结构形式。 数值计算编程环境NerSolve 网格核心服务技术 是连接网格底层与高层功能的纽带，是协 调整个网格系统有效运转的中枢。 高性能调度技术 高吞吐率管理技术 数据收集分析技术 可视化技术 安全技术 网格底层支撑技术 网格计算节点的构建技术，计算节点包括计算、通 讯、存储等多种基本的组成元素。计算节点就是由 这些基本的元素组合起来形成的； 网络协议技术：数据传输协议、流协议、组通信协 议、分布式对象协议等； 网格实现 Globus的起源 Globus的发展 Globus的主要功能分化 Globus与网格的关系 Globus的应用实例 Globus的起源 Globus项目是目前国际上最有影响的与网格 计算相关的项目之一； 发起于九十年代中期，最初目的是希望把美 国境内的各个高性能计算中心通过高性能网 络连接起来，方便美国的大学和研究机构使 用，提高高性能计算机的使用效率； 第一个试验环境—I-WAY； Globus的发展 Globus项目是美国Argonne国家实验室的研发 项目，它的发展主要从以下方面来讲： 参加的人员，机构等规模来说； 形成的实践成果：协议标准和工具包源代码等； 应用范围； Globus与网格的关系 Globus对网格的理解 Globus对网格的支持 网格在Globus中的重要体现之处 统一的“虚拟组织”Virtual Organization； 数据共享和互操作方案； 建立支持网格计算的通用协议； 开发支持网格计算的服务； 实现支持网格计算环境的软件开发工具； Globus的功能分化： 网格安全 网格信息获取与分布 网格资源管理 网格远程数据传输 网格实现－－－Globus逻辑结构 Globus安全基础设施 GSI(Grid Security Infrastructure) 主要集中在网络的传输层和应用层 主要目标： 支持在网格计算环境中主体之间的安全通信，防止主体假冒和数据 泄密； 支持跨虚拟组织的安全，这样就不能采用集中管理的安全系统； 支持网格计算环境中用户单点登录，包括跨多个资源和地点的信任 委托和信任转移等。 采用的技术： 加强了与现有分布式安全技术的融合 基于公钥加密体系 有关认证证书：数字签名，主体名称、采用X.509认证等 Secure Sockets Layer(SSL)通信协议等 Globus环境中的安全鉴别过程 Globus中的元计算目录服务MDS MDS(Metacomputing Directory Service) 主要完成对网格计算环境中信息的发现、注 册、查询、修改等工作，提供对网格计算环 境的一个真实、实时的动态反映。其处理的 信息主要是网格计算环境中的各种资源(数据 资源、计算资源等)、服务和其他主体的描述。 主要的实现模块： 网格资源信息服务GRIS 网格目录信息服务GIIS 轻量目录管理协议LDAP Globus中的资源分配管理 主要处理资源请求、执行远程应用执行、 分配资源和管理活动等任务，并根据计 算资源的情况把资源更新信息发送给MDS。 资源分配管理者GRAM 资源描述语言RSL(Resource Specification Language) 动态协同分配器DUROC Globus中的资源分配管理者 位于Globus的最底层，主要 组成部分包括： Gatakeeper：位于资源管理 者或任务管理者所在的节点， 用于与请求资源的用户或用 户代理进行安全鉴别； 任务管理者：对任务请求中 的RSL描述进行解析，然后启 动并监控任务的执行，发送 给用户任务状态信息，随着 任务的结束，其也结束； 资源管理者：检测资源的预 测和使用情况 一般RSL用来描述资源请求和 相关参数。 右边是任务请求的简单执行过程 Globus中的数据管理 主要设计到远程数据传输和远程文件 组成部分： 全局二级存储服务GASS 网格FTP服务GridFTP 支持常见的高性能网格的四种模式：只读，共享写，只添加写和无限 制读写四种访问文件模式。 缺省的移动策略： 特殊的数据传输策略：文件预处理和文件后处理 支持第三方传输，断点续传，并行传输，与GSI相结合的安全认证和 缓存等机制 Globus复制管理Globus Replica Management 复制管理、元数据管理、复制选择和复制与目录管理。 网格应用程序开发工具 不属于Globus工具包，是建立在Globus工具包 之上的高层网格应用开发工具和应用环境。 CoG Kits (Commodity Grid ToolKits) 开发基于网格的特定应用门户站点和各种网格管理应用； MPICH－G2 一个用于网格环境的MPI编程环境和工具，科用于开发基于网格环境的并行程序； Condor－G 在用于集群环境的支持容错的任务调度工具－Condor的基础上，结合Globus工具 包实现的一个支持网格计算环境的任务调度工具和开发环境； MyProxy 提供一个保存、检索和访问与用户相关的安全认证证书的服务器开发工具和环境； 网格应用 分布式超级计算 分布式仪器系统 数据密集型计算 远程沉浸 分布式超级计算(Dsitributed Supercomputing) 网格最主要的应用就是分布式计算了，而且是网 格最初的设计目标。 分布式超级计算是指将分布在不同地点的超级计 算机用高速网络连接起来，并用网格中间件软件 “粘合”起来，形成比单台超级计算机强大得多 的计算平台。 分布式超级计算的执行分类： 按步骤分解 按功能分解 按数据分解 分布式超级计算核心技术： 适应性算法 资源管理调度策略 主要是解决网络的两个属性：带宽和延迟 不同的应用和适应性算法的相关性极大 传统的单机调度 优化的网格调度管理－网络协议和应用程序 容错 检查点(单机、全局) 心跳策略 分布式仪器系统（Distributed Instrumentation System） DIS是指以网格管理分布在各地的贵重仪器系统， 提供远程访问和控制仪器的手段，提高仪器的 利用率，大大方便用户的使用。 网格对DIS造成的影响： 简化对仪器的管理 支持仪器的动态变化 资源动态调度 资源预留服务 数据管理和处理能力提高 提供动态可视化和分析 著名的应用项目：XPort项目 美国能源部资助计划，由多家大学来协同参与实现。 有关高精度X射线结晶学设备的网格项目。 分布式仪器系统的核心技术： 基于网络的海量存贮系统 分布式监控 高性能存贮系统HPSS 分布式并行存贮系统DPSS 远程网络代理：协调管理、分布式监控； 基于策略的访问控制 数字授权文档 系统资源访问控制部件 策略控制引擎 数据密集型计算：（Data Intensive Computing） 数据密集型计算是网格中相对比较广泛的应用。 数据密集型侧重于数据的存贮、传输和处理。 两大研究机构： 欧洲原子能研究机构CERN 美国NPACI 关键数据处理技术： Data Grid DataGrid技术： 负责调度和管理 数据管理 网格监控 构造层的管理 海量存贮管理 远程沉浸 远程沉浸是一种特殊的网格化虚拟现实环境。它建立 在高速网络基础上，是协同可视化环境CVE、音频、视 频会议以及超级计算机及海量数据存贮的有机融合。 是1996年10月，由伊利诺州大学芝加哥分校的电子可 视化实验室EVL（Eletronic Visualization Laboratory）最早提 出的。EVL的负责人是Tom DeFanti。 与协同虚拟环境CVE或分布式虚拟环境DVE不同，网格 不仅使得虚拟环境更为逼真。更重要的是改变了“人/ 机交互”模式为“人/机/协作”模式。 远程沉浸与网格的关系： 远程沉浸是否为网格应用 对高性能计算的要求不高 网络大量资源 动态多机构虚拟组织的资源共享和协同问题解决 对网格的特殊要求 服务质量（Qos）机制 网格编程环境 先进的网络协议 性能监控和度量 资源调度 参考书目： Ian Foster and Carl Kesselman, The Gird: Blueprint for a New Computing Infrastructure. 网格计算，清华大学出版社 W. Allcock, J. Bresnahan, I. Foster, L. Liming, J. Link, P.Plaszczac. GridFTP Update, Technical Report. January 2002. Leigh, J., Johnson, A. and DeFanti, T.A. CAVERN:A Distributer Architecture for Supporti Scalable Persistence and Interoperability in Collaborative Virtual Environments. Virtual Reality: Research, Development and Applications, 2(2).217-237,1997 I. Foster, A. Roy, V.Sander, L.Winkler. End-to-End Quality of Service for High-End Applications. Technical Report I. Foster, C. Kesselman, C. Lee, R. Lindell, K. Nahrstedt, A. Roy. A DistributedResource Management Architecture that Supports Advance Reservations andCo-Allocation. Intl Workshop on Quality of Service, 1999. R. Butler, D. Engert, I. Foster, C. Kesselman, S. Tuecke, J. Volmer, V. Welch. A NationalScale Authentication Infrastructure. IEEE Computer, 33(12):60-66, 2000. H. Stockinger, A. Samar, B. Allcock, I. Foster, K. Holtman, B. Tierney. File and Object Replication in Data Grids. Proceedings of the Tenth International Symposium on High Performance Distributed Computing (HPDC-10), IEEE Press, August 2001. J. Novotny, S. Tuecke, V. An Online Credential Repository for the Grid: MyProxy. Welch. Proceedings of the Tenth International Symposium on High Performance Distributed Computing (HPDC-10), IEEE Press, August 2001. I. Foster, C. Kesselman, J. Nick, S. Tuecke; January, The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration. 2002. Gabrielle Allen, Tom Goodale, Gerd Lanfermann, Thomas Radke, Edward Seidel,Werner Benger, Hans-Christian Hege, Andre Merzky, Joan Massó and John Shalf, Solving Einstein's Equations on Supercomputers, IEEE Computer, 32, (1999) [cover story] Gabrielle Allen, Edward Seidel, John Shalf, Scientific Computing on the Grid, Byte, Spring 2002 Ben Segal, Grid Computing: The European Data Project, IEEE Nuclear Science Symposium and Medical Imaging Conference, Lyon, 15-20 October 2000. H. Stockinger, A. Samar, B. Allcock, I. Foster, K. Holtman, B. Tierney. File and Object Replication in Data Grids. Proceedings of the Tenth International Symposium on High Performance Distributed Computing (HPDC-10), IEEE Press, August 2001. I. Foster, C. Kesselman, S. Tuecke, The Anatomy of the Grid: Enabling Scalable Virtual Organizations. International J. Supercomputer Applications, 15(3), 2001. S. Fitzgerald, I. Foster, C. Kesselman, G. von Laszewski, W. Smith, S. Tuecke. A Directory Service for Configuring High-Performance Distributed Computations. Proc. 6th IEEE Symp. on High-Performance Distributed Computing, pp. 365-375, 1997. J. Novotny, S. Tuecke, V. An Online Credential Repository for the Grid: MyProxy. Welch. Proceedings of the Tenth International Symposium on High Performance Distributed Computing (HPDC-10), IEEE Press, August 2001. 相关的一些链接 美国地球系统网格ESG。http://www.earthsysemgrid.org/ 欧盟数据网格项目DataGrid，http://eu-datagrid.web.cern.ch/eu-datagird/ 美国地震网格NETSgrid。 http://www.neesgrid.org/ http://www.cactuscode.org http://www.cacr.caltech.edu/SFExpress http://www.aps.anl.gov http://www.sdsc.edu/hpss/hpssl.html Web Service工作组，http://www.w3.org/2002/ws/ JXTA Project. Http://www.jxta.org/ Myrinet HomePage. http://www.myri.com/ Access Grid HomePage. http://www.accessgrid.org/ I-WAY Project. http://www.iway.org/ NPACI Project. http://www.npaci.edu/ http://www.cacr.caltech.edu/SFExpress http://www.imaging-nsmc.com.cn/telmedicine/tel.htm The DataGrid Project. http://www.datagrid.cnr.it/ Grid Physics Network..http://www.gridphyn.org/ 美国军事网格GIG. http://www.mitre.org/pubs/edge/july-01/ Foster做的关于网格计算的演讲材料，可以从如下网址下载： http://www-fp.mcs.anl.gov/~foster/Talks/WWWGridsMay2002.ppt http://www-fp.mcs.anl.gov/Talks/GridTutorial.ppt OGSA结构描述，http://www.gridforum.org/ogsiwg/drafts/ogsa_fraft2.9_2002-06-22.pdf http://www.globus.org/ogsa GGF的OGSI工作组， http://www.gridforum.org/ogsi-wg/ Vis5D Home Page, http://www.ssec.wisc.edu/~billh/vis5d.html Cave5D Home Page, http://www.ccpo.odu.edu/~cave5d/homepage.html Cave6D, http://www.evl.uic.edu/akapoor/cave6d/ 863网格计算专项 http://www.863.org.cn/863_105/applygide/applygide2/information2_app/20020627002 4.html Economic GridBhttp://www.csse.monash.edu.au/~rajkumar/thesis/thesis.zip NMI ProjectBhttp://www.nsf-middleware.org/ SinRG ProjectBhttp://icl.cs.utk.edu/sinrg/ Polder ProjectBhttp://www.wins.uva.nl/projects/polder/ MOL ProjectBhttp://www.uni-paderborn.de/pc2/projects/mol/