Transcript 业务部署？
How to Build Cloud Platform Intel SSG DRD EPE Software & Services Group 1 Key Technical Problem - How to Design 宏观： • 架构如何支持大规模数据中心? • 架构如何支持多数据中心的集中管理？ • 设计考虑异构系统的支持 物理机的异构， 实时迁移的局限性， 从而引出高级功能的局限性- 比如基于实时迁移的动态负载均衡 和不中断业务的停机维护等。 微观： • 是否绑定一个VMM?考虑将来对不同VMM的扩展？ • 怎样融入业务的管理？使业务与云平台的交互 • 如何根据需要灵活的定义自己的业务策略？ • 如何在不改变架构的基础上增加新的功能？ Software & Services Group 2 怎样设计架构 – 大规模多数据中心管理 多层次管理 – 增强平台扩展能力 • 中央管理服务器去管理多个“子云”或数据中心 • 很容易扩展到大于2层架构 IT User IT User Management Console Management Console CCMS Cloud Mgmt Service (Central Cloud Mgmt Service) CMS … CMS Managed nodes & groups One-tier Management Two-tier Management Software & Services Group 怎样设计架构 – 如何支持异构系统 1。 2。 3。 4。 同构与异构并存 可以对异构系统统一分类，统一标示，与同构系统加以区分。 同构系统资源池，来满足高级功能 – 实时迁移，动态负载均衡，容灾。。 异构系统资源池，可以实现基础功能 – 静态迁移，静态负载均衡。 同构系统资源池 实时迁移，高级特性 磁盘IO不是密集的应用 异构系统资源池 快速静态迁移 磁盘IO不是密集的应用 资源池,独立主机 慢速静态迁移 磁盘IO密集的应用.(如果 仍无法满足性能,可以考 虑使用VT-d/VT-c) Software & Services Group 怎样设计架构 – 架构的存储考虑 1。 共享存储： 两个层面： - Cloud Service层面：需要有一个共享存储去存储相对稳定业务获软件 模板。为以后业务部署创造条件。 如：操作系统级模板，数据库模板，中间件模板。。。 - 资源池层面：需要有一个共享存储去集中管理虚拟机/业务镜像。另外 可能需要支持高级功能。 - xenserver – COPY-ON-WRITE:增量形式部署,快~. 2。本地存储的利用：- 相对稳定业务 - 特点是分散，而且业务可移植性差。但性能相对好。适用于一些相对稳 定的业务组。 - 由CMS的公共模板库生成业务模板，业务模板放入到资源池中的一台主 机上，由此在资源池内部做部署分发。 Software & Services Group Key Technical Problem - How to Implement • 怎样选定VMM? 稳定？成本？性能？维护？ • 成熟的接口或标准? • 如何测试云平台？ • 测试管理平台的管理能力 – 管理平台性能 • 测试云平台业务服务能力– 虚拟化的性能 Software & Services Group 6 VMM的选择 VMware: 生态链完善，价格昂贵，稳定，新技术更新快，限制第三方。 尽管有免费的ESXi, 但在4.0之后所有的API都从VC提供出来。也就意 味着所有基于Vmware的开发都要先购买VC。 XEN Family: 生态链比较完善 • • • • Opensource: 免费，但不稳定。新技术应用快。 SLES XEN:免费，但不稳定，补丁更新频繁。新技术应用快。 RHEL XEN:免费，策略导向ＫＶＭ。 Ctirx XEN:免费（一年更新一次免费的license）,稳定。但新技术应用慢。 … KVM： RHEL – KVM : 生态链比较少。 我们的云平台需要考虑什么？ - 求稳->价格->自主开发->不绑定 Software & Services Group VMM的选择 – 性能？ Intel虚拟化硬件加速技术发展很快，已经大大降低了虚拟化软件 的性能损耗，虚拟化软件间的性能差别将会越来越小。 处理器层面 VT-x, Flex-Priority, EPT 芯片组层面 VT-d IO设备层面 VMDq, VMDc(VT-c) 所以我们可以利用Intel多种层面的虚拟化技术来解决性能问题。 但要注意的是如何在云平台当中正确有效的使用这些技术。 Software & Services Group 标准及接口的介绍 Distributed Management Task Force (DMTF) OVF – 开放虚拟化格式? 很多VMM开始支持此标准，降低业务的部署复杂度。 要考虑： 此标准格式是否可以满足我们对于业务部署的要求？ libvirt： 可以支持很多VMM，xen/kvm/vmware… 要考虑： 其提供的接口是否足够？ Software & Services Group 测试云平台业务服务能力– 虚拟化的性能 云平台下面的性能测试非常复杂，业务种类多，无法抽象出一个典型应用来测 试。 对于关键业务：Case By Case 来看性能。 • 上线之前：通过一系列完整的测试，可以锁定其所需的资源和最佳配置。 1。vCPU Scale 2。VM Scale 3。网络和磁盘IO的监控：决定未来要使用什么技术来支持大IO的性能。 注意，如果虚拟机内部的连接访问非常频繁，我们可以借助虚拟 机内部网络，加速性能。成功案例：盛大。 • 上线之后：定义策略，动态调整业务组资源。达到按需分配。 非关键，非IO密集型业务，直接上线，缩短上线周期： - 定义策略，实时监控业务组状态，动态调整资源。 云平台的导入可能会颠覆以往的运营模式: 性能测试-〉采购机器-〉上线-〉人工调整资源 转变为: 性能测试->上线->自动/人工调整资源 整体资源池资源紧张->采购新硬件 Software & Services Group Key Technical Problem - How to Deploy • 硬件类型繁多，怎样有效管理，发挥硬件特性 • 业务模板的创建与管理 • 业务集中部署 • 性能考虑，利用虚拟化硬件加速技术提升IO性能，但部署时需 要考虑功能局限性 。 Software & Services Group 11 1 Example Solution HW Load Balancer Move to Virtualization Environment Example Solution HW LoadBalancer 2 Define Management Entity for Cloud APP Server (VM) APP Server (Physical Server) DB Server (VM) DB Server (Physical Server) Physical Server (w/ VMM) HW LoadBalancer Provide Basic Cloud Biz Example Solution APP Server (VM) DB Server (VM) Could manage the solution directly in cloud, not the VM. Intel CFP Physical Server (w/ VMM) HW Load Balancer Example Solution APP Server(VM) DB Server(VM) Write Extended Module for Adv. Solution Mgmt. 4 Configure F5 LB Define Policies for Elastic Computing Configure HW LB Monitor APP Server Status Control APP Server 1. Monitor APP Status If too high Connections 3. Start one APP server Reconfigure HW LB to add this APP into Cluster 2. 4. Intel CFP 3 Provide Adv. Cloud biz Monitor APP Server Status Control APP Server Re-conf. HW LB when add new app server Get the APP runtime status (No. of Connection) Control APP server (stop, start, reset) Physical Server (w/ VMM) 应用示例 Software and Services Group ‹#› 业务集中部署 资源池 共享存储 模板 Index Table CMS 业务模 板库 业务镜像 业务镜像 业务镜像 业务镜像 业务镜像 资源池 模板库存储 独立主机本地存储 通用模 板库 业务镜像 业务镜像 业务镜像 业务镜像 业务模 板库 业务镜像 业务镜像 业务镜像 业务镜像 Software & Services Group Key Technical Problem - How to Operate • 权限管理 - 不同部门拥有不同的执行权力和查询权利 • 业务部署？管理？监控？ – – – – 业务部署需要大量人工操作 业务资源无法根据实际情况按需分配 业务规模无法根据实际情况灵活扩张与收缩 发现业务相关问题无法做出及时自动化反映 • 业务的资源限制？不同业务组其资源是否 可以共享？是否有 公司内部约束？如果有限制，如何去限制？ • 数据中心内资源如何灵活调度？ • 电源管理-节能减排 Software & Services Group 14 权限管理 平台使用者要根据其目的和角色做详细的划分： 运营部门：要有最高的权限去管理整个云平台。 管理层：关心平台资源利用情况，关心平台的部分重要事件。 - 查询性能指标，事件出发提醒。以此来作为购买硬件资源的根据 业务管理部门：业务环境的搭建，业务部署，业务日常管理。 业务发展决策层：关心业务数据中心或资源池的状态. - 查询性能指标，事件出发提醒。以此来作为购买硬件资源的根据 在设计CMS初期要将用户权限管理考虑进去，深入到具体的action内. 在用户和action之间有一个权限的映射关系。我们可以轻松的根据实 际情况改动设置权限。来满足多层次多用户的管理模式。 Software & Services Group 数据中心内资源的灵活调度 某资源池资源紧张 系统收到相应事件,并通知管理员 定义策略时注意，尽量缩小可 调度范围。保证调度策略的正 确执行。例如：经过一段时间 的观察，已知两资源池业务峰 值不同，我们可以在两资源池 间定义调度策略。 查找空闲资源池 从空闲资源池中check out一台物理机 配置相应网络/存储属性，加入到资源紧张资源池 Software & Services Group Software & Services Group 17