Transcript 课件下载
云计算实际案例 outline • • • • • • 案例一：Amazon Web Service 案例二： Yahoo! 案例三： eBay 案例四： Baidu 案例五： IBM 案例六： Google Amazon Web Service • AWS核心服务 – 计算服务 – 存储服务 – 数据库服务 – 消息传送服务 AWS-计算服务 • Amazon Elastic Computing Cloud (EC2) – 要通过虚拟化技术向用户提供计算资源 – 用户可以根据自己的需求动态地申请或停止资 源的使用 • Amazon Elastic MapReduce – 通过在Amazon EC2和Amazon S3上构建Hadoop 框架而实现 AWS-存储服务 • Amazon Simple Storage Service（S3） – 存储容量是可以动态扩展 – 在AWS云上的其他服务也可以直接访问S3上的 数据 AWS-数据库服务 • Amazon SimpleDB – 是基于S3和EC2向用户提供轻量级的数据存储和 查询服务 • Amazon Relational Database Service(RDS) – 用户通过RDS可以使用MySQL所具有的功能 – 还支持Oracle 11g的功能 AWS-消息传送服务 • Amazon Simple Queue Service(SQS) – 提供计算机之间传递和存储消息服务 • Amazon Simple Notification Service(SNS) – 在云中建立、操作和发送通知的Web服务 • Amazon Simple Email Service(SES) – 提供高扩展的大量事务性邮件发送服务 Amazon Web Service • AWS客户广泛，其中包括著名的互联网公司 和创业型公司 • 2010年，AWS部门的收入已达5亿美元，已 经成为Amazon收入的重要组成部分 Yahoo！ • Yahoo!云计算平台上主要有三大利器 – Hadoop – Sherpa – MObStor Hadoop • Yahoo!将Hadoop应用于自己的各项业务和 产品中 – 数据分析、内容优化、反垃圾邮件系统、广告 的优化选择、大数据处理、用户兴趣预测、搜 索排名、广告定位等 • 如：实时服务系统从数据库中读取用户到 兴趣的映射，Hadoop集群则基于最新数据 重新排列内容并更新页面。 Sherpa • Sherpa – Yahoo!的分布式数据存储和服务平台 – 主要针对的是结构化的记录型数据。 – Sherpa平台上最关键的是PNUTS • PNUTS – 大规模并行处理的分布式数据库系统 – 放弃了传统关系型数据库强一致性的要求 – 由Storage Units、Router、Tablet Controller和 Message Broker四部分组成 MObStore • MObStor – 主要用来存储非结构化的二进制大文件 – 对数据提供可靠、安全存储的同时还能向用户 提供快速的响应 – 体系结构分为三层，分别为 • 对象存储层（Object Store Layer） • 本地对象管理层（Local Object Management Layer） • 全局对象储存层（Global Object Management Layer） Yahoo！ • Yahoo!一直推动着Hadoop的发展 • Hadoop中国云计算大会也受到许多人的关 注 eBay • 基于开源云计算框架Hadoop建立了自己的 集群—Athena • 开源云平台项目—Turmeric Athena • 核心层 – 包括Hadoop运行时环境、通用工具和HDFS • MapReduce层 – 为开发和执行任务提供API和控件 • 数据获取层 – 数据获取层的主要框架是HBase、Pig和Hive • 工具、加载库层 – 主要的加载库有：统计库（R）、机器学习库（Mahout）、 数学相关库（Hama）和eBay自己开发的解析网络日志的库 （Mobius） • 监视和警告层 – Ganglia是分布式集群的监视系统，Nagios则用来警告关键事 件如服务器不可达、硬盘已满等。 Turmeric • 面向服务构架的综合平台，用户可以在上 面开发、部署、管理和监控服务 • 核心运行库 – 基于流水线架构，主要用来运行服务和客户端 • 开发工具 – 提供Eclipse插件来帮助创建服务和客户端 • 监控器 – 该监控器包含多个组件：收集客户端和服务端 信息的运行收集组件、数据配置组件、监控节 点信息的服务监控组件以及方便用户查看的控 制台组件 Turmeric • 安全服务 – 提供平台上的安全服务（如验证、授权、组服务等） 与策略服务交互，其中策略遵从XACML（可扩展的 访问控制标记语言）结构和语法。 • 策略管理控制台 – 管理策略的定制 • 仓库服务 – 这是端到端平台上服务注册、附件管理功能的抽象， 具体的功能依赖于下层的仓库产品 • WSDL声明服务 – 通过这项功能用户可以定义服务的WSDL接口 eBay • eBay使用云计算通过构建自己的集群系统 来处理大规模的商品数据和用户需求， • 面对数据的增长，云计算成为互联网公司 的首选 百度 • Hadoop的应用 • 框计算 Hadoop在百度的应用 • 在百度，Hadoop主要应用于以下几个方面： – 日志的存储和统计 – 网页数据的分析和挖掘 – 商业分析，如用户的行为、广告关注度 – 在线数据的反馈，及时得到在线广告的点击情 况 – 用户网页的聚类，分析用户的推荐度及用户之 间的关联度 框计算 • 基于互联网的一站式服务 服务 集成 用户在框中 输入服务需 求 系统识别用 户的需求 需求 分析 基于服务提 供商直接返 回服务 百度 • 框计算确定用户需求后会选择哪个服务提 供者为用户提供服务 – 百度的选择甚至影响一些服务提供商的发展 • 云计算带来的影响不仅限于技术，任何互 联网公司都不能置身事外。 IBM • 云计算解决方案 • 云计算产品 云计算解决方案 • “蓝色洞察力”决策分析云系统 – 处理全球小型交易等业务 • LotusLIve – 使得公司内员工及合作伙伴协作高效化 • 桌面的集中虚拟化 • 提高了控制管理的安全性及维护的方便性 云计算解决方案 • 存储云 – 实现虚拟化储存，将数据储存在一起，有效地节约了 空间 • 数据中心整合 – 里面的应用程序也随之部署在云计算上，实现资源整 合 • 生产研发 – 如在芯片设计时需要昂贵的软件和巨大的计算存储资 源，采用设计制造云后既减少了设计成本提高资源利 用，同时也保证了知识产权的安全。 云计算产品 • IBM在虚拟化和云计算方面拥有众多产品，设计基础设 施层、平台层和应用层 • IBM Ensembles – 将计算、存储、网络等物理资源虚拟成基础设施资源池，隐 藏了内部实现细节向上层提供资源访问和管理的接口 • IBM TSAM – 提供应用服务的管理平台，包括服务的设计、部署和运行管 理整个阶段，实现了硬件到操作系统、中间件的整体管理自 动化 • IBM SmartCloud – 用于数据中心的云服务软件，在向公司用户提供云存储的同 时也提供数据分析、销售管理、测试工具等服务 IBM • IBM使用云计算整合自身的全球资源提供优 质服务 • 基于对云计算的认识，IBM提供公有云、私 有云和混合云多个选项，减少用户对隐私、 安全的顾虑来吸引用户 Google • 云计算技术 • 云计算产品 Google云计算技术 • Google在云计算拥有著名的GFS、Bigtable、MapReduce三大技术 • GFS – 针对数据密集型应用的分布式文件系统 – 运行在廉价硬件环境上并拥有较高的容错性 • Bigtable – 管理海量结构化数据的分布式存储系统 – 提供简单的数据模式动态地控制数据部署 – 通过维护稀疏的多维排序映射表来检索数据 • MapReduce编程模型 – – – – 利用输入键/值 对集输出新的键/值对集 将并行计算细节隐藏 用户只需实现map函数和reduce函数即可 Google云计算产品 • Googl e AppEngine – – – – 一种架构Web应用程序的平台 用户可以利用提供的SDK开发Web应用程序，并将其上传到平台上 Google负责应用的管理和维护 平台还提供网页抓取、图像操作、邮件等多种服务 • 云端应用程序 – Google Docs • 基于Web的文档处理程序 • 支持在线编辑和多人协作 – Google Cloud Connect • 可以直接将本地Microsoft office和云端的Google Docs连结起来 • 文档在本地保存的同时也保存在云中 • 并通过链接向别人分享自己的文档 Google • Google以其先进的技术在云计算发展中处于 领先位置 小结 小结 • 互联网公司 – 云计算的主要提供者和使用者，也是云计算的重要推动者 – 分析和处理海量数据 – 新的商业模式 • 普通用户 – 享受到高性能所带来的服务和便利 • 云计算的问题 – 安全性 • 在云中如何保护用户的隐私并让用户放心？ – 标准化 • 各大IT公司又能否推出统一的标准？ 谢谢！