Transcript Cloud computing, Data center and Virtualization

李振华
[email protected]
提纲
云计算
数据中心
虚拟化
Dropbox：一个综合实例
QQ旋风：一个本土实例
结束语
2
忽如一夜春风来，全球遍地云计算
EC2, S3,
SQS, RDS
Azure,
Office365
GFS,
BigTable,
MapReduce
蓝云,
智慧地球
CloudServers
,
OpenStack
iCloud,
iTunes
第一个商业系统：2006年3月，Amazon EC2 （Elastic Compute Cloud）
第一次正式命名：2006年8月，Google 101教学项目
云计算渗透到各行各业、各种应用
云计算
云数据库
(大数据)
云存储
续上
云视频
云安全
云游戏
云商务
云物联
云计算的三个不同层面
• IaaS
偏重硬件
• PaaS
偏重平台
• SaaS
偏重服务
云计算其实老早就有了……
1946年，世界第一台计算机ENIAC
1973年，Ken Thompson
和Dennis Ritchie开发出
UNIX，也是为分时计算
系统服务的
计算机老贵了，只能大家合着用一台
1961年，MIT开发出CTSS
(Compatible TimeSharing System)，可谓最
早的“云计算”系统
那么为什么没有流行、后来成了个
人电脑（PC）的时代？
因为多媒体应用成为主
流，
但是网速不给力
啊！
个人电脑上
场：
Internet骨干网带宽以及用户接入带宽不断提升
• 15年前，Modem，56 Kbps
• 10年前，ADSL，200 Kbps
• 5年前，ADSL+，1-4 Mbps
• 现在，十二五规划，中国电信
“光纤入户”计划投资6000亿
人民币，实现10-100 Mbps
9
带宽足够了，还差一个契机！
2004年，Amazon网站
估计其业务量会面临一
个“暴增”，于是IT部
门买进大量服务器
然而，这个“暴增”出
现之后又很快回潮，于
是多出了很多很多的空
闲服务器
租有租的问题
：你们家服务器很好、但太贵！我只需要一台
普通配置的就行了。
：你们家服务器太烂！我需要一台超强配置
的。
：我时而需要一台普通配置的，时而需要一台
超强配置的……
我们都不是网络专家，不会自己组网、调
度。
面对高度复杂的用户需求，怎么办？
构建虚拟化的数据中心！
 资源池
1、一台物理机变多台
虚拟机
2、多台物理机变一台
虚拟机
3、虚拟机配置可动态
调整
数据中心
于是，Amazon EC2横空出世！
EC2
EC2
弹性计算云
S3
简单存储云
SimpleDB
简单数据库
RDS
关系数据库
SQS
简单队列服务
CloudFront
内容推送服务
……
……
数据中心
用一组路由器/交换机把一堆服务器连接起来构成一个
联通的网络、提供/对外出租一套统一的服务。
数据中心老早就有了，但
“云”是虚拟化的数据中心！
虚拟化：一个简单的比喻
一个公司有很多资产（土地、
厂房、设备、桌椅、等等），
也有很多人，如何把资产合理
分配给每个人（衡量其贡
献）？
当然不行！
咱们把资产虚拟
化成股票！想怎
么分就怎么分
虚拟化：资源的统一调度
把所有的硬件设备抽象成
“虚拟机”：
* 对于提供方来说——便
于即时配置、统一调度；
* 对于用户来说——便于
自适应扩展、按需付费。
服务器虚拟化
桌面虚拟化
虚拟化：两个身边的实例
“爱奇艺”视频网采用
Vmware + vSphere 进行服
务器虚拟化
建设银行采用Citrix桌面
虚拟化产品XenDesktop
替换所有员工电脑
Dropbox：一个综合实例
• 近年来云存储服务快速流行
-
Google、微软、苹果、百度、……
真正胜出的是一个小公司——Dropbox
Dropbox拥有超过1亿用户、日均存储/更新10亿个文件
创始人Drew Houston
• 1983年生于美国
• 14岁开始编程
• 在MIT读大学时由于经常忘
带U盘、跑回实验室拷文件
• 觉得太麻烦！
• 于是休学创办Dropbox
• 多地点、多系统、多平台同
步存储文件
Dropbox：如何脱颖而出？
在强手如云的云存储领域，小小的
Dropbox何以如此流行、稳居第一？
策略上：租用Amazon S3存放文件内
容，便于廉价、简单、快速地扩展
商业上：不花钱市场推广、不做广
告，利用95%的免费用户进行“病毒
式营销”、赚剩下5%的付费用户钱
技术上：文件差分同步 + 同步前数据压缩
 非常节流！
Dropbox系统架构
自建“Dropbox云”：存放核心用户信息和
文件索引信息，仅使用数百台商品化服务器
QQ旋风：一个本土实例
QQ旋风的功能和迅雷类
似，主要用来下载视频
云下载，又称离线下载
云下载
普通下载
流行的视频下载速度很
高，但问题是那些不流
行视频，特别是P2P方式
的（BT、电驴、磁链）
不仅下载巨慢、很不稳
定，就连能不能下完都
成问题……
云下载的解决方案
•
•
•
•
构造一个集中的云为用户所复用
用户提交完下载请求即可离线
云下载完成即告知用户
云保证用户高速下载且一定成功
eM ule
client
Cloud
BT
client
2. dow nload
……
U ser
4 . retriev e
U ser
3 . n o tify
1 . r eq u e st
In tern et
High data
rate !
U ser
云下载的广告视频
云下载的系统实现
• 663台服务器、73 Gbps带宽 （2011年）
QQ旋风：云转码
• 移动设备数量庞大、远超PC
• 互联网视频多为面向PC
- 格式单一、解析度高、尺寸大
• 给移动设备带来的问题
- 无法支付视频流量（GPRS/3G/4G）
- 视频太大没空间保存
- 强迫本地转码以适应屏幕
- CPU和电池都不够解码大视频
云转码的基本原理
•
•
•
•
移动用户仅提交视频链接和转码需求
云代替用户去互联网下载并按需转码
云保证高速传送给移动用户
只有一个原则：最小化移动用户的资源消耗！
云转码的广告视频
云计算四大优势
云计算
凝固的硬件  灵活的“资
源”
极大地缩减了企业IT支出
极大地降低了创业门槛
和移动互联网、物联网、
广电网等等深度融合
易扩展、自适应！
按需付费，用多少资源花多少
钱！
让创业者把心思放在内容和商
业模式上，无需担心技术架
构！
成为它们坚实可靠的后
台！
28
结束语
云计算还处在起步阶
段，
核心技术都在美国企
业，
国内技术前景大大地
有！
附1：课件相关论文
• Above the Clouds: A Berkeley View of Cloud
Computing
- Berkeley TechReport’09
• MapReduce: Simplified Data Processing on Large
Clusters
- OSDI’04
• A Scalable, Commodity Data Center Network
Architecture
- SIGCOMM’08
附2：课后阅读论文
• Xen and the Art of Virtualization
- SOSP’03
• Dynamo: Amazon’s Highly Available Key-value Store
- SOSP’07
• Cloud Computing and Emerging IT Platforms: Vision,
Hype, and Reality for Delivering Computing as the 5th
Utility
-《Computer Communications》’09