Transcript 课程介绍 - PG 在线编程

课程介绍
网络存储与系统虚拟化技术
Network Storage and System
Virtualization Technology
北京大学信息科学技术学院
网络与信息系统研究所
系统虚拟化及空间信息技术实验室（http://gis.pku.edu.cn）
Why This Course
 自1996年以来信息量每半年增长一倍。
 权威调查机构的研究表明，目前世界大公司的年度存储需求增长
率为100%。
 存储设备已不再是服务器附带的外围设备，它们已经有了与服务
器等分庭抗礼的地位。
 据有关统计2002年用户在服务器和存储产品上的花费比例已经达
到1:1，而到2003年，这一比例达到1:3。
 2000年全球存储市场总值已达356亿美元。
 大数据时代的到来，存储是其首当其冲的问题。
 ……
 存储技术发展日新月异，社会对存储方面的人才需求逐年扩大。
 学习存储技术是信息技术发展的需要，特别是适应信息快速增长
的需要。
http://ncis.pku.edu.cn
Why This Course
 计算能力在快速增长：天河一号，千万亿次，Top1
1千万亿次
1万亿次
2020/4/28
http://ncis.pku.edu.cn
3
Why This Course
 计算系统利用率不高！



“多数用户承认，计算
系统平均利用率只有
25%～30%”
Dan Herington
HP虚拟化技术首席科学家
性能测试报告，来
自权威性能测试机
构Metron's Athene
对一个计算系统进
行两天监测的数据
2020/4/28
http://ncis.pku.edu.cn
4
Why This Course
 计算系统灵活性不高！
作业
作业：飞行器的流场计算
1
1
程序：Fluent 6.3
作业：32位
操作系统：Linux
飞行器专家 平台：X86



浪费时间
操作繁琐
机器闲置时
间较多
2020/4/28
×
作业
1
作业
作业
作业：生物计算
2
2
程序：BLAST
作业：32位
操作系统：Windows
生物专家
平台：X86
×
操作系统不匹配！
作业
2
计算中心
操作系统不匹配！

原因：
 应用软件与
操作系统、
硬件紧耦合
5
Why This Course
 系统虚拟化是将底层物理设备与上层操作系统、
软件分离的一种去耦合技术
 虚拟化的目标是实现IT资源利用效率和灵活性的
最大化
应用系统
应用程序
操作系统
操作
系统
应用系统
操作
系统
多个系统融合在一台服
务器上
——资源利用率高
应用系统不再依赖特定
的硬件
虚拟机管理器VMM
——系统维护灵活
硬件发展迅速
2020/4/28
http://ncis.pku.edu.cn
6
三个基本概念
 在一台物理主机上虚拟出多个虚拟计算机（虚拟机，
Virtual Machine，VM），其上能同时运行多个独立的
操作系统，这些客户操作系统（Guest OS）通过虚拟
机管理器（Virtual Machine Monitor，VMM，也称作
Hypervisor）访问实际的物理资源
Linux
Linux
(devel)
XP
Vista
MacOS
Virtual Machine Monitor
Hardware
2020/4/28
http://ncis.pku.edu.cn
7
系统虚拟化的应用
应用系统
 虚拟机的特征及应用








操作
系统
应用系统
操作
系统
相互隔离
动态构建
虚拟机管理器VMM
动态部署
在线迁移
动态资源调整
服务器融合
容错支持：在线备份、Checkpoint
……
动态快速部署
虚拟机库
虚拟机管理器
.NET
DirectX
MPI
.NET
DirectX
MPI
.NET
DirectX
MPI
需要Windows操作系统
需要DirectX的编程库
需要MPI通讯库
神威
银河
虚拟机管理器
虚拟机管理器
2020/4/28
http://ncis.pku.edu.cn
9
动态快速部署
.NET
DirectX
虚拟机库
MPI
虚拟机管理器
PHP
MySQL
Apache
PHP
PHP
MySQL
MySQL
Apache
Apache
需要Windows操作系统
Redhat Linux操作系统
需要DirectX的编程库
需要MySQL数据库
需要MPI通讯库
需要Apache服务器
.NET
DirectX
MPI
DirectX
神威
银河
虚拟机管理器
虚拟机管理器
2020/4/28
.NET
http://ncis.pku.edu.cn
10
MPI
虚拟机在线迁移
2020/4/28
http://ncis.pku.edu.cn
11
服务器融合
 消除热点
30%
30%
40%
 一个物理机上的资源不能满足它上面虚拟机的要求，
负载过重
 通过迁移平衡负载
 节能
20%
10%
 很多时候资源非常空闲
 通过迁移减少活动的物理机
2020/4/28
http://ncis.pku.edu.cn
12
虚拟机容错
2020/4/28
http://ncis.pku.edu.cn
13
动态虚拟机群
 From Physical cluster to Virtual cluster
Application 1
VM1.1
VM1.2
Node 1
2020/4/28
VM2.1
Node 2
VM2.2
Application 2
VM3.1
VM3.2
Node 3
http://ncis.pku.edu.cn
VM4.1
VM4.2
VM5.1
Node 4
Node 5
14
VM5.2
动态虚拟机群
 Reclustering virtual cluster
 Using VM suspend/resume
Application 1
VM1.1
Node 1
2020/4/28
VM1.2
VM3.1
VM3.2
VM2.1
Node 2
Application 2
VM2.2
Node 3
VM3.2
http://ncis.pku.edu.cn
VM4.2
VM4.1
Node
VM5.2
VM5.1
Node
4
15
5
动态虚拟机群
 Reclustering virtual cluster
 Using dynamic resource reallocation across VMs
Application 1
VM1.1
VM1.2
Node 1
2020/4/28
VM2.1
Node 2
VM2.2
Application 2
VM3.1
VM3.2
Node 3
http://ncis.pku.edu.cn
VM4.1
VM4.2
VM5.1
Node 4
Node 5
16
VM5.2
课程背景
 课程来源：本课程的开设得到了美国EMC公司和VMware公
司的支持，课程课件的主要部分由这两个公司提供。本课
程也是2009年度的“教育部-Intel精品课程”，课程的建设
得到了Intel公司的支持。
 授课教师：罗英伟、汪小林
 Email：{lyw, wxl}@pku.edu.cn
 地址：理科1号楼1335
 电话：62767883
 上课时间：周二3～4节
 上课地点：二教527
http://ncis.pku.edu.cn
课程的应用场景
数据处理——网络传输——数据处理
计算中心——数据中心
http://ncis.pku.edu.cn
课程目标
 现代信息管理面临信息量大、管理成本居高不下等诸多
挑战。本课程从信息管理的复杂性与现实需求出发，介
绍了满足现代信息管理需求的存储技术和系统虚拟化技
术基础知识，从而使同学们对存储和虚拟化有一个相对
全面的了解。
 了解现代信息管理的复杂度与需求
 了解存储系统的基本结构
 了解网络存储应用于不同环境的构架

DAS、NAS、SAN、CAS
 了解应对业务连续性需求的存储技术解决方案
 了解数据中心的监测、管理的原理、方法与实现
 了解系统虚拟化技术的原理、应用及发展情况
http://ncis.pku.edu.cn
课程授课方式
 课堂讲授：9次课（6+3）
 论文阅读及报告
 实验及报告：个人实验、分组实验、任选实验
http://ncis.pku.edu.cn
课堂讲授主要内容（1）
第一章 信息管理的复杂性

满足现代需求的数据存储（Meeting Today’s Data Storage Needs）

数据存储的解决方案（Data Storage Solutions）

数据中心的基础构架（Data Center Infrastructure）
第二章存储系统架构

主机环境（The Host Environment）

连接（Connectivity）

物理磁盘（Physical Disks）

磁盘阵列（Disk Arrays）

磁盘存储系统（Disk Storage Systems）
http://ncis.pku.edu.cn
课堂讲授主要内容（2）
 第三章 网络存储概述
 直连存储（Direct Attached Storage，DAS）
 网络附加存储（Network Attached Storage，NAS）
 光纤存储局域网络（Fibre Channel Storage Area Networks，SAN）
 IP存储局域网（IP Storage Area Networks，IP SAN）
 内容寻址存储（Content Addressed Storage，CAS）
 第四章 业务连续性
 业务连续性概述（Business Continuity Overview）
 备份与恢复（Backup and Recovery）
 业务连续性：本地复制（Business Continuity: Local Replication）
 业务连续性：远程复制（Business Continuity: Remote Replication）
http://ncis.pku.edu.cn
课堂讲授主要内容（3）
第五章数据中心的监测与管理
 数据中心的监测（Monitoring in the Data Center）
 数据中心的管理（Managing in the Data Center）
第六章系统虚拟化概述
 系统虚拟化概述（System Virtualization Overview）
 虚拟化技术标准（Standards for System Virtualization）
 最新进展及趋势（Trends of System Virtualization）
http://ncis.pku.edu.cn
课堂讲授主要内容（4）
第七章系统虚拟化原理
 CPU虚拟化（Virtualizing CPU）
 内存虚拟化（Virtualizing Memory）
 I/O虚拟化（Virtualizing I/O Devices）
第八章系统虚拟化应用
 数据中心（Data Center）
 虚拟机管理（Management of Virtual Machines）
 虚拟机克隆及迁移（Clone and Migration of Virtual Machines）
http://ncis.pku.edu.cn
论文阅读及报告
 参考存储技术和虚拟化技术论文，选择一篇或
多篇论文阅读
 每个人独立完成，提交一份中文读书报告
http://ncis.pku.edu.cn
实验及报告
 个人实验
 内容
 RAID环境搭建及测试
 NAS（NFS）环境搭建及测试
 iSCSI环境搭建及测试
 形式
 每个人独立完成上述3项内容
 提交一份实验报告
http://ncis.pku.edu.cn
实验及报告
 分组实验
 实验内容
 云计算平台OpenStack与分布式系统Hadoop/Spark
 虚拟化实验环境开发
 基于SheepDog的虚拟机镜像管理系统
 形式
 3人一组，选择上述1项内容
 原型系统及实验报告
 课堂报告
http://ncis.pku.edu.cn
实验及报告
 任选实验
 内容
 大容量统一存储系统应用规划及实践
 形式
 3人一组，支持2组6位同学参加
 课堂报告：可选
http://ncis.pku.edu.cn
课程进程安排
 本课程从上课时间从第1周至第16周，共15次课（
国庆放假一周），第16周随堂考试。
 第1~6次课：存储技术
 第7~9次课：虚拟化技术
 其他课：企业技术讲座、参观、讨论
 本课程由罗英伟、汪小林两位老师共同承担，前4次课（
前3章）由罗英伟老师担任；后5次课（后5章）由汪小林
老师担任。
http://ncis.pku.edu.cn
参考书
 以课程讲义为主。其他可选参考书包括：

EMC Education Services, Information Storage and Management, Wiley Publishing
Inc., 2009. （人民邮电出版社有中译版，EMC将赠送）

周敬利、余胜生 等 编著，网络存储原理余技术，清华大学出版社，2005.9.

赵文辉、徐俊、周加林、李晨，网络存储技术，清华大学出版社，2005.3。

David Chisnall, The Definitive Guide to the Xen Hypervisor, Prentice Hall, 2007。

James E. Smith, Ravi Nair, Virtual Machines, Versatile Platforms for Systems and
Processes, 电子工业出版社, 2006。『《虚拟机——系统与进程的通用平台》
James E. Smith, Ravi Nair 著，安虹等译，机械工业初版社，2009。』

金海等著，计算系统虚拟化——原理与应用，清华大学出版社，2008。

石磊、邹德清、金海，Xen虚拟化技术，华中科技大学出版社，2009。
http://ncis.pku.edu.cn
考核方式 && 课程网站及助教
 考核方式
 讲义阅读及作业：20%
 论文阅读及报告：20%
 课程实验及报告：60％
 课程网站及助教
 课程网站：http://gis.pku.edu.cn/course/svt/
 助教：侯放、黄子翚
 侯放：[email protected]
 黄子翚：[email protected]
 理科1号楼1336
http://ncis.pku.edu.cn
网络存储与系统虚拟化相关研究
 网络存储
 组织
 SINA：全球网络存储工业协会(Storage Network Industry Association)
 海量存储标工委：中国电子工业标准化技术协会海量存储标准工作委
员会（2009年8月成立）
 973计划：下一代互联网信息存储的组织模式和核心技术研究
 973计划：超高密度、超快速光信息存储与处理的基础研究
 863重大项目：海量存储系统关键技术
 会议：FAST， USENIX Conference on File and Storage Technologies
 系统虚拟化
 DMTF，Distributed Management Task Force, Inc.
 973计划：计算系统虚拟化基础理论与方法研究
 会议：VEE， ACM SIGPLAN/SIGOPS International Conference on
Virtual Execution Environments
http://ncis.pku.edu.cn
关于论文阅读及作业
 论文阅读，现在可以开始了
 课程网站上有一些可参考的论文
 有7次书面作业，在课程网站上，大家可以根据
课堂讲授的进展，尽早完成并提交给助教
http://ncis.pku.edu.cn
关于实验




个人实验：10月开始
分组实验：自由组合，现在就可以开始准备了
任选实验：感兴趣的同学，尽早报名
实验报告将安排在12月份进行
http://ncis.pku.edu.cn
北京大学信息科学技术学院
网络与信息系统研究所
http://gis.pku.edu.cn/course/svt/