Transcript ³ºÝ«Ø¸mªº³W¹º»Pµû¦ô..

世新大學電子計算機中心
范修維
2010.11.19
•
•
•
•
•
雲端建置的目標
伺服器硬體平台
虛擬化軟體系統
儲存空間與網路
應用服務
• 虛擬化的迷思
– 節能減碳、綠色環保？
• 是主要目標？還是附屬效益？
• 冷氣、空調的改善要比虛擬化更節能減碳
• 何不直接採用低電壓 CPU、固態硬碟？
※低碳能源是昂貴的
– 充分利用 CPU 閒置效能？
• 若閒置效能過多？何不採用 Atom CPU？
• 若閒置效能過多？為何要購買雙 CPU 機型？
• 虛擬化的迷思
– 主機整併、節省空間？
• 何不直接採用刀鋒、雙子星伺服器？
• 省下的空間作啥？
– 降低總持有成本？
• 降低了什麼？硬體成本？軟體成本？人力成本？
• 增加了什麼？硬體成本？軟體成本？人力成本？
• 虛擬化的迷思
– 集中管控
• 付出代價為何？
• 得到效益為何？
• 不集中管控，與傳統伺服器管理有何差別？
– Live Migration
• Live Migration 得到了什麼？付出了什麼？
• 是否所有伺服器皆需要 Live Migration？
• 虛擬化的迷思
– 主機租/借用服務
• 虛擬主機對租/借用者較好嗎？
• vCPU x 2 優於 vCPU x 1？
• 是否保証 CPU 效能？
• 是否保証 Disk/Network 頻寬？
– 終端用戶
• 關心什麼？虛擬化？應用服務？
– 真正受益者
• 終端用戶？管理人員？企業老闆？
• 學校生態
–
–
–
–
經費成本比人力成本重要 (尤其是少子化的將來)
省下空間無太大效益 (未租用 IDC 機房)
節能減碳效益不易歸屬到資訊部門
可用性需求不像企業生態那麼重要
• 我們的目標
– 降低有形的經費成本
– 提供合理的資源管控
– 增加優質的應用服務
• CPU 的效能
http://www.cpubenchmark.net/
• CPU 價格 (Xeon 3.00G 為例)
– CPU 的型號決定效能與價格
– 以時脈高低作為效能的評估將會陷入迷思
• CPU 價格 (效能價格比)
–
–
–
–
–
–
–
X7460 四顆效能 18304 分，約 NT$530,061
X5680 二顆效能 18253 分，約 NT$133,839
E5640 二顆效能 9411 分，約 NT$63,391
W3520 單顆效能 4889 分，約 NT$12,280
X3440 單顆效能 5235 分，約 NT$9,240
i7 875K 單顆效能 6395 分，約 NT$13,200
i7 980X 單顆效能 10409 分，約 NT$40,000
• 伺服器選擇 (大怪物 v.s. 螞蟻雄兵)
• 伺服器選擇 (大怪物)
• 伺服器選擇 (還是怪物)
• 伺服器選擇 (螞蟻雄兵)
– Dell R210 (NT$6x,xxx)
• CPU: X3440
• RAM: 16GB
• HD: 500GB SATA x 2
• NIC: 1000M x 2 + 1000M x 4
– HP DL360 G6 (NT$7x,xxx)
• CPU: W3520
• RAM: 24GB
• HD: 500GB SATA x 2
• NIC: 1000M x 2 + 1000M x 4
• 伺服器選擇 (電力因素)
– 1 度電 = 1000 W x H = 1 瓧．小時
– 1 度電 = 2.7 ~ 3.5 元 (營業用)
– 範例：
• 500W 伺服器，以每度電 3 元計，
• 一日耗電 36 元，一年耗電 13,140 元，
• 十台伺服器一年耗電 13 萬元
• 伺服器選擇 (集縮比)
– 實體：虛擬 = 1 : ?
– 可以將實體伺服器壓榨到什麼樣的程度？
– 何種虛擬機器的效能才可接受？
• 網路服務主機 (DNS、DHCP、WINS…)
–
–
–
–
89 年採購
PIII @ 1GHz
512M RAM
約5萬
• CPU Benchmark
– 194 分
• 表單系統主機
– 91 年採購
– Xeon @ 1.50GHz
(雙核)
– CPU x 2
– 4G RAM
– 約 50 萬
• CPU Benchmark
– 398 分 (1.7GHz)
• 教務 DB 主機
– 94 年採購
– Xeon @ 2.66GHz
(雙核、HT)
– CPU x 4
– 16G RAM
– 約 80 萬
• CPU Benchmark
– 417 x 4 分
– (四顆＝1668 分)
• Dell R210 伺服器
– 99 年採購
– Xeon X3440 @ 2.53GHz (四核、HT)
(中信局規格：約 7 萬元)
– CPU Benchmark 5245 分
• Dell R210 伺服器
– 若 1:4 相當於 Core 2 Duo E6420 @ 2.13GHz (1314)
– 若 1:8 相當於 Pentium 4 @ 3.80GHz (638)
• 虛擬機器的提供
– 使用者：vCPU x 2 就一定優於 vCPU x 1？
– pCPU 速度、VM 的數量、執行效能的限制
– 使用者：只要速度夠快、效能夠好，才不管是否為
虛擬機器或實體機器
• 虛擬化軟體 (參考範例)
資料來源：http://www.citrix.com/
• 虛擬化軟體 (參考範例)
資料來源：http://www.citrix.com/
• VMware vSphere ESX 4.1
–
–
–
–
–
–
–
–
–
–
標準版，1 CPU，1 年，NT$43,239
標準版，1 CPU，3 年，NT$68,402
進階版，1 CPU，1 年，NT$107,375
進階版，1 CPU，3 年，NT$151,079
企業版，1 CPU，1 年，NT$166,865
企業版，1 CPU，3 年，NT$234,952
進階組合包，
1 年，NT$143,096
進階組合包，
3 年，NT$201,444
vCenter Server，1 年，NT$226,886
vCenter Server，3 年，NT$128,643
資料來源：http://www.dell.com.tw/
• VMware vSphere ESX 4.1
– 標準版、進階版、企業版，須外購 vCenter Server
– 進階組合包內含 vCenter Server，具有標準版功能，
上限三台實體機器、每台至多 2 CPU
– 標準版：6 Cores/CPU、256GB RAM/Server
– 進階版：12 Cores/CPU、256GB RAM/Server
– 企業版： 6 Cores/CPU、256GB RAM/Server
– 企業進階版： 12 Cores/CPU、Unlimited
RAM/Server
資料來源：
http://www.vmware.com/files/pdf/vsphere_pricing.pdf
• Citrix XenServer 5.6
– 企業版，1 年，NT$100,948
– 企業版，3 年，NT$128,643
資料來源：http://www.dell.com.tw/
– 集中管理工具：Citrix Essentials
– 免費版、企業版、白金版
– 以伺服器授權計價，不限 CPU 或 Core 數
• Microsoft Windows Server 2008 R2
–
–
–
–
標準版：NT$31,711
企業版：NT$94,858
Datacenter 2 CPU: NT$135,263
Datacenter 4 CPU: NT$257,858
資料來源：http://www.dell.com.tw/
• Microsoft Windows Server 2008 R2 (教育版)
– 標準版：NT$4,186
– 企業版：NT$13,583
– Datacenter 1 CPU: NT$14,000
資料來源：台銀共同供應契約
• 免費版本
– Microsoft Hyper-V Server 2008 R2 (4 vCPU/VM)
– VMware ESXi 4.1 (4 vCPU/VM)
– Citrix XenServer 5.6 (8 vCPU/VM)
• 實機測試
– Dell R210
• ([email protected]，16GB RAM，500GB SATA x 2)
– Benchmark
• http://www.passmark.com/products/pt.htm
– FTP Test
• RAM Disk -> RAM Disk (1GB File)
• 實機測試 (W2K8R2 裸機效能：CPU)
• 實機測試 (W2K8R2 裸機效能：Disk Read)
• 實機測試 (W2K8R2 裸機效能：Disk Write)
• 實機測試 (W2K8R2 裸機效能：FTP)
• 實機測試
– W2K8R2 + Guest OS
– ESXi + Guest OS
– XenServer + Guest OS
• Guest OS
–
–
–
–
–
W2K8R2
Windows 7 (64-bit、32-bit)
XP
CentOS 5.5 64-bit
Fedora 12 32-bit
(請自行參閱附件圖檔)
• 測試結果
– vCPU 效能：
• ESXi 明顯高於其它二者 (甚至高於 W2K8R2 裸機)
• Hyper-V 略高於 XenServer
– vDisk 效能
• Read：三者無甚大差異
• Write：ESXi 較好些
• Hyper-V 在 Linux Guest 環境下變化較大，其餘二者皆
較為穩定
– vNetwork 效能
• 在不同 Guest OS 環境下，互有優劣
• Hyper-V 在 Windows Guest 有不錯的效能，但在
Linux Guest 環境下就比較不穩定
• 差異比較
• Guest OS 的支援度：
– ESXi 明顯優於其它二者 (尤其對 Linux Guest)
• VM Migration：
– ESXi 不支援
• 檔案管理：
– Hyper-V 較為方便
• 其它問題 (XenServer)
– 光碟 ISO 必須以 NFS 或 CIFS 方式提供，且不能有
子目錄
– RedHat Linux 無法以傳統 PXE Kickstart 安裝
– License File 一年要更新一次
– VM 關機後，畫面不會 Off，會誤以為尚未完成關
機
– Windows 7 Guest VM 無法在 GUI 模式將 RAM 調至
2GB 以下
– VLAN 設定要以 CLI 方式進行
– Management VLAN 一定要設為 Native VLAN
• 我們的策略
– Windows Guest
• Hyper-V
– Linux Guest
• ESXi
• 補充
– VMware Workstation 與 Oracle VirtualBox (全虛擬
化產品) 效能直逼裸機虛擬化產品 (半虛化產品)
– VMware Workstation 與 Oracle VirtualBox 均提供
vCore 的功能，可突破 Windows 7、XP Guest OS
二顆 CPU 的限制
– XenClient (用戶端虛擬化) 對硬體支援度太差
– 64 位元作業系統 (W2K8R2、Win7-64) 的效能明顯
優於 32 位元作業系統 (Win7-32、XP)
– 用戶端虛擬化方案：
• W2K8R2 + VirtualBox (or VMware Workstation)
• 儲存空間與網路
– NFS 效能很差？
– iSCSI 效能很好？
– 資料網路必須與傳統網路分離？
• 實機測試
– CentOS 5.5 64-bit
• EXT3 Filesystem
– Fedora 12 32-bit
• EXT4 Filesystem
– 500GB SATA
• 3.5 吋、7200 轉、單顆硬碟、無 Raid Card
– HDS 3090 + 2100
• NAS Head + SAN Storage
– Cisco 3560E GE Port
• 串接四級 Switch
• 實機測試
– CentOS 5.5 (EXT3 磁碟寫入測試，約 8x~9x MB/s)
• 實機測試
– CentOS 5.5 (EXT3 磁碟讀取測試，約 11x MB/s)
• 實機測試
– Fedora 12 (EXT4 磁碟寫入測試，約 11x MB/s)
• 實機測試
– Fedora 12 (EXT4 磁碟讀取測試，約 11x MB/s)
• 實機測試
– CentOS 5.5 (NFS 寫入測試，接近 110 MB/s)
• 實機測試
– CentOS 5.5 (NFS 讀取測試，約 10x MB/s)
• 測試結果
– EXT3 寫入效能較佳，不到 100 MB/s
EXT3 讀取效能可達 115 MB/s 左右
– EXT4 寫入效能較佳，可達 115 MB/s
EXT4 讀取效能可達 118 MB/s 左右
– NFS 寫入效能可達 109 MB/s
NFS 讀取效能可達 105 MB/s
– NFS 效能已接近本機硬碟讀寫效能
– 只透過一台 Switch 連接時，更可達 117 MB/s
• 實機測試
– iSCSI EXT4 寫入測試，約 40 MB/s
• 實機測試
– iSCSI EXT4 讀取測試，接近 100 MB/s
• 實機測試
– iSCSI NTFS 寫入測試，約 35 MB/s
• 實機測試
– iSCSI NTFS 讀取測試，約 90 MB/s
• 測試結果
– iSCSI 效能不一定比較好，NFS 效能不見得比較差
– 多個交換器串接，對傳輸效能會有些許影響
– Layer 2 網路交換，效能比 Layer 3 好很多
• 我們的策略
– 盡量使用本機硬碟，降低共用儲存裝置之需求
• 省經費、省頻寬
– 有大量檔案儲存之需求者，採用 NFS Storage 存放
• 如 E-Mail、File Server
– 有 Live Migration 之需求者，再使用 iSCSI
• 目前尚未出現
– 完善的系統建置 SOP，自動的 OS 安裝 (SYSPREP、
PXE Installation)，完整的資料備分/回存機制，多
增加些許 RTO 時間，可大幅降低經費成本
– 資料網路暫時不與傳統網路分離，但已做好準備，
隨時可將其獨立
選課系統
• 選課系統 (背景描述)
–
–
–
–
架構：AP x 3、DB x 1
OS：Windows Server 2003 (32-bit)
SQL：SQL Server 2000
無負載平衡器，由學生自由選擇前端入口
• 選課系統 (問題描述)
– 學生容易集中在同一台 AP 主機
– AP 主機的 Swap 情形非常嚴重
– DB 主機 CPU 負載約為 80%
• 選課系統 (問題分析)
–
–
–
–
Swap 過多是 RAM 不足的現象
32 位元主機有 4GB RAM 的限制
OS 升級可能造成 AP 程式的相容性問題
多台機器 + 負載平衡即可解決 Swap 過重之現象
• 選課系統 (機器調度)
– 借調雲端伺服器 (16GB RAM)，每台切割三台虛擬
伺服器，皆配備 4GB RAM (共新增八台虛擬機器)
– 使用 P2V 方式，將實體 AP 主機轉入虛擬 AP 主機
– 為避免意外狀況，另借調二台實體機器供調度
• 選課系統 (負載平衡器)
– 負載平衡種類：
• 線路負載平衡 v.s. 伺服器負載平衡
– 建置方式：
• 採購硬體設備 v.s. 自行開發
– 負載平衡模式：
• Proxy Mode v.s. Redirection Mode
– 評估結果：
• 自行開發小程式，以 HTTP 重導方式實作
• 在一台 512MB RAM 的虛擬機器提供服務
• 選課系統 (系統架構)
• 選課系統 (上線結果)
– 第一階段 (資料庫主機強化前)
• AP 主機沒問題，但 DB 主機卻被塞爆
– 第二階段 (資料庫主機強化後)
• AP、DB 主機完全不塞車
• 選課系統 (AP 主機負載)
• 選課系統 (DB 主機負載)
雲端文管系統
• 雲端文管系統
–
–
–
–
OPQ 專案：提供網芳資料上傳 (後台)
KM 專案：提供搜尋引擎下載 (前台)
MOSS 專案：提供線上編輯功能
R-Portfolio 專案：提供雲端讀書會功能
• 雲端文管系統 (系統架構)
AD
Search
Engine
NAS
MOSS
Portal
OPQ-1
ident
(NIS/DC)
OPQ-2
POP3
Webmail
• 雲端文管系統 (後台)
使用檔案總管拖拉式上傳檔案
• 雲端文管系統 (後台，使用者角度)
– O 槽：
• 各單位各有一塊唯讀空間 (知識管理師可寫入)，作為
單位內部所共享之儲存空間 (各單位 30GB)
– P 槽：
• 各單位各有一塊可讀寫空間，作為單位內部群體寫作、
共用編輯的空間 (各單位 30GB)
– Q 槽：
• 各人各自擁有一塊自主空間，作為個人的網路儲存區
域，可作為個人重要資料之備分空間 (每人 10GB)
– 帳號、密碼驗証：
• 以 E-Mail 帳號及密碼作為驗証
• 雲端文管系統 (後台，關鍵技巧)
– pop3 主機、webmail 主機使用 pam 機制攔截用戶
登入資訊，同步更新於 ident 主機之 smb 密碼
– opq 主機透過 samba 登入程序，自動創建個人網
路磁碟空間，並設定 quota
– 由校務行政主機寫入 opq 設定檔，提供 O 槽與 P
槽的必要資訊，讓 opq 主機動態生成磁碟分享空間
– 透過 samba 的 force user 功能，達成單位檔案共
享之目的
– 設定特殊唯讀分享，提供搜尋引擎進行全文索引之
製作
• 雲端文管系統 (後台，關鍵技巧)
– 攔截帳號密碼 (Fedora 12)
# yum -y install gcc pam-devel
# wget http://www.upfrontsystems.co.za/Members/izak/libpam-script_0.1.12.tar.gz
# tar -xvzf libpam-script_0.1.12.tar.gz
# cd libpam-script-0.1.12
# make
# cp pam_script.so /lib/security/
# cd ..
# rm -rf libpam-script-0.1.12
# vi /etc/pam.d/password-auth
auth
required
pam_env.so
auth
requisite pam_unix.so nullok try_first_pass
auth
optional
pam_script.so runas=root expose=authtok onauth=/etc/security/onauth
# vi /etc/security/onauth
echo -e "[$1]\t[$PAM_AUTHTOK]" >> /var/log/passwd.log
# chmod 700 /etc/security/onauth
– 將密碼同步至網芳
# echo -e "\$PASS\n\$PASS\n" | smbpasswd -s -a $NAME
• 雲端文管系統 (後台，關鍵技巧)
– 自動產生網芳分享 (設定檔)
# vi /etc/samba/smb.conf
(於 [global] 區段進行設定)
unix charset = CP950
(新增)
disable spoolss = yes
(新增)
workgroup = SHU
(修訂)
security = domain
(修訂)
wins server = 192.192.150.2
(啟用並修訂)
(將 [homes] 區段全部註解掉，於檔案尾端加入下列設定)
[xxx]
path = /etc/samba/opq
writable = yes
browseable = no
valid users = xxx
force user = root
[share-o]
path = /mnt2/share-o
browseable = no
valid users = xxx
[share-p]
path = /mnt2/share-p
browseable = no
valid users = xxx
• 雲端文管系統 (後台，關鍵技巧)
– 自動產生網芳分享 (每分鐘執行一次)
#!/bin/bash
export LANG=zh_TW.Big5
NOTIFY="[email protected]"
A=`/usr/bin/stat --printf=%Y /etc/samba/smb.conf 2> /dev/null`
B=`/usr/bin/stat --printf=%Y /etc/samba/smb-1.conf 2> /dev/null`
C=`/usr/bin/stat --printf=%Y /etc/samba/opq/opq.conf 2> /dev/null`
[ "$B" = "" ] && B=0
[ "$C" = "" ] && C=0
[ "$A" -ge "$B" ] && [ "$A" -ge "$C" ] && exit 0
/usr/bin/dos2unix /etc/samba/opq/opq.conf
echo "# 請勿直接編輯此檔，請編輯 /etc/samba/smb-1.conf" > /etc/samba/smb.conf
echo "# 編輯後，請執行 /root/bin/restart-smb" >> /etc/samba/smb.conf
grep -v ^\; /etc/samba/smb-1.conf | grep -v ^# | grep -v ^$ >> /etc/samba/smb.conf
cat /etc/samba/opq/opq.conf >> /etc/samba/smb.conf 2> /dev/null
grep "path" /etc/samba/opq/opq.conf | (while read LINE
do
ID=`echo $LINE | awk -F '/' '{ print $4 }'`
/usr/bin/id $ID &> /dev/null
if [ $? -eq 1 ]
then
ERROR=1
• 雲端文管系統 (後台，關鍵技巧)
– 自動產生網芳分享 (每分鐘執行一次)(續)
else
if [ ! -e /mnt2/share-o/$ID ]
then
cp -a /mnt2/template /mnt2/share-o/$ID
mkdir /mnt2/share-p/$ID
chown $ID:$ID /mnt2/share-o/$ID/01-公開/*
chown $ID:$ID /mnt2/share-o/$ID/02-保護/*
chown $ID:$ID /mnt2/share-o/$ID/03-私有/*
chown $ID:$ID /mnt2/share-p/$ID
/usr/sbin/edquota -p teacher $ID
fi
fi
done
if [ "$ERROR" = "1" ]
then
cat /etc/samba/opq/opq.conf | mail -s "★`hostname` 主機設定錯誤★" $NOTIFY
fi)
/sbin/service smb restart
cat /etc/samba/opq/opq.conf | mail -s "`hostname` 主機重跑網芳服務" $NOTIFY
• 雲端文管系統 (前台)
使用瀏覽器點選下載
• 雲端文管系統 (前台)
使用瀏覽器點選下載
• 雲端文管系統 (前台)
滾上浮水印，看誰敢洩密
• 雲端文管系統 (前台)
透過瀏覽器進行全文檢索
• 雲端文管系統 (前台，使用者角度)
– 公開：
• 所有人皆可檢索、可瀏覽、可下載
– 保護：
• 外人只可檢索，不可瀏覽、不可下載
• 自己可檢索、可瀏覽、可下載
– 私有：
• 外人不可檢索、遙可瀏覽、不可下載
• 自己可檢索、可瀏覽、可下載
– 浮水印：
• 自動將文檔轉成 PDF 並滾上浮水印再提供下載
• 雲端文管系統 (後台，關鍵技術)
– 搜尋引擎：
• 第一次進行全文索引，以後每二小時進行一次增量索
引 (可由多台機器同時進行索引，以縮短時程)
– 轉檔：
• 後台上傳之檔案於半夜進行批次轉檔；若下載時尚未
完成轉檔，則即時進行轉檔
– 浮水印：
• 按照下載人員之身分，即時滾上浮水印，再提供下載
– 表單：
• 檔名加上前置碼「form-」，即可例外處理 (不轉 PDF、
不滾浮水印)
• 雲端文管系統 (線上編輯)
雲端
記事簿
直接線上編輯
• 雲端文管系統 (線上編輯，展望)
– 組成元件：
• DC + MOSS + SQL + Office Web Apps
– 建置步驟：
• 請參考附件
– 待克服之關鍵：
• 讓 Office Web Apps 開啟 OPQ 網路磁碟的檔案，而不
是開啟 SQL 內的 MOSS 檔案
• 雲端文管系統 (R-Portfolio)
• 雲端文管系統 (R-Portfolio)
直接線上註記
• 雲端文管系統 (R-Portfolio)
未來展望
• 雲端文管系統 (R-Portfolio，展望)
– 個人閱讀歷程：
• 提供雲端電子書個人閱讀註記服務
– 群組閱讀歷程：
• 提供雲端讀書會服務
– ｅ化會議室：
• 節能減碳，環保愛地球
世新山洞客
• 世新山洞客
–
–
–
–
–
–
–
整合 Google Apps
整合 Live@EDU
整合 Openwebmail
整合 Video Conference
整合 VoIP
整合 KM
整合…
• 世新山洞客 (整合GMail、Live@EDU、OWM)
• 世新山洞客 (視訊整合：Ｖ大樓建置)
• 世新山洞客 (視訊整合：Ｖ大樓建置)
• 世新山洞客 (視訊整合：Ｖ大樓建置)
筆電全螢幕效果 (130萬像素)
• 世新山洞客 (VoIP 整合)
070
Skype Gateway
(代表號：www.shu.edu.tw)
Skype
威寶電信
SIP Server
Skype
Call Forward
(轉接號：relay.shu.edu.tw)
• 世新山洞客 (VoIP 整合)
通訊錄
查詢
• 附件 (測試圖檔)
– 半虛擬化效能測試
• ESXi
• Hyper-V
• XenServer
– 全虛擬化效能測試
• W2K8R2 + VirtualBox
• W2K8R2 + VirtualPC
• W2K8R2 + VMware Workstation
• Win7-64 + VMware Workstation
– 其它
• 實體機
• iSCSI
• 附件 (簡報檔)
– 演講投影片
• 雲端建置的規畫與評估.pptx
– 虛擬化系統建置範例
• Microsoft Hyper-V 建置範例.pptx
• VMware ESXi 建置範例.pptx
• Citrix XenServer 建置範例.pptx
• Citrix XenClient 建置範例.pptx
– 其它
• Office Web Apps 建置範例.pptx