Transcript 微軟分析平台架構概觀
微軟分析平台架構概觀 胡百敬(http://byronhu.spaces.live.com) 當下 • IT 不知使用者要分析什麼 • Power User 等不及 IT 建置系統，自行使用 Excel 分 析資料 • 當下要分析立即的資料，等不及 ETL、Process 流 程 • Excel 處理的資料量有限 • Excel 無法廣泛而深入的分析 • IT 根本不知道 Power User 在做什麼分析 • 存放機密的分析內容之 Excel 檔到處散布 Self-service BI • 除了 IT 部門完成企業的 BI，讓商務使用者 以熟悉的介面，自行完成所需的 BI 需求 • 64 位元的 Excel 2010 + PowerPivot 可以彙總 多方且大量的資料 • 讓 IT 可以收集 ad-hoc 需求，以建置集中的 BI • 透過 SharePoint 2010 分享、管理商務使用 者建立的分析 Microsoft 商業智慧 從既有的產品中得到更多 商業使用者的經驗 PowerPivot for Excel 包含 DAX 商業協同合作的平台 資料基礎架構和 BI 平台 Analysis Services 包含 MDX PowerPivot 概觀 • 新的使用者和伺服器端元件，實現 selfservice、受管理的 BI • 使用者Excel 2010 的使用者端元件 – 可以存取並整合大量的資料，可以來自不同的資料源，並設定關 聯 – 完全在記憶體中的 SSAS 資料模型 • 使用者 SharePoint 2010 的伺服器端元件 – 整合 SSAS service 以處理資料模型 – Excel Services 呈現工作表 PowerPivot Excel Add-in • 描述資料間的關聯 – 在 PowerPivot 內設定資料間的關聯 – 支援基本的 PK-FK 型態之關聯 – 建立基本的資料模型 • 完成多維度分析(multi-dimensional analysis)但不須 知道多維度概念與熟悉 MDX 語言 • 可透過與 Excel 公式相近的運算式DAX(Data Analysis Expressions)增加計算能力 – 包含許多 Excel 函數 – DAX 以欄(column)為基礎，非 cells 透過 Excel 2010 分析資料 • 使用樞紐分析表(pivot-table)和樞紐分析圖 (pivot-chart) – 透過 PowerPivot tab 群組呈現資料，方便選擇 – 以維度(dimension)和數據(measure)的方式呈現 • 新的視覺效果 – – – – Slicers Sparklines 更好的 icon sets, data bar 格式 更好的 chart 選項和效能 PowerPivot for Excel 2010 PowerPivot for Excel 架構 什麼是 Data Analysis Expressions (DAX) • DAX 使用 Excel 公式的語法，並包含許多 Excel 函式庫 內的函數 • 資料表X[欄Y] 或 [欄Y] (代表完整命名或局部名稱) • 不支援只指定 cell，例如：不允許 B23, B12:C15， DAX 函數只處理資料表內整個欄位 • 不會取代 MDX DAX 範例語法 說明 = [First Name] & “ “ & [Last Name] 如同 Excel 的連接字串 SUM 函數需要欄位名稱當參數，而非某個 範圍的 cells 新的 RELATED 函數，取得相關連資料表的 內容 =SUM(Sales[Amount]) =RELATED (Product[Cost]) 軟硬體需求 • 大量的記憶體，PowerPivot 和 Excel 2010 都支援 32/64 bit • PowerPivot 會善用多顆CPU • Excel 存檔的內容包含資料、資料連接…等，會造成大 Excel 檔 元件 處理器 最小 建議 Dual-core 處理器，高過 2.6 GHz 記憶體 500 MHz 處理器 1 GB 硬碟 NTFS 檔案格式，最小 3 GB 空間 網路 56 kilobits per second (Kbps) NTFS 檔案格式，超過 40 GB 以上的硬 碟空間以存放工作簿檔案 1 gigabit per second (Gbps) 作業系統 Windows XP with Service Pack 3 (32 bit) 軟體 4 GB 以上 Windows Vista 、Windows 7 Business Edition 或 Ultimate Edition (64-bit) Excel 2010、.NET Framework 3.5 SP1 Office 2010、.NET Framework 4.0 PowerPivot for SharePoint PowerPivot for SharePoint 架構 PowerPivot for SharePoint • SharePoint 可以提供瀏覽、使用方式追蹤、安全、規範、 流程、版控、排程工作 • 分析服務服務：透過 PowerPivot System Service 從 Excel 工 作簿取出定義後，在 Analysis Services 的執行個體建立暫存 資料庫 • SharePoint 服務內的 Analysis Services 執行個體只能加載 VertiPaq Engine，全部資料放在記憶體快取中，不支持傳 統的OLAP處理模式 • PowerPivot Application Database：儲存設定、連接、伺服 器狀態和排程進度…等 • PowerPivot Gallery：以 Silverlight 呈現工作簿和報表服務 的視覺效果 • PowerPivot管理控制台：集中監控和管理 PowerPivot 規格需求 元件 最小 處理器 2 dual-core processors 記憶體 8 GB 建議 64 GB (取決於當下使用的工作簿數量與平均大 小) NTFS–超過 80 GB 的 DAS 或 SAN 空間 NTFS–formatted partition with a minimum of 80 GB of free space Database Engine SQL Server 2005 Service Pack 2 SQL Server 2008 R2 (SharePoint farm; 非 (Cumulative Update 12) 或 Service PowerPivot app servers) Pack 3 (Cumulative Update 2) 或 SQL Server 2008 (Cumulative Update 4) Windows Server 2008 SP2 (64-bit) or Windows Server 2008 R2 作業系統 SQL Server 2008 R2 Enterprise Edition 軟體 SharePoint 2010, with Excel Services SQL Server Native Client Windows PowerShell™ V2 Microsoft .NET Framework 3.5 SP1 Microsoft "Geneva" Framework Runtime Microsoft Sync Framework Runtime v1.0 (x64) Microsoft Chart Controls for Microsoft .NET Framework 3.5 Microsoft SQL Server 2008 Analysis Services ADOMD.NET 未裝 PowerPivot for SharePoint 的應 Microsoft OLE DB Provider for Analysis Services 10 (MSOLAP100.DLL) 硬碟 用程式伺服器 SharePoint Central Microsoft SQL Server 2008 R2 Analysis Services ADOMD.NET Administration servers without PowerPivot PowerPivot 管理儀表板 PowerPivot 設定的計時器工作 計時器工作(Timer Job) 預設排程 PowerPivot 資料重新整理計時器 分鐘 工作 PowerPivot 健全狀況統計收集器 每 15 分 計時器工作 PowerPivot 管理儀表板處理計時 天 器工作 PowerPivot 安裝程式延伸模組計 小時 時器工作 … … 說明 決定資料更新工作是否週期性執行 針對 PowerPivot 元件收集使用 CPU 和記憶體的統 計資料，並將數據載入到 PowerPivot 應用程式資 料庫 更新以PowerPivot 應用程式資料庫的資料為基礎的 Management Dashboard workbook ，此計時器工作 的排程應排在 Usage Data Processing 計時器工作之 後 確認所有安裝的 PowerPivot 元件是最新的，並確 認在SQL Server 上過修補後，是否有 PowerPivot 的 元件也需要上 patch … 結論 • PowerPivot 提供資料 – Excel 2010 提供視覺效果 – SharePoint/Excel Services 提供協同作業平台 • 並未取代資料倉儲 – Power user 可利用 PowerPivot 將多種資料關連 到 DW – 也可用在建置 DW 之前 – 了解資料意涵的人可以混用多種來源的資料， 完成深入的分析 結論 • 現今努力實作資料分析的使用者；不會因 PowerPivot 經過一個晚上就變身成 power users – Excel 2010 使用者介面提供了使用經驗，但使用者仍需 要解自己的資料、資料間的關係、 或異常的資料 • 使用 PowerPivot 的效能意涵 – “標準配備” 意指大量的記憶體 – 可能仍需要 “保護” DW，避免使用者載入大量的資料 參考資源 • Microsoft® SQL Server® 2008 R2 功能套件 http://www.microsoft.com/downloads/details.aspx?displaylang=zhtw&FamilyID=ceb4346f-657f-4d28-83f5-aae0c5c83d52 • http://www.powerpivot.com/ • How to: Install PowerPivot for SharePoint on a New SharePoint Server http://msdn.microsoft.com/en-us/library/ee210708(v=SQL.105).aspx • Microsoft SQL Server PowerPivot Planning and Deployment http://msdn.microsoft.com/en-us/library/ff628113.aspx • SQL Server 2008 R2 Update for Developers Training Kit (April 2010 Update) http://www.microsoft.com/downloads/details.aspx?familyid=FFFAAD6A-01534D41-B289-A3ED1D637C0D&displaylang=en • SQL Server 2008 R2 ebook http://go.microsoft.com/fwlink/?LinkId=189148