Transcript CMMI Appraisal Methods (CMMI評鑑方法) 南台科技大學 資管系 陳炳文、林韋辰 編

CMMI Appraisal Methods
(CMMI評鑑方法)
南台科技大學 資管系
陳炳文、林韋辰 編
Table of Contents
•
•
•
•
•
CMMI簡介
評鑑方法
CMMI評鑑需求(ARC)
SCAMPI介紹
Q&A
CMMI簡介
什麼是CMMI？
•由美國卡內基美隆大學軟體工程學院
(CMU/SEI)於1987年發展成功的SW-CMM
（Capability Maturity Model for
Software）。
•其目的在於幫助軟體組織改善其軟體生
産流程，以探索一種保證軟體産品品質、
縮短開發週期、提高工作效率的軟體工
程模式與標準規範。
什麼是CMMI？(2)
•2000年底，CMU/SEI整合了不同專業領域
的CMM，推出了CMMI（Capability
Maturity Model Integration）。
為什麼採用CMMI？
•目前，CMM/CMMI已經成爲國際上最流行、最實
用的軟體生産流程標準和軟體組織成熟度的等
級評鑑標準，大大地促進了美國、歐洲、印度
等軟體大國相關行業的發展。
•隨著大陸及台灣加入WTO，國內的軟體行業意
識到CMM/CMMI是世界軟體行業發展的標準，要
想參與國際競爭，就必須重視導入與CMM/CMMI
評鑑。
•在「行政院所屬各機關資訊業務委外服務作業
參考原則」中，更將廠商或團隊人員通過CMMI
評鑑列入評選加分項目。
CMMI帶來的好處
Performance Category Median Number of Data Points Low
High
Cost
38%
14
4.5% 87%
Schedule
50%
14
20%
Productivity
50%
13
11% 376%
Quality
50%
16
29%
94%
Customer Satisfaction
14%
5
10%
55%
Return on Investment
3:1
8
2:1
13:1
90%
評鑑方法
Appraisal Methods
SCAMPI
•SCAMPI (Standard CMMI Appraisal
Method for Process Improvement) 是
由SEI設計的一種CMMI正式的評鑑方法。
•SCAMPI 是目前唯一能夠符合 CMMI 評
鑑需求(ARC) Class A 的評鑑方法。
•SCAMPI 主要做為 Class A 的評鑑方法，
但經過裁適(Tailoring)後，也可做為
Class B 或 Class C 的評鑑方法。
落差分析 (Gap Analysis)
•評鑑的目的在於組織推行流程改善活動
時，可先藉由評鑑，瞭解組織的流程、
制度，和CMMI某一成熟度之間的落差
(Gap)。
–再參考組織的願景和經營目標，排定流程改
善的優先順序，以規劃組織的流程改善活動。
導入CMMI  IDEAL Model
Learning
Propose
Future
Actions
Analyze
and
Validate
Implement
Solution
Initiating
Stimulus for
Change
Set Context
Build
Sponsorship
Refine
Solution
Charter
Infrastructure
Pilot/Test
Solution
Gap Analysis
Characterize
Current
and Desired
States
Create
Solution
Plan Actions
Diagnosing
Develop
Recommendations
Set Priorities
Develop
Approach
Establishing
Acting
CMMI相關評鑑方法
•ISO/IEC 15504
•CBA-IPI (CMM-Based Appraisal for
Internal Process Improvement)
•SPA (Software Process Assessment)
•IP (Interim Profile)
ISO/IEC 15504
•又稱為SPICE（Software Process
Improvement and Capability dEtermination）
•ISO15504是用來做為ISO12207標準的評鑑方
法，因此其內容架構跟ISO12207是相對應的。
•在作業能力維度方面，共區分六個能力等級，
分別是等級0到等級5。
ISO/IEC 15504 (2)
•在作業維度是採用ISO12207的三種生命周
期，並分為五種作業類別，分別是：
–客戶供應者作業類別、
–工程作業類別、
–供應作業類別、
–管理作業類別、
–組織作業類別。
CBA-IPI
•CBA-IPI (CMM-Based Appraisal for
Internal Process Improvement) 由SEI於
1995年發表。
•是屬於SEI正式的評鑑制度。
•CBA-IPI由一組受過訓練的專家對組織的軟體
流程能力進行評審，評審小組在評審範圍內，
以問卷資料蒐集、文件審查、簡報、與中階經
理、專案經理、軟體人員之深度訪談等方式，
發現證據，並給予評等。
SPA
• SPA (Software Process Assessment)是一種對組織軟
體開發能力客觀的自我評鑑。
• SPA評鑑的對象為已完成CMM的落差分析(Gap Analysis)
評鑑，並且正進行流程改善的組織。
• 實行SPA初期，會有6~10人所組成的團隊進行為期5~8
天的密集訪查，在這幾天內，SPA的團隊進行事實發現、
分析、檢視議題，以及提出訪查的結果。
• 透過面談以及會議的回應，使得SPA團隊對組織的軟體
流程有更深的了解，並且提出組織軟體流程改善的建
議。
• 一般實行SPA的時間要數個月，因此也是屬於高成本的
評鑑。
IP
•IP (Interim Profile)是屬於一種「中間型」
的CMM的評鑑。
–是由非SEI的商業組織自行發展的小型評鑑法。
•主要用於已完成CMM的落差分析(Gap Analysis)
評鑑，且正在進行流程改善之組織，做為自我
評鑑之用，不需外來的專家參與。
•目的是用來監控改善的狀況，並調整改善計劃。
評鑑的對象可以是組織中的專案或者團體，但
必須配合組織層級的流程改善團體，例如 SEPG
(Software Engineering Process Group )。
IP (2)
•IP評鑑的資料來源是利用問卷調查，而不採用
訪談及文件的檢視。
•相較於SCAMPI或其他CMM評鑑，IP的成本很低，
評鑑期間也較短，但細節及精確度就受到相當
的限制。
CMMI評鑑需求
Appraisal Requirements for CMMI
CMMI評鑑需求(ARC)
•CMMI 評鑑需求 ARC (Appraisal
Requirements for CMMI)，包含一組高
階設計標準，用來發展、定義及使用於
CMMI 的評鑑方法。
•雖然 ARC 是 CMMI 評鑑方法設計者的發
展依據，但我們亦可透過 ARC 瞭解
CMMI 評鑑流程、準則、組織權責與注意
事項，將有助於組織實踐 CMMI 時的先
期規劃及準備工作。
CLASS ABC比較表
特徵
Class A
Class B
Class C
所需蒐集的客
觀證據數量
評等的產生
高
中
低
有
無
無
所需資源
高
中
低
評鑑小組規模
大
中
小
主評鑑員的資
格
CMMI
主評鑑員
CMMI主評鑑員或
經過訓練且有經
驗的人員
(Lead Appraiser)
經過訓練且有經
驗的人員
CLASS A
•Class A 必須滿足 ARC 所有需求，是唯一提
供評等的評鑑方法。
•進行評鑑時，需有三種資料來源：問卷、文件
審查及訪談。
•進行Class A評鑑，通常是組織欲取得CMMI之
認證以進行其內部之流程改善，或是基於客戶
要求而作。
•Class A評鑑時間通常為四至十天。
CLASS B
•Class B 僅遵守ARC的部分需求。
•進行評鑑時，需要兩種資料來源，其中一定要
有訪談，再搭配問卷或文件審查其中一種。
•Class B 不提供評等，適合剛開始使用 CMMI
作為流程改善的組織，或是做為CMMI正式評鑑
之前的落差分析(Gap Analysis)。
CLASS B (2)
•Class B的評鑑分為基準評鑑跟小型評鑑
兩種：
–基準評鑑： 通常為期一至兩天， 適用於剛
開始流程改善， 各種基礎建設與計劃都仍
待建立的組織， 做為流程改善決策的依據。
–小型評鑑： 通常為期二至三天， 較基準評
鑑嚴格， 主要做為組織在正式評鑑前的預
評， 以瞭解組織內部對於正式評鑑是否就
緒。
CLASS C
•Class C 僅遵守ARC的部分需求。
•Class C 僅需一種資料來源。
•通常用於專案或組織的支援小組，希望能對專
案或組織有快速的瞭解或定期自我評鑑。
SCAMPI 介紹
SCAMPI的目的
•組織藉由界定目前流程的優缺點以瞭解
自己的軟體發展能力。
•依照CMMI模式，說明所發現的優缺點。
•排定改善計劃的優先順序。
•根據組織目前的成熟度，以及考量組織
的業務目標，專注於對組織最有利的改
善活動。
•產生評等。
SCAMPI 進行方式
•組成與訓練一個能夠勝任的 CMMI 評鑑
小組，在 SEI 授權之 CMMI 主評鑑員
(Lead Appraiser)的帶領下，與組織中
的成員進行一系列有系統的資料蒐集與
分析的活動，以瞭解他們的問題、關切
與對改善的想法。
SCAMPI 的實行
• 評鑑小組的資格、角色與責任
• 評鑑分三階段
1. 評鑑規劃與準備階段
2. 評鑑執行階段
3. 報告結果階段
關鍵人員的角色
•主評鑑員：負責瞭解評鑑需求，發展評鑑計劃
及帶領評鑑小組，以完成評鑑活動。
•評鑑贊助者：通常是公司高階管理者，負責決
定評鑑的需求、目標及範圍等，並與主評鑑員
進行溝通協調。
•評鑑小組成員：在主評鑑員的帶領下，與組織
的成員進行一系列有系統的資料蒐集與分析的
活動，以瞭解他們的問題、關切與對改善的想
法。
•專案成員：配合評鑑小組進行資料蒐集計劃，
包含問卷或訪談等活動。
階段一：規劃與準備
相關關鍵人員
活動
輸出
主評鑑員
評鑑贊助者
評鑑需求分析
評鑑目標、範圍、限制、角
色、責任與產出，達成共識
主評鑑員
評鑑贊助者
發展評鑑計畫
依據共識，發展評鑑計畫
主評鑑員
評鑑贊助者
遴選準備評鑑小組
主評鑑員
評鑑小組成員
專案成員
主評鑑員
評鑑贊助者
取得與分析
評鑑小組成員清單
待蒐集之客觀證據清單
初始客觀證據
準備蒐集客觀證據
資料蒐集計畫
評鑑需求分析
•主要目的：促使主評鑑員與評鑑贊助者，
針對評鑑的目標、範圍、限制、角色、
責任與產出達成共識。
•評鑑贊助者必需清楚的表達對評鑑的期
望，並讓主評鑑員充分瞭解與同意之。
•主評鑑員與贊助者之間的共識，是評鑑
成功的關鍵。
發展評鑑計畫
•評鑑計畫是以評鑑贊助者的目標與早先決定的
評鑑範圍為基礎所發展出來的。
•計畫的內容包含：
–評鑑目標。
–評鑑之主要參與人員的資料。
–評鑑的模式範圍，含流程領域。
–CMMI模式表述方式。
–評鑑的使用方式。
–評鑑的輸出。
–評鑑的限制。
–風險。
遴選、準備評鑑小組
•主評鑑員從組織內部遴選評鑑小組的成
員(通常為4至9人)。
•評鑑小組成員的基本資格是曾接受過
CMMI 的基本課程訓練。
•由主評鑑員為小組成員進行相關訓練，
以使每個小組成員都能瞭解評鑑流程、
評鑑原則，以及每個人的工作與角色。
評鑑小組的資格
•整體評鑑小組須具備平均六年相關工程領域的
經驗，並須總共具備二十五年評鑑範圍內的相
關專業領域。
•在管理經驗上，總共要有十年的經驗，其中最
少一人，須具備六年專案經理的經驗。
•對組織中任何一個生命週期階段，至少兩人須
具備該階段的執行經驗。
•成員本身的中立性。
客觀證據
•所謂客觀證據是指經由問卷、訪談、文件審查
等來源所獲得且可驗證之資料，包括：
•直接成果(Direct Artifacts)
–執行 CMMI 一般或特定執行方法時的產出，且與一
般或特定執行方法的目的有直接相關。如典型的工
作產品。
•間接成果(Indirect Artifacts)
–一般或特定執行方法的產出，但該產品非執行方法
的目的，如典型的工作產品、會議記錄、審查結果
等。
•證實(Affirmations)
–口頭或書面的聲明，用以證實一般或特定執行方法
的實施，如問巻的回應、訪談、簡報等。
取得與分析初始客觀證據
•在CMMI評鑑小組成立及接受必要的訓練
之後，主評鑑員即開始與該小組成員展
開資料蒐集的活動。
•評鑑小組可以用問巻、訪談等方式，向
組織中所有評鑑範圍內的專案蒐集資料，
並將其對應到各個模式的執行方法。
取得與分析初始客觀證據 (2)
•客觀證據的蒐集活動，可用三個步驟做總結：
–組織/專案的流程與CMMI模式執行方法之間的對應
關係。
–蒐集各相關流程的執行方法建置指標。
–彙整所有專案的執行方法建置指標。
•分析所蒐集的客觀證據是否已充分涵蓋所有評
鑑範圍內的執行方法，或者證據本身仍有不足
之處，則須產生待蒐集之客觀證據清單，以訂
定資料蒐集計畫。
準備蒐集客觀證據
•根據待蒐集之客觀證據清單，訂定資料蒐集計
畫。
•資料蒐集計劃應包含下列資料：
–訪談的對象。
–需要審查的文件。
–受評鑑組織所需提供的簡報/展示。
–評鑑小組成員在資料蒐集活動中的角色與責任。
–資料蒐集的優先順序。
–資料蒐集工具的使用(如問卷)。
–訪談時程的安排。
–資料蒐集活動所可能引起的風險。
階段二：評鑑執行
相關關鍵人員
評鑑小組
受評鑑專案
活動
檢查客觀證據
輸出
資料蒐集
計畫的修訂
相關資料的更新
評鑑小組
受評鑑專案
驗證與確認客觀證據
資料蒐集計畫的修訂
相關評鑑資料的更新
評鑑小組
受評鑑專案
記錄客觀證據
相關評鑑資料的更新
要求提供更多的證據
製作評鑑結果
最後調查結果
評等
評鑑小組
檢查客觀證據
•客觀證據的來源包含問卷、文件、訪談、
現場展示，其中組織可自行決定是否需
要現場展示。
•檢查依據資料蒐集計畫所蒐集的客觀證
據是否能涵蓋 CMMI 模式，以及受評鑑
的組織範圍。
•評鑑小組依據客觀證據的檢查結果，修
訂資料蒐集計劃。
訪談
•在CMMI評鑑過程中，訪談扮演非常重要
的角色，其目的如下：
–界定組織中，組織成員相信可以且應該改善
的部份，以瞭解工作是如何進行的。
–瞭解組織使用中的流程。
–確保評鑑範圍，一如評鑑的規劃階段所界定
的。
訪談的對象
•高層經理：亦即受評鑑組織的負責人，以個別
訪談的方式進行，訪談議題以專案管理、專案
中所使用的流程為主。
•中層經理：以集體訪談的方式進行，以瞭解中
級管理階層對組織運作的看法、組織內的問題
所在以及需改善之處。
•功能代表(Functional Area
Representatives)：通常由6到12人組成，這
些代表來自於流程改善小組、需求、實作、確
認、驗證等相關部門。
驗證與確認客觀證據
•對客觀證據進行驗證工作，以證明組織
是否確實執行 CMMI 模式。
•驗證的方式是審查受評鑑組織所提供的
客觀證據的適當性。
•一般分為直接成果跟間接成果：
–直接成果可以直接的證明CMMI執行方法的實
施。
–間接成果如會議記錄等，則視為佐證。
記錄客觀證據
•評鑑小組在資料蒐集期間所聽到與看到
的訊息，都會先做成記錄，再轉換成其
它的資料格式。
•記錄客觀證據時，若認為資料仍然不足，
則評鑑小組可能會提出新的訪談或文件
審查需求。
製作評鑑結果
評鑑值
說明
全部達成
(Fully Implemented，FI)
1.有直接證據，且符合CMMI要求
2.最少一個間接證據或陳述，證明執行方法
的實踐
3.無重大缺失
多數達成
(Largely Implemented，LI)
1.有直接證據，且符合CMMI要求
2.最少一個間接證據或陳述，證明執行方法
的實踐
3.一個或多個缺點，但不影響執行方法的目
的
部分達成
(Partially Implemented，PI)
1.無直接證據或被判為不適當
2.間接證據或陳述可部分說明執行方法的實
踐
3. 一個或多個缺點，影響執行方法的目的
未達成(Not Implemented，NI)
任何情況不符合前三項者
製作評鑑結果
•經過確認的初步調查結果，稱之為最後
調查結果。評鑑小組即依據最後調查結
果，製作評鑑成果，並決定成熟度。
•取得某一級成熟度的條件是：該成熟度
以及該成熟度以下各級成熟度中，所有
的流程領域之特定目標與一般目標相關
的所有執行方法，都被描述為「全部達
成」或「多數達成」。
階段三：報告結果
相關關鍵人員
評鑑小組
受評鑑專案
評鑑贊助者
評鑑小組
受評鑑專案
評鑑贊助者
活動
提供評鑑結果
評鑑結果的處理
輸出
文件化的最後調查結果
建議報告 (非必要性)
評鑑所產生文件的結果
經驗教訓
提供評鑑結果
•向評鑑的贊助者與受評鑑組織提供評鑑
結果，以及根據各流程領域的優缺點，
建議各種矯正措施。
評鑑結果的處理
•保存評鑑的重要資料與記錄，尤其是與
缺點相關的資料。
•完成評鑑後，應儘快根據評鑑結果排定
改善措施的優先順序，積極展開改善的
活動，並持續追蹤改善的狀況。
Q&A