Transcript 第7章

第7章
系統測試、查證及認證
目錄
•
•
•
•
•
•
•
•
•
•
7.0 前言
7.1 合成、分析與評估三者一體 ──在研究階段
7.2 查證
7.3 查證之內容及查證之方法
7.4 審查
7.5 審查之手法 ── 檢驗與平衡
7.6 關鍵設計審查
7.7 設計變更及系統改變之過程
7.8 美國軍方對驗證之重視
7.9 總結
第7章 系統測試、查證及認證
2
7.0 前言
• 待硬體逐一組妥則要經過系統之測試 (Test)
以及驗證之動作，這些把測試與驗證一併
解決，叫做系統確認、認證 (Validation)。
而在系統確認之前，整個系統在研究單位
或工廠中，必須做最後把關，一件一件的
測妥、組妥以及在廠房間之測試必須要通
通過關，這些就是查證 (Verification) 之工
作。
第7章 系統測試、查證及認證
3
7.1 合成、分析與評估三者一體 ──
研究階段
在
• 在系統設計中需要做整合及反覆檢討
(Iteration)，其中包括：合成、分析與評估，
如圖7-1所示。
第7章 系統測試、查證及認證
4
7.1 合成、分析與評估三者一體 ──
研究階段
在
• 就廣義來講，就是確定客戶需求在技術上
來講可以達成 (如圖7-2)。
第7章 系統測試、查證及認證
5
7.1 合成、分析與評估三者一體 ──
研究階段
在
1. 步驟一：合成 (Synthesis)
– 把那些大眾均知道的方法、事物合成一體，
成為一個新的組合，而達成一個具有新功能
的整體，展現一種新的性能，在設計合成上
就必須要看合成後之「新性能」是否滿足客
戶之需求。
第7章 系統測試、查證及認證
6
7.1 合成、分析與評估三者一體 ──
研究階段
在
2. 步驟二：分析 (Analysis)
– 分析之過程，可長可短，依主持人或小組長
而定，其工作包括由測試出之數據檔來估算
可能之功能，同時也預測設計參數中，哪些
被影響之參數 (DDP) 其參數值 (TPM) 為何是
輸出值，而由能夠得到之數據庫中找到並預
測可能的設計主參數之值 (Designindependent Parameter)。
第7章 系統測試、查證及認證
7
7.1 合成、分析與評估三者一體 ──
研究階段
在
3. 步驟三：評估 (Evaluation)
– 在前面預測及估算後會得到一組所謂「標準
答案」(Candidate)，此答案必須要在設計評
估中獲選，同時做所謂「擇優」(Optimized)
之計算，雖然擇優在某一方面是優，但在另
一方面並非如此，客戶一定要心裡有數，如
此一來，最後一定有一組「最佳組合」中選。
第7章 系統測試、查證及認證
8
7.1 合成、分析與評估三者一體 ──
研究階段
第7章 系統測試、查證及認證
在
9
7.2
查證
• 「產品」已達到一定之水準，但還要通過
客戶或第三者之試車一一滿足原先之規 定，
讓客戶滿意，這一關就是確認、認證
(Validation)，含測試及評估 (Test &
Evaluation) 兩項工作，則產品就可「提升」
到商品之階段了。
第7章 系統測試、查證及認證
10
7.2
•
•
•
•
•
查證
SFR：系統功能審查 (System Functional Review)。
PDR：初步設計審查 (Preliminary Design Review)。
CDR：關鍵設計審查 (Critical Design Review)。
TRR：測試備便審查 (Test Readiness Review)。
SVR：系統驗證審查 (System Verification Review)。
第7章 系統測試、查證及認證
11
7.3 查證之內容及查證之方法
• 其內容從最低層次之元件，一直向上，到全系統，
看看在成本上、時程上及性能上，在可允許之風
險範圍內，是否可以滿足需求，也就是我們常說
的如期、如質、如預算。這裡寫出三點為「可能」
忽略之諸項工作：
1.測試數據之獲得 (確保系統、次系統及元件等均要一一
滿足原有之規格)。
2.各級量化之性能均有「可測」之儀具及設備。
3.量及測出之資料必須要有經驗之專家通過審查及評量。
第7章 系統測試、查證及認證
12
7.3 查證之內容及查證之方法
• 在查證方法上有三種：
1.分析 ── 由分析面上去做查證。
2.檢測 ── 由量測硬體或檢驗上去確定數據。
3.現場操作 ── 配合一定之環境下，系統之操作是否
如預期且滿足客戶之需求。
第7章 系統測試、查證及認證
13
7.3 查證之內容及查證之方法
• 在檢測方面，如前面之性能參數 (TPM) ，
可以和其關鍵性做優先順序之排列，哪些
是一定要通過的，哪些是可條件性通過的，
哪些在某一定風險下，可同意過關等，相
關之重要參數 (Key Performance
Parameters, KPPs) 就必須要在實測下一一
驗證。
第7章 系統測試、查證及認證
14
7.3 查證之內容及查證之方法
第7章 系統測試、查證及認證
15
7.4
審查
• 所謂審查 (Review)，就是PDCA中C
(Check，檢查) 及A (Action，改正) 兩者之
結合，就是系統工程中回饋 (Feedback) 之
重要工作。
第7章 系統測試、查證及認證
16
7.4
審查
• 審查在系統工程中依設計來分有三種：
1.設計前之審查
(1)ASR (Alternative System Review)：備案系統審查。
(2)SRR (System Requirements Review)：系統需求審查 [又稱
概念設計審查 (Conceptual Design Review)]。
2.設計審查
(1)SDR (System Design Review)：系統設計審查。
(2)SSR (Software Specificate Review)：軟體規格審查。
(3)PDR (Preliminary Design Review)：初步設計審查。
(4)CDR (Critical Design Review)：關鍵設計審查。
(5)DDR (Detail Design Review)：細步設計審查。
第7章 系統測試、查證及認證
17
7.4
審查
3.驗證審查
(1)TRR (Test Readiness Review)：測試備便審查。
(2)PRR (Production Readiness Review)：生產備便審查。
(3)FCA (Functional Configuration Audit)：功能模型稽核。
(4)SVR (System Verification Review)：系統驗證審查。
(5)PCR (Physical Configuration Review)：實體模型審查。
第7章 系統測試、查證及認證
18
7.4.1
技術審查及稽核
1.技術審查
– 為一系列系統工程之審查活動 (Activity)，每一
個活動以專案合約為內容需求，其目的在評估
該專案之技術進展程度，在系統研究發展過程
中看時程是否合理，找出問題及矯正已完成工
作之錯誤及解決爭議，以便使專案失敗之風險
降到最小。
第7章 系統測試、查證及認證
19
7.4.1
技術審查及稽核
2.稽核
(1)適切性、效益性 ── 會計、預算、財務等相關
之策略及步驟是否具備？
(2)程序 ── 是否符合試用之法令、規章及規定之
程序？
(3)可靠度、精確性及完整性 ── 相關財務及管理
工作紀錄是否滿足？
(4)在經費、相關資源之使用是否得宜、程序是否
妥當？
第7章 系統測試、查證及認證
20
7.4.2
在設計階段之審查
• 至少有下列幾個階段：
1.概念設計。
2.初步設計。
3.細部設計及工程發展。
4.產品量產或工廠施工。
5.系統產出、交客戶使用及後勤維修。
第7章 系統測試、查證及認證
21
7.4.2
在設計階段之審查
• 而其相關對應重要的幾個審查項目為：
甲 ── CDR (概念設計審查)。
乙 ── SDR。
丙── 設備 / 軟體設計審查 (Equipment/Software
Design Review)。
丁 ── CDR (關鍵設計審查)。
第7章 系統測試、查證及認證
22
7.4.2
在設計階段之審查
第7章 系統測試、查證及認證
23
7.4.2
在設計階段之審查
• 各階段之輸出：
1.工作 (1) A
•
•
•
•
系統可行性分析。
系統使用 / 操作需求性確定。
維修方式討論。
未來規劃展開。
2.工作 (2) B
•
•
•
•
•
•
•
功能分析。
需求配當到基層。
合成。
擇衷優化。
初步設計。
在一定之設計下做測試及評估 / 量。
未來細步規劃。
第7章 系統測試、查證及認證
24
7.4.2
在設計階段之審查
3.工作 (3) C
• 次系統及元件細步設計、擇衷優化。
• 原型產品模型工程發展、測試及評估。
• 產品規則。
4.工作 (4) D
•
•
•
•
系統及其元件之製作。
產品供應商及分銷點規劃。
系統使用性蒐集意見。
系統維修後勤及資料回收進行製作分析。
5.工作 (5) E
• 系統使用性及持久維修性，後勤案蒐集意見及回收
並分析。
第7章 系統測試、查證及認證
25
7.4.2
在設計階段之審查
第7章 系統測試、查證及認證
26
7.4.2
在設計階段之審查
第7章 系統測試、查證及認證
27
7.4.3 審查 ── 依從 / 屬來分
7.4.3.1 主要審查
• 為全系統之審查，而且依前面之流程，是
內部已做妥「分析」，意見已近乎「一致」後
之正式審查，而且是要顧客 / 客戶認可，可
以舉行顧客會來參加備書之審查。
第7章 系統測試、查證及認證
28
7.4.3.2
漸進式審查
• 此為進行前述主要審查前之次系統或說預
備審查，先解決及協調一些待解決或有爭
議之問題，並以此結果做為是否要進入主
要審查之條件，此一審查不需要客戶參加，
若無法達成共識則再配當下去解決更細之
關鍵問題，再繼續之。
第7章 系統測試、查證及認證
29
7.4.3.2
漸進式審查
• 漸進式審查依性能又可分為三種：
1.次系統審查 (Subsystem Review)。
2.功能審查 (Functional Review)。
3.期中審查 (或說期中查訪)。
第7章 系統測試、查證及認證
30
7.4.4
第7章 系統測試、查證及認證
審查三項
31
7.5
審查之手法 ── 檢驗與平衡
• 在以上整個或各種之審查之中，隨時要有
「檢驗與平衡」(Check & Balance) 之技術，
一方面對不同意見要儘量讓大家發表。
• 關鍵設計審查及工程發展中常遇到之問題，
設計更改 (Design Change) 或是要提出設
計工程變更 (Engineering Change Proposal,
ECP)。
第7章 系統測試、查證及認證
32
7.6
關鍵設計審查
• 此一審查點，在系統細部設計與生產量產之間，或說開始
於細部設計已接近完成 (Completion) 之時。
• CDR在此要注意以下五點：
1.它的設計終結 ── 代表設計文件劃下句點，全系統到元件 (製造藍
圖、材料、零件表、供應元件資料……等) 全部凍結。
2.分析、預測、擇衷優化、測試評估及相關之文件均已備齊。
3.系統最後也是最完整，及已滿足需求基準產品已經定型。哪些技術
可做的到、哪些技術要假手他人、哪些技術與國外合作、風險是
否在此系統中容允。
4.細部生產、量產及規劃資料之計畫要提出 (適當之製程元件之生產，
量產如何管制品質、物流之掌控、通路之建立、時程等)。
5.涵蓋全生命週期之最終後勤維修補給，計畫要一直涵蓋到客戶使用
及耗損件維修之階段。
第7章 系統測試、查證及認證
33
7.7
設計變更及系統改變之過程
• 到各分系統及元件，到了細步設計時，上面之
CDR中就會討論製程及特殊製造及全系統精度容
差，配當到各分系統及元件之容差量 (Erroer
Budget) 之問題。此容差一旦達成到工廠去加工，
可能又下包好幾個廠商，若某廠為總成有上百個
零件，如何管制做好容差量之分配？且要與技術
人員配合才行，因此產品就有可能「不合」，這
種不合依經驗就要立刻研判如何處理，一旦要做
設計工程變更 (Engineering Change Proposal,
ECP) 時，就要認識何謂ECP，且ECP有兩種等
級。
第7章 系統測試、查證及認證
34
7.7.1 設計工程變更提出之等級
• 一般而言，ECP可分為兩種等級：
1.等級一之變更 (Class 1 Change)
• 此種變更會響影產品外型、配製或甚至功能 (包含性
能、安全及風險)。
2.等級二之變更 (Class 2 Change)
• 此種變更與1. 比較，相對影響較小且對系統規格沒
有什麼影響。
第7章 系統測試、查證及認證
35
7.7.1
設計工程變更提出之等級
第7章 系統測試、查證及認證
36
7.8 美國軍方對驗證之重視
• 美國太平洋飛彈測試中心的艾克博特在為
Test and Evaluation of the Tactical Missile
一書書寫序之前，提到測試與評估在武器
系統獲得過程 (System-acquistion Process)
中是越來越重要，且在美軍軍方推行更是
不遺餘力，該書中針對美國飛彈系統在全
世界服役上，相對比較下之高可靠度之成
功，主要是歸功在有嚴格之驗證測試之步
驟及許多大型之實驗場做全力協測。
第7章 系統測試、查證及認證
37
7.9
總結
• 系統工程在本章中，做到最關鍵之工作就
是審查，但審查由小到大，由輕到重均有
不同，更重要是一旦審查不過，要如何在
最短時間，校正或修改，而不會影響計畫
之時程。
第7章 系統測試、查證及認證
38