02b - qwik.jp
Download
Report
Transcript 02b - qwik.jp
【ICSE2011勉強会】
Session 2: Surfing the Dependability Wave (#2,#3)
担当: 小林隆志(名古屋大学)
1
Session 2: Surfing the Dependability Wave 担当:小林(名大)
Towards Quantitative Software Reliability
Assessment in Incremental
Development Processes
2
Session 2: Surfing the Dependability Wave 担当:小林(名大)
【#02-2】 Towards Quantitative Software Reliability
Assessment in Incremental Development Processes
藤井さん,土井先生(広島大),藤原さん(富士通クオリティ・ラボ)
藤井さん(現日立)の修士論文がベース(!!)の模様
ISSREなどでソフトウェア信頼性モデルの研究発表多数
概要
担当者は当該分野の
知識があまりありません
インクリメンタル開発における信頼性の定量評価手法を提案
非同次ポアソン過程(NHPP)とメトリクスを併用したモデル
綿密なCase Studyによる提案モデルの評価
参考文献
3
34件,ICSM05, PRCD10, ISAS08, ICSE84/90/93/05,
ISSRE97/06/10, COMPSAC06, ESEM09 など.
Session 2: Surfing the Dependability Wave 担当:小林(名大)
#02-2: Towards Quantitative Software Reliability Assessment…
Introduction
反復/差分 開
発は効果があ
る
Cost/effortの
見積もりや,生
産性に関する
研究は存在
信頼性の定量
的評価方法は
存在しない!
差分開発の
信頼性モデル(SRM)の
研究は多数なされてき
た (がうまくいかない)
提案手法
差分開発=類似開発の
集合としてとらえて,複
雑度メトリクスを定義し
て利用 [Wohlin97]
既存のものは差分開発
を考慮したSRMでない
NHPPベースのSRMを
採用.差分開発のため
の拡張を行う.
複雑度メトリクスではNG
反復開発であることを利
用すべき
NHPPベースのSRMは
差分開発の3つのタイプ
に適している
4
テストに関するメトリクス
に基づくSRMを提案
テスト工程の情報をメト
リクスと利用すると有用
[24,25,27]
Session 2: Surfing the Dependability Wave 担当:小林(名大)
#02-2: Towards Quantitative Software Reliability Assessment…
手法の(超)概要
前提:
各反復で単体/結合/システムテストを実施
システムテストにおいて発見した不具合数をカウント
時刻tの累積不具合数X(t)がNHPPに従う
反復を表現するθを導入し,パラメータ推定→定量評価
2つのモデル(指数回帰・線形回帰)を用意して,各反復での
m1+m2個のメトリクス値を利用するように拡張して,
最尤法でのパラメータ推定
指数回帰モデル
5
提案手法の尤度関数
Session 2: Surfing the Dependability Wave 担当:小林(名大)
#02-2: Towards Quantitative Software Reliability Assessment…
評価
実プロジェクトのデータ(28日反復回数I=6)を使用
メトリクスm1: MD(# of module developed), UT(# of faults
detected in unit test),RV(# of reviews)
メトリクスm2: # of testcases, KLOC, person-days
3つのCaseをそれぞれ評価
Case1: ただのNHPP,Case2: 指数回帰, Case3: 線形回帰
結果
6
Goodness-of-fit (表3)は Case2が優れている
故障数予測能力(§4.1)や次のフェーズの品質の予測(§4.2)
においても提案手法が優れている
Session N: XXX 担当:○○(○○大)
The Impact of Fault Models on
Software Robustness Evaluations
7
Session N: XXX 担当:○○(○○大)
【02-3】 The Impact of Fault Models on Software
Robustness Evaluations
S.Winter, C.Sarbu, N.Suri (TU Darmstadt),
B. Murphy(MSR)
DSN(10),SRDS(7), HASE(5), ISAS(4)
ICSE(5), ISSRE(5),DSN(3), CSCW(2)
8
概要
Software implemented fault injection(SWIFT)
SWIFTのための故障モデルの性能評価用メトリクスを
提案
OSのデバイスドライバに対して代表的なモデルを
適用して評価
参考文献32件: SOSP01, PRDC02, COMPASS93,
DSN04/05/07, ISSRE07, EDOC06.
Session 2: Surfing the Dependability Wave 担当:小林(名大)
02-3: The Impact of Fault Models on Software Robustness Evaluations
Introduction
商用コンポーネント
(COTS)でさえ十分な
テストがされていない
開発環境と異なる
実行環境だと
不具合が発生
コンポーネントの
堅牢性の評価に
SWIFT
が利用される
「欠陥がある」ことは示
せるが,「欠陥がない」
ことは難しい
Operational Profileを
作成して特定のコンテ
キストでの典型的な
perturbationを決定
Operational Profileで
カバーしていない操作
はチェックできない
Perturbation =
Invalid input and
stressful environmental condition
9
Injectするべき
perturbationsの数が
重要
異なるperturbationの
有効性を評価手法・
メトリクスを提案
提案メトリクスの実用
的な利用ガイドライン
を定義
Session 2: Surfing the Dependability Wave 担当:小林(名大)
提案手法の概要
対象コンポーネント(CUE)に, IUEを通してアクセスし,
Perturbationを注入する
Efficiency Analysisの
ために4つのメトリクスを
提案
10
IUE Coverage
Injection Efficiency
Average Execution Time
Implementation Complexity
Session 2: Surfing the Dependability Wave 担当:小林(名大)
評価
対象CUE: OS kernel of Windows CE .NET 4.2
BF, DT, FZ(筆者ら), SEU の4つのエラーモデルを対象とした
NF(No Fault), AE(App. Err), AH(App. Hang), SC(Sys.
Crash)の4段階の故障モードを定義
Injectした数に対する故障発見比率
11
単位時間当たりの発見数
Session 2: Surfing the Dependability Wave 担当:小林(名大)