Transcript 02b - qwik.jp

【ICSE2011勉強会】
Session 2: Surfing the Dependability Wave (#2,#3)
担当： 小林隆志（名古屋大学）
1
Session 2: Surfing the Dependability Wave 担当：小林（名大）
Towards Quantitative Software Reliability
Assessment in Incremental
Development Processes
2
Session 2: Surfing the Dependability Wave 担当：小林（名大）
【#02-2】 Towards Quantitative Software Reliability
Assessment in Incremental Development Processes
藤井さん，土井先生(広島大)，藤原さん(富士通クオリティ・ラボ)



藤井さん(現日立)の修士論文がベース(!!)の模様
ISSREなどでソフトウェア信頼性モデルの研究発表多数
概要




担当者は当該分野の
知識があまりありません
インクリメンタル開発における信頼性の定量評価手法を提案
非同次ポアソン過程(NHPP)とメトリクスを併用したモデル
綿密なCase Studyによる提案モデルの評価
参考文献


3
34件，ICSM05, PRCD10, ISAS08, ICSE84/90/93/05,
ISSRE97/06/10, COMPSAC06, ESEM09 など．
Session 2: Surfing the Dependability Wave 担当：小林（名大）
#02-2: Towards Quantitative Software Reliability Assessment…
Introduction
反復/差分 開
発は効果があ
る
Cost/effortの
見積もりや，生
産性に関する
研究は存在
信頼性の定量
的評価方法は
存在しない！

差分開発の
信頼性モデル(SRM)の
研究は多数なされてき
た (がうまくいかない)
提案手法
差分開発＝類似開発の
集合としてとらえて，複
雑度メトリクスを定義し
て利用 [Wohlin97]
既存のものは差分開発
を考慮したSRMでない
NHPPベースのSRMを
採用．差分開発のため
の拡張を行う．
複雑度メトリクスではNG
反復開発であることを利
用すべき
NHPPベースのSRMは
差分開発の3つのタイプ
に適している
4
テストに関するメトリクス
に基づくSRMを提案
テスト工程の情報をメト
リクスと利用すると有用
[24,25,27]
Session 2: Surfing the Dependability Wave 担当：小林（名大）
#02-2: Towards Quantitative Software Reliability Assessment…
手法の(超)概要
前提：




各反復で単体/結合/システムテストを実施
システムテストにおいて発見した不具合数をカウント
時刻tの累積不具合数X(t)がNHPPに従う

反復を表現するθを導入し，パラメータ推定→定量評価

2つのモデル(指数回帰・線形回帰)を用意して，各反復での
m1+m2個のメトリクス値を利用するように拡張して，
最尤法でのパラメータ推定
指数回帰モデル
5
提案手法の尤度関数
Session 2: Surfing the Dependability Wave 担当：小林（名大）
#02-2: Towards Quantitative Software Reliability Assessment…
評価
実プロジェクトのデータ(28日反復回数I=6)を使用



メトリクスm1: MD(# of module developed), UT(# of faults
detected in unit test)，RV(# of reviews)
メトリクスm2: # of testcases, KLOC, person-days
3つのCaseをそれぞれ評価


Case1: ただのNHPP，Case2: 指数回帰, Case3: 線形回帰
結果



6
Goodness-of-fit (表3)は Case2が優れている
故障数予測能力(§4.1)や次のフェーズの品質の予測(§4.2)
においても提案手法が優れている
Session N: XXX 担当：○○（○○大）
The Impact of Fault Models on
Software Robustness Evaluations
7
Session N: XXX 担当：○○（○○大）
【02-3】 The Impact of Fault Models on Software
Robustness Evaluations

S.Winter, C.Sarbu, N.Suri (TU Darmstadt)，
B. Murphy(MSR)
DSN(10),SRDS(7), HASE(5), ISAS(4)
ICSE(5), ISSRE(5)，DSN(3), CSCW(2)
8

概要
 Software implemented fault injection(SWIFT)
 SWIFTのための故障モデルの性能評価用メトリクスを
提案
 OSのデバイスドライバに対して代表的なモデルを
適用して評価

参考文献32件： SOSP01, PRDC02, COMPASS93,
DSN04/05/07, ISSRE07, EDOC06.
Session 2: Surfing the Dependability Wave 担当：小林（名大）
02-3: The Impact of Fault Models on Software Robustness Evaluations
Introduction
商用コンポーネント
(COTS)でさえ十分な
テストがされていない
開発環境と異なる
実行環境だと
不具合が発生
コンポーネントの
堅牢性の評価に
SWIFT
が利用される
「欠陥がある」ことは示
せるが，「欠陥がない」
ことは難しい

Operational Profileを
作成して特定のコンテ
キストでの典型的な
perturbationを決定
Operational Profileで
カバーしていない操作
はチェックできない

Perturbation ＝
Invalid input and
stressful environmental condition
9
Injectするべき
perturbationsの数が
重要
異なるperturbationの
有効性を評価手法・
メトリクスを提案
提案メトリクスの実用
的な利用ガイドライン
を定義
Session 2: Surfing the Dependability Wave 担当：小林（名大）
提案手法の概要

対象コンポーネント(CUE)に， IUEを通してアクセスし，
Perturbationを注入する

Efficiency Analysisの
ために4つのメトリクスを
提案




10
IUE Coverage
Injection Efficiency
Average Execution Time
Implementation Complexity
Session 2: Surfing the Dependability Wave 担当：小林（名大）
評価

対象CUE: OS kernel of Windows CE .NET 4.2


BF, DT, FZ(筆者ら), SEU の4つのエラーモデルを対象とした
NF(No Fault), AE(App. Err), AH(App. Hang), SC(Sys.
Crash)の4段階の故障モードを定義
Injectした数に対する故障発見比率
11
単位時間当たりの発見数
Session 2: Surfing the Dependability Wave 担当：小林（名大）