データ白書の見方・使い方(2 )

Download Report

Transcript データ白書の見方・使い方(2 )

SEC
Software Engineering
for Mo・No・Zu・Ku・Ri
データ白書の見方・使い方(2)
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
0
SEC
内容:データ白書の見方・使い方
Software Engineering
for Mo・No・Zu・Ku・Ri
(1章~5章)
6章 工数、工期、規模の関係の分析
7章 信頼性の分析
8章 工程別の分析
9章 生産性の分析
10章 予実分析等
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
1
SEC
6.工数、工期、規模の関係の分析(1)
Software Engineering
for Mo・No・Zu・Ku・Ri
 工数、工期、規模の関係の分析について(1)
 データ白書では、工数、工期、規模について各要素間を
分析している。
 2つの要素間に相関関係などが見えるか、散布図で表し、
回帰分析を行っている。
 プロジェクトの規模と工数や、工数と工期との間に定式性や
特性を見出すことができれば、例えば、適正な工数や工期の
範囲の目安が見えてくる。
 傾向や相関を見ることで、以下の利用が考えられる。


見積や計画の妥当性の確認や、工数、工期を短縮する目標の
目安に利用することができる。
規模の増加に伴って工数がどのように増加するのかなど、
データの傾向を把握し、その関係が利用者の持つプロジェクト
データにも成り立つ可能性を考慮して利用することができる。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
2
SEC
6.工数、工期、規模の関係の分析(2)
Software Engineering
for Mo・No・Zu・Ku・Ri
 工数、工期、規模の関係の分析について(2)
 分析対象について
データ分析における主要な要素の内、工数、工期、規模
(FP規模、SLOC規模)のそれぞれの関係を以下の組み合わせ
により分析対象としている。
主要なデータ要素の組み合わせ:
FP
規模
FP規模
SLOC規模
他規模測定要素
工数
工期
○
○
○
SLOC
規模
○
他規模測
定要素
工数
データ白書2010-11
○
○
図表6-1-1
 データ白書における分析としては、「プロジェクト全体」と、
「業種」や「アーキテクチャ」などの特性ごとに層別を行っている。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
3
SEC
6.工数、工期、規模の関係の分析(3)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「工数と工期」のデータの見方
 新規開発(開発5工程)
開発5 工程の工数と工期(新規開発)信頼幅50%、95%付き
N=493
35
・新規開発では工数と工期には
正の「相関」が認められる。
・ばらつきはあるが、工期(月数)は
工数の3乗根に概ね比例している。
実績月数(開発5工程) [月]
30
y(50%)
y(-50%)
y(95%)
y(-95%)
25
20
15
10
データ白書2010-2011
5
P124、図表6-3-2
Copyright IPA SEC
0
0
50,000
100,000
150,000
200,000
250,000
例) 新規開発、開発5工程
工期 = A × (工数)* * 0.31 (Aは係数、相関係数 R = 0.71)
散布図の分布状況:
信頼幅95%の下限値より下にはプロジェクトがほとんどない。
工数に対する工期の実現可能性を考える上で目安になりそうである。
300,000
実績工数(開発5工程) [人時]
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
4
SEC
6.工数、工期、規模の関係の分析(4)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「規模と工数」のデータの見方
 新規開発、IFPUGグループ
FP規模と工数 (新規開発、IFPUGグループ) 対数表示
FP規模と工数 (新規開発、IFPUGグループ) 信頼幅50%付き
N=283
10,000,000
1,000,000
y(50%)
y(-50%)
250,000
100,000
10,000
1,000
100
データ白書2010-2011
10
P135、図表6-4-11
実績工数(開発5工程) [人時]
実績工数(開発5工程) [人時]
N=283
300,000
200,000
150,000
100,000
データ白書2010-2011
50,000
P134、図表6-4-9
Copyright IPA SEC
1
1
10
100
1,000
FP実績値(調整前)[FP]
10,000
100,000
Copyright IPA SEC
0
0
2,000
4,000
6,000
8,000
10,000
12,000
14,000
16,000
FP実績値(調整前)[FP]
 FP規模と工数には正の「相関」が認められる。
例) 新規開発、IFPUGグループ
工数 = A × (FP規模)**B B=1.19 (Aは係数、相関係数R=0.88)
(B = 1.19 の場合、FP規模が2倍になると、工数は約2.28倍になる。)
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
5
SEC
6.工数、工期、規模の関係の分析(5)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「その他規模(画面、帳票数)と工数」のデータの見方(1)
 画面数と工数:新規開発
N=236
1,000,000
対数表示
1,000,000
10,000
1,000
100
データ白書2010-2011
P164、図表6-7-12
10
実績工数(開発5工程) [人時]
100,000
実績工数(開発5工程) [人時]
N=236
1,200,000
800,000
600,000
400,000
データ白書2010-2011
200,000
P164、図表6-7-11
Copyright IPA SEC
1
1
10
100
Copyright IPA SEC
0
1,000
0
画面数
200
400
600
800
1,000
 帳票数と工数:新規開発
実績工数(開発5工程) [人時]
10,000
1,000
データ白書2010-2011
100
1,000,000
実績工数(開発5工程) [人時]
対数表示
100,000
P164、図表6-7-12
10
Copyright IPA SEC
1
10
100
1,000
10,000
800,000
600,000
400,000
データ白書2010-2011
200,000
P164、図表6-7-11
Copyright IPA SEC
0
0
200
400
600
800
1,000
1,200
帳票数
帳票数
データ白書の見方と定量データ活用ポイント
N=173
1,200,000
N=173
1,000,000
1
1,200
画面数
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
6
SEC
6.工数、工期、規模の関係の分析(6)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「その他規模(画面、帳票数)と工数」のデータの見方(2)
 データの関係性
工数と画面数、帳票数とは強い関係は見られない。
(データ収集の定義において、単純に画面数、帳票数としており、
尺度の不統一感もばらつきの一要因と考えられる。)
留意点:
 新しく取り組むシステムのプロジェクト工数を各々個別指標から
予測する場合、誤差が大きい可能性を考慮する必要がある。
 例えば、画面数と工数という一つの見方だけではなく、
データファンクション、DBテーブル、画面、帳票、バッチといった、
複数の規模測定要素の関係を見る。
 その上でFP規模やSLOC規模との関係も合わせて利用する。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
7
SEC
内容:データ白書の見方・使い方
Software Engineering
for Mo・No・Zu・Ku・Ri
(1章~5章)
6章 工数、工期、規模の関係の分析
7章 信頼性の分析
8章 工程別の分析
9章 生産性の分析
10章 予実分析等
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
8
SEC
7.信頼性の分析(1)
Software Engineering
for Mo・No・Zu・Ku・Ri
 信頼性の分析について(1)
 システム稼動後の「発生不具合数」及び「発生不具合密度」
を基に、開発したソフトウェアの信頼性について示している。
 基本的には、規模に対して、稼動後の発生不具合数および
不具合発生密度との関係を分析している。
 散布図からの傾向や定式性を導き出すことができれば、
以下のような利用が考えられる。



稼動後不具合数の予測が可能になる。
稼動後不具合数を品質目標として捉えることができる。
稼動後のシステムの品質の評価に利用する。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
9
SEC
7.信頼性の分析(2)
Software Engineering
for Mo・No・Zu・Ku・Ri
 信頼性の分析について(2)
 層別について
以下について層別を行い、規模と発生不具数、規模と
発生不具合密度の関係について分析している。




開発プロジェクトの種別
規模の種別(FP規模かSLOC規模か)
業種
アーキテクチャ
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
10
SEC
7.信頼性の分析(3)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「信頼性の分析」のデータの見方(1)
 規模と発生不具合数・不具合密度
稼動後不具合密度 =
稼動後の不具合数 ÷ 規模
全開発種別:IFPUGグループ
FP 規模と発生不具合数(IFPUG グループ)
FP 規模とFP 発生不具合密度(IFPUG グループ)
N=397
350
N=397
500
Copyright IPA SEC
Copyright IPA SEC
発生不具合数
250
200
150
100
450
1,000FPあたりの発生不具合数
a:新規開発
b:改修・保守
c:再開発
d:拡張
300
a:新規開発
b:改修・保守
c:再開発
d:拡張
400
350
300
250
200
150
100
50
50
0
0
0
2,000
4,000
6,000
8,000
10,000
12,000
14,000
16,000
0
FP実績値(調整前)[FP]
4,000
6,000
8,000
10,000
12,000
14,000
16,000
FP実績値(調整前)[FP]
データ白書2010-1011
P174、図表7-2-3
データ白書の見方と定量データ活用ポイント
2,000
Copyright© 2011 IPA, All rights reserved.
中央値 4.0
平均値 21.3
標準偏差58.6
データ白書2010-1011
P178、図表7-3-3
[件/KFP]
Software Engineering Center
11
SEC
7.信頼性の分析(4)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「信頼性の分析」のデータの見方(2)
 規模と発生不具合数・不具合密度
全開発種別:SLOC、主開発言語混在
SLOC 規模と発生不具合数(主開発言語混在)
N=738
1.4
Copyright IPA SEC
Copyright IPA SEC
a:新規開発
b:改修・保守
c:再開発
d:拡張
160
140
120
100
80
60
40
a:新規開発
b:改修・保守
c:再開発
d:拡張
1.2
1KSLOCあたりの発生不具合数
180
発生不具合数
SLOC 規模と発生不具合密度(主開発言語混在)
N=739
200
稼動後不具合密度 =
稼動後の不具合数 ÷ 規模
1.0
0.8
0.6
0.4
0.2
20
0
0.0
0
500
1,000
1,500
2,000
2,500
3,000
3,500
4,000
0
500
SLOC規模 [KSLOC]
1,500
2,000
2,500
3,000
3,500
4,000
SLOC規模 [KSLOC]
データ白書2010-1011
P185、図表7-4-1
データ白書の見方と定量データ活用ポイント
1,000
Copyright© 2011 IPA, All rights reserved.
中央値 0.011
平均値 0.123
標準偏差 0.426
データ白書2010-1011
P189、図表7-5-1
[件/KSLOC]
Software Engineering Center
12
SEC
7.信頼性の分析(5)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「信頼性の分析」のデータの見方(3)
規模と発生不具合数:
 散布図からは以下のように顕著な関係までは見て取れない。



規模が大きくなれば発生不具合数が多くなるまでは言い切れない。
規模と発生不具合数に相関関係があるとまでは言い切れない。
特に線形性があるようには見て取れない。
 規模が大きくなれば発生不具合数が大きくなる、もしくは
小さくなるなどの顕著な傾向は見られない。
 プロジェクトでは、発生不具合数のばらつきが大きく、極端に
発生不具合数が多いプロジェクトも存在する。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
13
SEC
7.信頼性の分析(6)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「信頼性の分析」のデータの見方(4)
規模と発生不具合密度:
 規模が小~中では、不具合密度には大きな幅がある。
 散布図からは、規模と発生不具合密度との顕著な関係までは
見て取れない。
 不具合密度は裾野が広い分布であり、規模が大きなプロジェクト
では、不具合密度はほぼ一定値以下となり、高いものはない。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
14
7.信頼性の分析(7)
SEC
Software Engineering
for Mo・No・Zu・Ku・Ri
 「信頼性の分析」のデータの見方(5)
留意点:
 発生不具合数のばらつきは、以下の点を考えると、収集した
データの尺度の問題が要因かもしれない。



発生不具合は、現象数と原因数に分けているが、原因数が無い場合は
現象数を使用している。
データ提供企業により、不具合数の把握期間が異なる。
発生不具合数は、システム稼動後6ヶ月間の累計値を基本的に用いてい
る。
ただし、システム稼動後6ヶ月を経過していないものもあり、1ヶ月または
3ヶ月までの累計値となっているデータも混在している。
 例えば1ヶ月しか経っていないデータと6ヶ月経ったデータが混在
している可能性があり、6ヶ月間の不具合数より小さい数となるも
のも混在することに注意されたい。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
15
7.信頼性の分析(8)
SEC
Software Engineering
for Mo・No・Zu・Ku・Ri
 「信頼性の分析」のデータの活用
 ソフトウェア規模から不具合数を推測し、以降のプロジェクト
での保守工数を計画する。
 ソフトウェア規模に応じた不具合数を見ることによって、
プロジェクトを評価する。
(組織的開発力の評価とし、総合的な強み、弱みを認識する。)
留意点:
 上記のようなデータ活用が想定されるが、規模から発生不具合
数の予測に使うのは、まだ難があると思われる。

図表から、例えば4000FPよりも大きな規模については、不具合件数が
一定しているようにも見えるが、FP、SLOCの場合共に不具合密度
のバラツキは大きく、規模から稼動後の発生不具合数を予測することは
まだ難しいと考えられる。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
16
SEC
内容:データ白書の見方・使い方
Software Engineering
for Mo・No・Zu・Ku・Ri
(1章~5章)
6章 工数、工期、規模の関係の分析
7章 信頼性の分析
8章 工程別の分析
9章 生産性の分析
10章 予実分析等
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
17
SEC
8.工程別の分析
Software Engineering
for Mo・No・Zu・Ku・Ri
 工程別の分析について
 開発5工程全体ではなく、工程別に工数と工期、レビューおよび
テストケースとバグ密度の分析結果を示している。
 8.1 工程別の工期、工数
工期や工数の工程別比率に関する分析
 8.2 レビュー指摘件数
基本設計、製作工程のレビュー指摘件数に関する分析
 8.3 レビュー実績工数
設計工程のレビュー実績工数、各工程のレビュー実績工数比率
に関する分析
 8.4 テスト工程別のテストケース数と検出バグ数
結合テスト、総合テスト(ベンダ確認)の2工程を対象に以下を分析



規模当りと工数当りのテストケース数
検出バグ現象数
検出バグ原因数
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
18
8.1 工程別の工期、工数(1)
SEC
Software Engineering
for Mo・No・Zu・Ku・Ri
 「工程別の工期、工数」について
 開発5工程の工程ごとの工期、工数の比率を示し、各々の
分析結果を示している。

各プロジェクトにおいて、開発5工程の実績月数又は工数の合計を
分母として、各々の工程での比率を算出している。
 工程別の工数、工期比率の関係を見出すことで、プロジェクト
全体から、さらに詳細な見積、計画、評価などに利用できる
ようにする。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
19
SEC
8.1 工程別の工期、工数(2)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「工期比率」のデータの見方
工期比率 ・・・各開発工程を実施するのに必要とされる期間
工程
基本設計
詳細設計
製作
結合テスト
総合テスト(ベンダ確認)
N
131
131
131
131
131
最小
0.016
0.026
0.047
0.016
0.014
P25
0.155
0.143
0.211
0.094
0.074
中央
0.227
0.191
0.263
0.143
0.121
要件定義工程も含めた工程別の
実績月数の率の基本統計量 (新規開発)
工程
要件定義
開発5工程
N
82
82
最小
0.032
0.520
P25
0.106
0.768
中央
0.146
0.854
P75
0.232
0.894
P75
0.301
0.246
0.359
0.185
0.183
(新規開発) [比率]
最大
平均
標準偏差
0.522
0.232
0.105
0.645
0.200
0.091
0.902
0.285
0.116
0.386
0.145
0.068
0.571
0.138
0.088
データ白書2010-2011
データ白書2010-2011
P202、図表8-1-3
P202、図表8-1-2
最大
0.480
0.968
[比率]
平均
標準偏差
0.178
0.102
0.822
0.102
データの関係性:
 比率が高い工程には「それだけ長い作業期間を要する」ということ。
 プロジェクト期間全体の約30%(1/5~1/3)を製作工程が占める。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
20
SEC
8.1 工程別の工期、工数(3)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「工数比率」のデータの見方
工数比率 ・・・各開発工程を実施するのに必要な作業工数の比率
(新規開発)
工程
N
487
487
487
487
487
基本設計
詳細設計
製作
結合テスト
総合テスト(ベンダ確認)
最小
0.001
0.016
0.018
0.002
0.000
P25
0.095
0.117
0.275
0.110
0.061
中央
0.143
0.167
0.355
0.156
0.116
要件定義工程も含めた工程別の実績工数の
比率の基本統計量 (新規開発)
工程
要件定義
開発5工程
N
260
260
最小
0.001
0.328
P25
0.045
0.868
中央
0.079
0.921
P75
0.205
0.222
0.449
0.211
0.172
最大
0.589
0.613
0.847
0.938
0.564
平均
0.161
0.175
0.370
0.167
0.127
[比率]
標準偏差
0.094
0.084
0.143
0.093
0.086
データ白書2010-2011
データ白書2010-2011
P205、図表8-1-9
P204、図表8-1-8
P75
0.132
0.955
最大
0.672
0.999
[比率]
平均
標準偏差
0.098
0.082
0.902
0.082
データの関係性:
 比率が高い工程には「それだけ多くの作業工数がかかる」ということ。
 プロジェクト全体の工数の35%弱を製作工程が占めている。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
21
SEC
8.1 工程別の工期、工数(4)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「工程別の工期、工数」のデータの活用
留意点(工期比率と工数比率):
 要件定義工程はプロジェクト特性により異なるなど、同じ尺度とし
ての見方が難しい面もあるので、あくまでも目安として参照する。
 工期比率のみを参照しても、必ずしも比率が高い工程に多くの要
員が必要ということではない。
 要員数が少なくても工程の期間が長いと、工程全体の工数は多
くなる。工数比率、工期比率双方を利用するとよい。
例)
 工数比率において、基本設計と結合テストの値(中央値参照)は
近い方だが、工期比率の値はやや異なっている。
ここから、基本設計は結合テストもよりも、より長い期間で、
少ない人数で対応していることが分かる。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
22
SEC
8.2 レビュー指摘件数(1)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「レビュー指摘件数」について
 設計工程及び制作工程のレビュー指摘件数に関する分析結果を
示している。
 レビュー指摘件数に対する密度として、以下の3つの観点により
分析結果を基本統計量として示している。



規模当り(FP規模当り、SLOC規模当り)の件数
工数当りの件数
ページ当りの件数
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
23
SEC
8.2 レビュー指摘件数(2)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「レビュー指摘件数」のデータの見方
 分析対象は開発5工程全てのフェーズが「有り」となっている
データである。
 「②工数あたり」の工数は、対象工程の工数
(1000人時あたり、160人時あたりの2種類)としている。
 工数は、対象工程のレビュー工数に対するレビュー指摘件数と
している。
ページあたりの基本設計レビュー指摘件数の基本統計量
N
113
最小
0.000
データ白書の見方と定量データ活用ポイント
P25
0.093
中央
0.266
P75
0.500
Copyright© 2011 IPA, All rights reserved.
最大
2.178
[件/ページ]
平均
標準偏差
0.419
0.482
Software Engineering Center
24
SEC
8.2 レビュー指摘件数(3)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「レビュー指摘件数」のデータの活用(1)
 ソフトウェアの品質を把握する際、また品質目標を策定する際、
その一つの考え方に閾値モデル(管理図分析)がある。
 ある尺度の閾値によって、例えば管理図分析においては、
データの分布がUCLとLCLに対して、どの位置にあるかで、
データが正常値であるか外れ値であるかを判定する考え方であ
る。


UCL(上部管理限界線 Upper Control Limit)
LCL(下部管理限界線 Lower Control Limit)
例) 要求分析・設計における品質予測の事例(閾値モデル)
要注意!
UCL
レビュー
指摘密度
LCL
(詳細はSEC BOOK 「品質予測のススメ」、「続品質予測のススメ(実践編)」を参照)
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
25
SEC
8.2 レビュー指摘件数(4)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「レビュー指摘件数」のデータの活用(2)
 UCLやLCLには、品質データが正規分布する際には、標準偏差
の何倍かを目安に策定する考え方がある。
 しかし、ソフトウェア開発のデータ、例えばレビュー指摘件数の
データは正規分布しないこともある。
 その場合、基本統計量で示している四分位点のような、外れ値
に引きずられにくい統計量を参照するのも一考である。
留意点:
 ただし、P25とP75では、あくまでもその箱の中には50%の
データのみが入るような値なので、品質指標としてUCLやLCL
に直接設定することは早計である。
 データ白書では分布や特徴を見る一つの統計量として明示して
いるものではあるので、その点を考慮して参照する必要がある。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
26
8.3 レビュー実績工数(1)
SEC
Software Engineering
for Mo・No・Zu・Ku・Ri
 「レビュー実績工数」について
 データ白書では、基本設計、詳細設計工程について、ページ
あたりの対象工程におけるレビュー実績工数を、基本統計量
として示している。
 また、基本設計、詳細設計、制作の3工程について、それぞれ
該当する工数に対するレビュー実績工数を、レビュー実績工数
比率として示している。
 プロジェクトのレビューの妥当性確認や、ドキュメントページ数
からのレビュー工数の予測、工程内工数からのレビュー工数
の予測などに利用することが考えられる。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
27
X軸
SEC
8.3 レビュー実績工数(2)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「レビュー実績工数」のデータの見方
 設計工程のレビュー実績工数と、工程別レビュー実績工数比率
の
基本統計量を以下に示す。
データ白書2010-2011
ページあたりの基本設計レビュー実績工数の基本統計量(新規開発) P209、図表8-3-1
N
43
最小
0.018
P25
0.065
中央
0.223
P75
1.166
最大
120.267
[人時/ページ]
平均
標準偏差
12.489
30.260
データ白書2010-2011
工程別レビュー実績工数比率の基本統計量
P211、図表8-3-6
[比率]
レビュー実績工数比率
N
最小
P25
中央
P75
最大
平均
標準偏差
基本設計
詳細設計
製作
211
204
153
0.003
0.002
0.001
0.030
0.030
0.014
0.068
0.065
0.029
0.136
0.110
0.055
0.667
0.450
0.825
0.102
0.093
0.062
0.106
0.095
0.117
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
28
SEC
8.3 レビュー実績工数(3)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「レビュー実績工数」のデータの活用
ゾーン分析での活用例:
 レビュー量とレビュー指摘の適切性の評価
レビュー工数密度とレビュー指摘密度の双方を合わせた視点
から品質を分析し、傾向性を読み取る。
 ゾーン分析の目標範囲(目標の上限と下限)の参考
基本統計量の分析結果を参考にする。ただし、P25、P75を
直接指定するのではなく、策定の際の参考情報とする。
レビュー指摘密度
(件/ページ)
例)
ページあたりの基本設計
レビュー実績工数の
基本統計量を参考に
策定する。
P25
P75
データ白書の見方と定量データ活用ポイント
上限
下限
⑧
⑤
⑥
⑦
①
②
⑨
③
④
下限
Copyright© 2011 IPA, All rights reserved.
上限
レビュー工数密度
(人時/ページ)
Software Engineering Center
29
8.4 テスト工程別のテストケースと検出バグ数
SEC
Software Engineering
for Mo・No・Zu・Ku・Ri
 「テスト工程別のテストケースと検出バグ数」について
 結合テスト、総合テスト(ベンダ確認)の2工程について、
規模あたりと工数あたりのテストケース数、検出バグ現象数、
検出バグ原因数、及び規模あたりのテスト工数を示している。
 8.4 ①規模あたりのテストケース数と検出バグ数
 8.4 ②規模あたりのテスト工数
 8.4 ③工数あたりのテストケース数と検出バグ数
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
30
8.4 ①規模あたりのテストケース数と検出バグ数(1)
SEC
Software Engineering
for Mo・No・Zu・Ku・Ri
 「規模あたりのテストケースと検出バグ数」について
 データ白書では以下について示している。


結合テスト及び総合テストにおける規模あたりのテストケース数
(テストケース密度)
規模あたりの検出バグ数(検出バグ密度)
 テストケース数や検出バグ数の予測・見積りに利用する。


基本統計量にある中央値の利用
P25、P75を上下限値として、妥当性確認に利用
 テストケース密度と検出バグ密度を利用した、ゾーン分析に
による品質管理。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
31
8.4 ①規模あたりのテストケース数と検出バグ数(2)
SEC
Software Engineering
for Mo・No・Zu・Ku・Ri
 「規模あたりのテストケースと検出バグ数」のデータの見方
結合テストと総合テストのデータの見方:
 結合テストと総合テストを横並びにすることで、双方の関係
として、傾向を見ることができる。
 結合テストケース数は総合テストケース数の約4倍弱と見える。
FP 規模あたり
の
テストケース数
(全開発種別)
箱ひげ図
FP 規模あたりの
検出バグ数
(全開発種別)
箱ひげ図
データ白書2010-2011
データ白書2010-2011
P212、図表8-4-1
P212、図表8-4-2
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
32
SEC
8.4 ①規模あたりのテストケース数と検出バグ数(2)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「規模あたりのテストケースと検出バグ数」のデータの活用
 ゾーン分析によるプロダクト品質予測の活用例

結合テストケース密度の上下限値と、結合テストバグ密度の上下限値
について、基本統計量のP25とP75を参考に策定。
FP 規模あたりのテストケース数、検出バグ数の基本統計量(新規開発、IFPUG グルー
[件/KFP]
プ)
N
結合テストケース数/KFP
総合テストケース数/KFP
結合テストバグ現象数/KFP
総合テストバグ現象数/KFP
結合テストバグ原因数/KFP
総合テストバグ原因数/KFP
バグ密度
(件数/KFP)
54
51
43
39
61
58
最小
16.8
11.1
0.0
0.0
4.3
0.0
P25
563.2
196.4
39.9
3.9
32.4
8.1
中央
1,662.6
429.3
79.1
22.6
66.1
20.9
P75
2,760.2
1,341.1
146.1
49.7
141.1
60.6
最大
13,296.3
12,069.9
558.5
884.3
558.5
390.6
⑧
⑤
⑥
⑦
①
②
⑨
③
④
上限
下限
下限
データ白書の見方と定量データ活用ポイント
上限
Copyright© 2011 IPA, All rights reserved.
平均
標準偏差
2,077.2 2,230.2
1,234.8 2,000.9
128.5
136.6
67.0
150.7
114.5
127.6
54.0
84.0
データ白書2010-2011
P214、図表8-4-8
直接設定するのではなく、
あくまでも上下限値の
策定時に参考と
している例。
テスト密度
(ケース数/KFP)
Software Engineering Center
33
8.4 ②規模あたりのテスト工数(1)
SEC
Software Engineering
for Mo・No・Zu・Ku・Ri
 「規模あたりのテスト工数」について
 データ白書では、結合テスト及び総合テストにおける規模あたり
のテスト実績工数を基本統計量により示している。
 基本統計量にある中央値を目安に、測定した規模から、テスト
工数の見積りに利用することが考えられる。
 テスト工数の妥当性確認の目安として利用することが考えられる。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
34
SEC
8.4 ②規模あたりのテスト工数(2)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「規模あたりのテスト工数」のデータの見方・活用
留意点:
 規模や工数の単位あたりのテストケース数や検出バグ数を利用
して見積りなどに利用する場合、その単位量が倍になっても、
テストケース数や検出バグ数が倍になるかは、他の分析結果を
多角的に見て判断する必要がある。
 規模、工数、テストケース数及び検出バグ数のそれぞれの関係
から予測や妥当性確認に利用するとよい。
テスト
ケース数
検出
バグ数
規 模
データ白書の見方と定量データ活用ポイント
工 数
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
35
8.4 ③工数あたりのテストケース数と検出バグ数(1)
SEC
Software Engineering
for Mo・No・Zu・Ku・Ri
 「工数あたりのテストケース数と検出バグ数」について
 結合テスト及び総合テストにおける工数あたりのテストケース数
と、検出バグ数について、箱ひげ図と基本統計量により示して
いる。
 基本統計量にある中央値から、テスト工数からみたテストケース
数の見積りや、実際のテストケース数の妥当性の確認に利用
されることが考えられる。
 同様に、テスト工数から見た検出バグ数の目標値の策定や
実際に検出したバグ数の妥当性の確認に利用されることが
考えられる。
 結合テストと総合テストの両方の工程を横並びで見ることで、
工程間の推移により、妥当性の確認に利用されることが
考えられる。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
36
8.4 ③工数あたりのテストケース数と検出バグ数(2)
SEC
Software Engineering
for Mo・No・Zu・Ku・Ri
 「工数あたりのテストケース数と検出バグ数」の
データの見方・活用
留意点:
 検出バグ数には現象数と原因数がある。
 原因数を推奨しているが、原因数が特定できない場合もあり、
その際は現象数を分析対象としている。
 そのため、原因数のデータ件数は現象数に比べて少なくなって
おり、現象数により分析している状況である。
 ただし、現象数と原因数のデータが提出されている
プロジェクトはそれらの重なりが少ない。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
37
SEC
内容:データ白書の見方・使い方
Software Engineering
for Mo・No・Zu・Ku・Ri
(1章~5章)
6章 工数、工期、規模の関係の分析
7章 信頼性の分析
8章 工程別の分析
9章 生産性の分析
10章 予実分析等
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
38
SEC
9.生産性の分析(1)
Software Engineering
for Mo・No・Zu・Ku・Ri
 生産性の分析について
 生産性データの傾向を把握することで、見積りや計画の妥当性
の確認、実績の評価などに利用することができる。
 データ白書では、生産性の傾向などを掴むため、以下の層別
による分析を行い、基本統計量を示している。






規模別、業種別、アーキテクチャ別、主開発言語別
プラットフォーム別、月あたり要員数、外部委託比率
信頼性要求の高さ
規模別・業種別、規模別・チーム規模別
業種別生産性と発生不具合密度
規模とPMスキル
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
39
SEC
9.生産性の分析(2)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「生産性の分析」のデータの見方(1)
 規模と生産性の傾向
新規開発、IFPUGグループ:規模と生産性
FP規模別FP生産性
(新規開発、IFPUGグループ) 箱ひげ図
FP生産性(FP/開発5工程工数)[FP/人時]
FP規模とFP生産性(新規開発、IFPUGグループ
N=283
)
0.8
Copyright IPA SEC
0.7
0.6
データ白書2010-2011
0.5
P235、図表9-1-5
データ白書2010-2011
P235、図表9-1-6
0.4
0.3
0.2
0.1


0
10 0
,00
11 0
,00
12 0
,00
13 0
,00
14 0
,00
15 0
,00
16 0
,00
17 0
,00
18 0
,00
19 0
,00
20 0
,00
21 0
,00
22 0
,00
0
00
データの関係性:
9,0
00
8,0
00
7,0
00
6,0
00
5,0
00
4,0
00
3,0
2,0
0
1,0
00
0.0
FP実績値(調整前)[FP]
規模を1000FP未満と1000FP以上に層別すると、後者のグループの生産
性は前者より低い。
小規模では生産性のばらつきが大きく、大規模では生産性に上限がある
ように見える。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
40
SEC
9.生産性の分析(3)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「生産性の分析」のデータの見方(2)
 月あたりの要員数と生産性の傾向
新規開発、IFPUGグループ:月あたりの要員数と生産性
月あたりの要員数とFP生産性(新規開発、IFPUGグループ)
N=155
0.8
月あたりの要員数別FP生産性
(新規開発、IFPUGグループ) 箱ひげ図
FP生産性(FP/開発5工程工数)[FP/人時]
Copyright IPA SEC
0.7
0.6
データ白書2010-2011
データ白書2010-2011
P242、図表9-1-20
P243、図表9-1-21
0.5
0.4
0.3
0.2
0.1
0.0
0
10
20
30
40
50
60
70
80
90
100
110
120
130
140
月あたりの要員数 [人]
データの関係性:

要員数が10人以上の場合、FP生産性は要員数10人未満に比べてかな
り
低い。(大人数の開発体制では、生産性に上限があるように見える)
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
41
SEC
9.生産性の分析(4)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「生産性の分析」のデータの見方(3)
 業種と生産性の傾向
生産性の差の分析(例):業種別生産性
業種(大分類)
データ白書2010-2011
P237、図表9-1-8
[FP/人時]
N
生産性(中央値)
製造業
40
0.115
情報通信業
21
0.102
卸売・小売業
30
0.067
金融・保険業
81
0.044
公務(他)
16
0.095
製造業と金融・保険業の比較(新規開発)
業種による
生産性の差が
見られる
製造業
> 金融・保険業
(データは中央値)
業種
規模
工数
工期
月当たりの要員数
製造業
677FP
87.6KSLOC
7,834人時
6.1ヶ月
5.5人
金融・保険業
791FP
106.4KSLOC
15,750人時
8.0ヶ月
11.4人
「金融・保険業」は他の業種と比べて生産性が低いと読み取れるが、規模や体制の他にも
業種、言語など多くの要因が影響しており、生産性の単純比較はできない。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
42
SEC
9.生産性の分析(5)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「生産性の分析」のデータの活用
 ある局面において、これまでの実績工数とプロジェクトの
規模から生産性を算出する。
 収集した定量データの規模と工数の相関から、プロジェクトの
規模に対応する工数(統計値)を求め、生産性を算出する。
 両者を比較し、乖離の度合いとその原因を調べ、妥当性を
評価する。
留意点:
 工数と開発規模の相関関係やデータ領域を考慮し、
自己の生産性の位置がどの領域にあるかにより、生産性効率を
評価する。
 収集したデータの特徴、傾向を把握し、活用することが重要。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
43
SEC
9.生産性の分析(6)
Software Engineering
for Mo・No・Zu・Ku・Ri
 【参考】:信頼性要求のレベルと生産性
信頼性要求レベルが高い方が生産性は低い傾向がある。
要求レベル(信頼性)別
FP生産性箱ひげ図
(新規開発、IFPUGグループ)
要求レベル(信頼性)別
FP生産性箱ひげ図
(改良開発、IFPUGグループ)
データ白書2010-2011
データ白書2010-2011
P248、図表9-1-29
P261、図表9-1-55
要求レベル(信頼性)別
SLOC生産性箱ひげ図
(新規開発、主開発言語グループ)
要求レベル(信頼性)別
SLOC生産性箱ひげ図
(改良開発、主開発言語グループ)
データ白書2010-2011
データ白書2010-2011
P272、図表9-2-23
P285、図表9-2-47
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
44
SEC
内容:データ白書の見方・使い方
Software Engineering
for Mo・No・Zu・Ku・Ri
(1章~5章)
6章 工数、工期、規模の関係の分析
7章 信頼性の分析
8章 工程別の分析
9章 生産性の分析
10章 予実分析等
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
45
SEC
10.予実分析等(1)
Software Engineering
for Mo・No・Zu・Ku・Ri
 予実分析について(1)
計画と実績の分析について:
 データ白書では、規模、工期、工数などについて計画と実績の差
の分析結果を示している。
 各実績データが計測されているプロジェクトのうち、基本設計完
了時点での計画時の見積り値と、実績値の記録があるプロジェ
クトを対象として、差を分析している。
 実績が計画に対してどれだけ増加したか算出した比率
計画超過率 = (実績値-計画値)/計画値
の分布を明示している。
 計画値と実績値の関係を散布図で表し、その回帰直線と、計画
値と実績値が同じ場合の直線を明示することで、超過状況を見
て取れる分析を行っている。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
46
10.予実分析等(2)
SEC
Software Engineering
for Mo・No・Zu・Ku・Ri
 予実分析について(2)
計画と実績の差のイメージについて:
 予実差の程度や傾向を見出すことで、実績値からなる統計
データに対して、変動を見込む目安として利用されることが
考えられる。
 規模、工数、工期の
超過の傾向
(計画と実績の差のイメージ)
 計画値は
「基本設計の開始」
時点の値
 実績値は
「プロジェクト終了後」の値
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
47
SEC
10.予実分析等(3)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「予実分析」のデータの見方
超過率 ={実績値 - 計画値}÷計画値
実績工数は中央値で2.9%、超過傾向があり、-3%~+24%で変動している。(P25~P75幅)
FP規模の計画と実績の差の比率の分布
500
90
450
70
350
P288、図表10-1-4
50
FP規模
中央値0.0%
40
30
20
250
工期
中央値0%
200
150
100
50
10
データ白書2010-2011
250
P291、図表10-1-10
200
工数
中央値2.9%
3.0超
~3.0
~2.8
~2.6
~2.4
~2.2
~2.0
~1.8
~1.6
~1.4
~1.2
~1.0
~0.8
~0.6
~0.4
~0.2
~0.0
~-0.2
~-0.4
0
~-0.6
0.6超
200,000
150,000
a:新規開発
b:改修・保守
c:再開発
d:拡張
100,000
50,000
~-0.8
~ 0.60
250,000
50
データ白書の見方と定量データ活用ポイント
~ 0.55
N=998
300,000
実績工数(プロジェクト全体)
300
←計画内 工数の計画超過率 超過→
~ 0.50
~ 0.45
~ 0.40
~ 0.35
~ 0.30
~ 0.25
~ 0.20
~ 0.15
~ 0.10
~ 0.05
~ 0.00
~ -0.05
~ -0.10
~ -0.15
~ -0.20
~ -0.25
~ -0.30
工数の計画と実績
350,000
350
100
~ -0.35
←計画内 工期の計画超過率 超過→
工数の計画と実績の差の比率の分布
150
~ -0.40
~ -0.50
1.2超
~1.2
~1.1
~1.0
~0.9
~0.8
~0.7
~0.6
~0.5
~0.4
~0.3
~0.2
~0.1
~0.0
~-0.1
~-0.2
~-0.3
~-0.4
~-0.5
~-0.6
←計画内 FP規模の計画超過率 超過→
~ -0.45
0
0
件数
P293、図表10-1-13
300
件数
60
データ白書2010-2011
400
データ白書2010-2011
80
件数
工期の計画と実績の差の比率の分布
100
データ白書2010-2011
P291、図表9-1-8
Copyright© 2011 IPA, All rights reserved.
Copyright IPA SEC
0
0
50,000
100,000
150,000
200,000
250,000
300,000
350,000
計画工数(プロジェクト全体:基本設計開始時点)
Software Engineering Center
48
SEC
10.予実分析等(4)
Software Engineering
for Mo・No・Zu・Ku・Ri
 「予実分析」のデータの活用
 規模・工数・工期ともに超過傾向だが、実績工数が他より大きい
留意点:
 あくまでも傾向を示すものである。

計画などに際して、規模や工数、工期の変動をどの程度見込むかは、
それぞれのプロジェクトの特性を考慮して判断する。
利用イメージ・事例:
 実績と計画の差を検証してプロジェクトの評価を行ない、
以後の計画や開発に反映する。
例) 実績がオーバーする傾向のプロジェクトの特徴

要因として、要件定義に問題がありそうだと評価されれば、
さらに課題を深堀し、改善していく。
データ白書の見方と定量データ活用ポイント
Copyright© 2011 IPA, All rights reserved.
Software Engineering Center
49