Transcript 信用リスクスコアリングにおけるAUC、AR値の最大化と モデルの安定化

第12回情報論的学習理論ワークショップ (IBIS 2009)
「金融リスクと統計的学習」
（オーガナイザー：中田貴之）
金融リスク～企業倒産の判別問題の現状と課題
山下 智志
(統計数理研究所)
江口 真透 (統計数理研究所)
三浦 翔(総合研究大学院大学）
との共同研究
1
金融リスクの種類
デフォルト確率
デフォルト時損失
信用リスク
金融機関
のリスク
エキスポージャー
期間リスク
金利リスク
変動リスク
金利水準の変動
イールドカーブの傾きの変動
イールドカーブの曲率の変動
リスクプレミアムの変動
為替リスク
株式リスク
オプション性リスク
市場リスク
資産間の相関リスク
流動性リスク
オペレーション
リスク
リクイディティー
アベイラビリティー
モデルリスク
システムリスク
ヒューマンリスク
決済リスク
法的リスク
金融工学の重要な話題
・リスク量をどのように定義するか
・定義されたリスク量をどのように
推計するか
金融リスクモデルの分類と系統
構造モデル Mertonモデル, L/Sモデル
理論面で発展
信
用
リ
ス
ク
計
量
化
モ
デ
ル
企業価値が変動
確率モデル
変動モデルを内包
→パラメータを市場データで推定
誘導モデル
Logitモデル
実務面で発展
統計モデル
過去のデフォルトデータを
説明する多変量モデル
J/T, J/L/T, D/S
ハザードが変動
社債のリスクプレミアム
デフォルト実績データを
財務データなどで説明
格付データを
新BIS内部格付モデルのメイン
財務データなどで説明
順序Logitモデル
判別分析
デフォルトデータを
財務データなどで判別
ハザードモデル
その他・実験的モデル
ニューラルネット
デフォルトの期間
構造を推計
本日の講演のオリジナル部分
リスクの対象
… 信用リスク
紹介するアイデア１
企業のデフォルトをあてる。（倒産するかしないか）
「当たらない度（＝リスク）」をＡＵＣ（AR値）で定義。
紹介するアイデア２
企業の信用格付けをあてる。
「当たらない度（＝リスク）」をＡＵＣ（AR値）を用いた関数で新たに定義。
共通の目的として
最尤法より優れた「あてる方法」を作り出す。
発表内容
１．信用リスクの判別問題とモデルの評
価
２．デフォルト判別モデル
３．信用格付け判別モデル
5
信用リスクとは?
• 信用リスクとは、債務不履行(デフォルト)の危険性のこと。
→ 基本はデフォルト判別モデル
• 推計方法・評価方法は、バーゼル委員会により指針が示さ
れている。
(例えば、Basel Committee on Banking Supervision(2005) Studies
on the Internal Ratings Systems-Revised version, Working Paper
No.14, Mayなど)
• 新BIS規制において、各銀行は内部格付けモデルによって
デフォルトリスクを評価しなければならない。
→ 格付判別モデルも必要
6
典型的なデフォルト判別
２項ロジットモデル
信用スコア＝ (パラメータ β)×(財務指標X )
デフォルト確率＝Logit（信用スコア）
最尤推定法によるパラメータβ
の推計
（尤度の最大化により得られる）
過去のデフォルト実績データ
財務指標データ
個別企業の信用スコア
およびデフォルト確率の推計
AR値 AUCによるモデル評価
7
典型的な格付け予測モデル作成と評価
順序ロジットモデル
信用スコア＝ (パラメータ β)×(財務指標X )
格付け＝Logit（信用スコア＋しきい値）
最尤推定法によるパラ
メータβの推計
（尤度を最大化をめざす）
過去の格付け実績データ
財務指標データ
個別企業の信用スコア
および格付けの推計
的中率、誤判別率・・・
一般的な評価
指標が
存在しない
8
【目的１】
信用リスクモデルにおける
パラメータ推計手法とモデル評価手法の一致化
→AR値でモデルを評価しているのに、
尤度を最大にするパラメータ推計をするのは矛盾ではないか？
単純にAR値を最大化できないか？
【目的２】
異常値データに対するモデルの安定化
→信用リスクデータベースには、粉飾決算等の異常なデータが含まれる。
これからの影響を極力小さくする方法はないか？
シグモイドAUC最適化手法 により一度に解決
9
AR値、AUCとは何か？ (1/4)
デフォルトを当てることができたかどうかに対するモデル評価指標の代表
10
AR値、AUCとは何か？ (2/4)
11
AR値、AUCとは何か？ (3/4)
・AR値は最大１で、大きければ大きい程良い。
・「モデルから計算された企業の順位性」と「デフォルト非デフォルト」の関係を見ている。
12
AR値、AUCとは何か？ (4/4)
AUCとAR値は、作図の書き方が違うだけで、本質的には同じこと
をしている。
AUC
AR値
デ
フ
ォ
ル
ト
企
業
数
の
分
割
デフォルト企業に
対しては右なな
め上に移動
全企業数の分割
デ
フ
ォ
ル
ト
企
業
数
の
分
割
この線のこと
をROC曲線
という。
デフォルト企業
に対しては真
上に移動
経済学の
ローレンツ曲
線と同じ。
非デフォルト企業
数の分割
実際に、AR値とAUCの値は正の比例関係で示される。
13
AUCとAR値の関係
・実務において、デフォルト・非デフォルトの判別におけるモデルの
精度指標は、AR(Accuracy Ratio)値が用いられることが多い。
・統計学では、２値判別モデルの精度指標としてAUC (Area Under
Curve)を用いることが多い。
AUCとAR値は、正比例の関係にあることが示されている。
AR = 2AUC ー 1
よって、 AUC最大化
AR値最大化 である。
※いずれも、順位性に関する指標である。
14
AUCの数学表記
ROC(Receiver Operating Characteristic)曲線の下側面積として
AUC(Area under Curve)を定義する。
デフォルト、非デフォルト企業数をそれぞれ N D , N ND とすると、
1
AUC (β) 
N D N ND
N D N ND
T
T
I
(
β
X

β
Xj )

i
i 1 j 1
ここで、Ｉ(・)は以下のようなヘビサイド関数である。
1
I x   
0
if
x0
otherwise
15
２．デフォルト判別モデル
AUC最適化を用いたデフォルト判別モデル
典型的な信用リスク計測手法
２項ロジットモデル
信用スコア＝ (パラメータ β)×(財務指標X )
デフォルト確率＝Logit（信用スコア）
最尤推定法によるパラメータβの
推計
（尤度の最大化により得られる）
個別企業の信用スコア
およびデフォルト確率の推計
過去のデフォルト実績データ
財務指標データ
AUCが大きいほどよ
いのなら、AＵＣを最
大化するようなパラ
メータβを推計すれば
よいのでは？
AR値 AUCによるモデル評価
17
本研究で提案する手法
従来の手法
信用スコアリング＝ (パラメータ β)×(財務指標X )
デフォルト確率＝Logit（信用スコア）
最尤推定法に
よるパラメータ
βの推計
過去のデフォルト実績データ
財務指標データ
個別企業の信用スコア
およびデフォルト確率の推計
AUC最大化に
よるパラメータ
βの推計
推計と評価の
一致化
AUCによるモデル評価
提案する手法はAUCを最大化しているため、尤度を最大化している従来の手法より、
同じ変数同じデータを使っていても評価値（AUC）が大きくなる。
18
（問）なぜこれまでされていなかったか？
（答）AUC(β)は階段関数であり、βで微分できない。
1
AUC (β) 
N D N ND
N D N ND
T
T
I
(
β
X

β
Xj )

i
i 1 j 1
最大化が容易でない！
AR値、AUCの定義式
があまり認知度が高く
ない、というのも原因の
一つかもしれない…。
微分可能な関数でAUC(β)を近似し、
近似AUCを最大化することによりパラメータの推定値を求める。
ヘビサイド関数 Ｉ を連続で微分可能なシグモイド関数で近似する。
シグモイド関数は、チューニングパラメータを σ とすると、
s  x  
1
1  exp  x  
19
近似AUC(β)を目的関数とする。
AUC(β)は、
1
AUC (β) 
N D N ND
N D N ND
T
T
I
(
β
X

β
Xj )

i
i 1 j 1
シグモイド関数を用いて、AUC( β )を近似したときに
得られる近似AUCをsAUC( β )とすると、
1
sAUC (β) 
N D N ND
N D N ND
T
T
s
(
β
X

β
Xj )
 
i
i 1 j 1
これなら計算が可能
20
AUC (  )
1
2
財務指標のパラメータ
財務指標のパラメータ
近似を用いないAUC(β)の図 (2変量)
21
sAUC (  )
1
財務指標のパラメータ
2
財務指標のパラメータ
sAUC(β)の図 (σ=0.1)
22
近似AUC(sAUC)を最大化するような
パラメータの推定量を求める。
この
を用いてモデル
を作成する。
23
近似AUC(sAUC)を目的関数として用いる際
の２つの留意点
～少しテクニカルな話～
①チューニングパラメータ σ の決定。
② β の自由度が一つ多い。
24
①チューニングパラメータ σ の決定について
チューニングパラメータ σ の値によって、
得られる推定量 ̂ が変化するか?
得られる推定量 ̂は、正の定数倍変化するが、
AUC( ̂ )の値はほとんど変化せず。
AUC( )の値は、  の正の定数倍に対して不変であるため。
1
AUC (β) 
N D N ND
N D N ND
 I (β
i 1 j 1
T
X i  βT X j )
σの決定問題は不可欠であるように見えるが、βの規準化の問題に帰着する
ため、次のβの自由度の問題に数学的に内包できる。（→気にしなくてもよい）
②β の自由度が一つ多いことについて
AUC(β)は正の定数倍に対して普遍であり、
次数よりも自由度が１つ多い。
AUCは企業の順位性だけに注目し
ているため、順位が変わらない変
換については評価できない。
βのノルムの値を固定した条件下で
sAUC(β)の最適化を行うことで解決。
(先の３次元の図では、円上で最適解を探索することを意味する。)
26
sAUC (  )
1
財務指標のパラメータ
2
財務指標のパラメータ
sAUC(β)の図 (σ=0.1)
27
財務データ
デフォルト実績データ
財務指標
の選択
シグモイドAUC( sAUC( )の
)
チューニングパラメータ の
決定（とりあえず小さい数値）
定式化（ AUC(  )の近似式)
係数ベクトルのノルム ||  ||
の決定（最大化の制約条件）
sAUC (  ) の最大化計算
通常の最大化(微分可能)
パラメータ
の推計
個別企業のスコア
個別企業のデフォルト確率
の算出
の算出
・同程度のスコアリングで
プールし、過去の実績デー
タからデフォルト率を推定。
・統計モデルの当てはめに
より推定。
など
・使用したデータ
1999～2003年までの期間における東証・大証・名証の
一部・二部上場企業における企業。
デフォルト企業25社。デフォルト企業と同業種、かつ、
同程度の規模の非デフォルト企業を1:2の割合のなるよう
に、50社を選び出した。
・説明変量の選択
安全性として自己資本比率、収益率として売上高営業
利益率、効率性として流動比率の3つを用いた。
データベースの作成については、論文の目的（方法論の構築）とは
違うので、データや変数が適当かどうかは、指摘しないで下さい…。
29
ロジット・最尤推定法による分析結果
スコア順位 企業名
予測値
ラベル
1 日清製粉グ 0.0000346
2 神戸発動機 0.000382
3 日立ハイテク 0.000606
4 日本車輌製造 0.000607
5 トヨタ紡織
0.000664
6 東芝機械
0.000682
7 ゼット
0.000719
8 中央電気工業 0.000776
9 日本電工
0.000797
10 アキレス
0.000847
－真ん中、省略－
66
67
68
69
70
71
72
73
74
75
(左図)ROC曲線およびAUC
大倉電気
三興製紙
テザック
中央板紙
神戸生絲
カリーノ
イタリヤード
段谷産業
第一家庭電器
フットワーク
0.00325
0.00351
0.00356
0.00378
0.00453
0.00477
0.00594
0.00666
0.0102
0.0102
(右表)実際の結果の一部
0
0
0
0
0
0
0
0
0
0
1
0
1
0
1
1
1
1
1
1
提案する新手法（AUC最適化）による分析結果
ラベル
予測値
スコア順位 企業名
0.000624
1 日清製粉グ
0.00141
2 トヨタ紡織
0.00149
3 日本電工
0.0015
4 丸大食品
0.0015
5 マルエツ
0.00152
6 神戸発動機
7 日本車輌製造 0.00153
0.00154
8 三島製紙
0.00155
9 杉村倉庫
0.00155
10 興和紡績
0
0
0
0
0
0
0
0
0
0
－真ん中、省略－
↑予想通りよくなった
(左図)ROC曲線およびAUC
66
67
68
69
70
71
72
73
74
75
テザック
ミサワ東洋
大倉電気
カリーノ
市田
中央板紙
段谷産業
神戸生絲
第一家庭電器
フットワーク
0.00242
0.00248
0.00255
0.00271
0.00274
0.00277
0.00318
0.00336
0.00389
0.0161
(右表)実際の結果の一部
1
0
1
1
1
0
1
1
1
1
外れ値の存在するようなデータではどうなるか？
デフォルト直前の企業の財務指標は、信頼性が低く
外れ値として存在することがある。
ロジット・最尤推定法は、仮定したモデルへの
当てはまりによりパラメータの推定値が決まるが、
AUCはスコアリングの順位にしかよらない。
使用したデータには外れ値が存在しないので、スコアリング
の最もよかった企業のラベルを非デフォルトのラベルに
張り替えることにより外れ値とみなした。
32
外れ値の存在するデータに対して、
ロジット・最尤推定法による分析結果
AUCの値と企業順位の変化
0.790
スコア順位 企業名
予測値
ラベル
1 日清製粉グ 0.0000346
2 神戸発動機 0.000382
3 日立ハイテク 0.000606
4 日本車輌製造 0.000607
5 トヨタ紡織
0.000664
6 東芝機械
0.000682
7 ゼット
0.000719
8 中央電気工業 0.000776
9 日本電工
0.000797
10 アキレス
0.000847
66
67
68
69
70
71
72
73
74
75
大倉電気
三興製紙
テザック
中央板紙
神戸生絲
カリーノ
イタリヤード
段谷産業
第一家庭電器
フットワーク
0.00325
0.00351
0.00356
0.00378
0.00453
0.00477
0.00594
0.00666
0.0102
0.0102
0.746
0
0
0
0
0
0
0
0
0
0
1
0
1
0
1
1
1
1
1
1
スコア順位 企業名
予測値
ラベル
1 日清製粉グ 0.0000357
2 神戸発動機 0.000351
3 日立ハイテク 0.000615
4 日本車輌製造 0.000627
5 東芝機械
0.000677
6 トヨタ紡織
0.000716
7 ゼット
0.000722
8 中央電気工業 0.0008
9 日本電工
0.000863
10 アキレス
0.000895
66
67
68
69
70
71
72
73
74
75
大倉電気
テザック
三興製紙
中央板紙
神戸生絲
フットワーク
カリーノ
段谷産業
イタリヤード
第一家庭電器
0.00337
0.00368
0.0037
0.00386
0.00411
0.00432
0.00491
0.00667
0.0072
0.00976
0
0
0
0
0
0
0
0
0
0
1
1
0
0
1
0
1
1
1
1
外れ値の存在するデータに対して、
提案する新手法による分析結果
AUCの値と企業順位の変化
0.837
スコア順位 企業名
予測値
ラベル
1 日清製粉グ
0.000624
2 トヨタ紡織
0.00141
3 日本電工
0.00149
4 丸大食品
0.0015
5 マルエツ
0.0015
6 神戸発動機
0.00152
7 日本車輌製造
0.00153
8 三島製紙
0.00154
9 杉村倉庫
0.00155
10 興和紡績
0.00155
66
67
68
69
70
71
72
73
74
75
テザック
ミサワ東洋
大倉電気
カリーノ
市田
中央板紙
段谷産業
神戸生絲
第一家庭電器
フットワーク
0.00242
0.00248
0.00255
0.00271
0.00274
0.00277
0.00318
0.00336
0.00389
0.0161
0.814
0
0
0
0
0
0
0
0
0
0
1
0
1
1
1
0
1
1
1
1
順
位
は
変
わ
ら
な
い
低下した理由はラベ
ルを張り替えた企業
の影響
スコア順位 企業名
予測値
ラベル
1 日清製粉グ 0.000854
2 トヨタ紡織
0.0016
3 日本電工
0.00167
4 丸大食品
0.00168
5 マルエツ
0.00168
6 神戸発動機 0.00169
7 日本車輌製造 0.0017
8 三島製紙
0.00171
9 杉村倉庫
0.00172
10 興和紡績
0.00172
66
67
68
69
70
71
72
73
74
75
テザック
0.00243
ミサワ東洋
0.00247
大倉電気
0.00252
カリーノ
0.00264
市田
0.00267
中央板紙
0.0027
段谷産業
0.003
神戸生絲
0.00313
第一家庭電器 0.0035
フットワーク
0.0104
0
0
0
0
0
0
0
0
0
0
1
0
1
1
1
0
1
1
1
0
結論
• ロジット・最尤推定法によりモデルを作成し、モデルの評価は
AUCを用いて行う手法が一般的であるが、本研究ではAUC
を最大化するようなモデルの作成を試みた。
• 実際にはAUCは微分できず、最大化が容易でないため、
近似AUCを最大化するようなモデルの推定手法を考えた。
• その結果、AUCを最大化するようなモデルの推定手法によ
り得られるモデルは、AUCの最適性を有するだけでなく、従
来の手法よりも外れ値に対してロバストな推定手法であるこ
とが確認された。
詳細は金融庁：FSAリサーチレビューに掲載済み
http://www.fsa.go.jp/frtc/nenpou/2008/05-1.pdf
35
３．格付判別モデル
AUC最適化を用いた格付判別モデル
典型的な格付け予測モデル作成と評価
順序ロジットモデル
信用スコア＝ (パラメータ β)×(財務指標X )
格付け＝Logit（信用スコア＋しきい値）
最尤推定法によるパラ
メータβの推計
（尤度を最大化をめざす）
個別企業の信用スコア
および格付けの推計
的中率、誤判別率・・・
過去の格付け実績データ
財務指標データ
一般的な評価
指標が
存在しない！
37
格付け予測モデルの評価指標
・的中率や誤判別率を計測するだけでは、モデルの評価指標として
適切でない。
・特に、誤判別の損失をどのように考慮するかが重要である。
(格付け ”１” の企業を ”３” と２ノッチ誤判別する損失は、
”２” と１ノッチ誤判別する損失の２倍なのか・・・？)
・順序付きカテゴリカルデータなので、ノッチのずれが大きいほど、
損失は大きいのが自然である。
38
AUCを拡張した格付け予測モデルの評価指標
格付けが、{１，2, ・・・・,K} のKノッチであるとする。
格付けを２クラスに分けて、K-1個の２クラス判別であると見る。
(例) K=5
{1}と{2,3,4,5} 、{1,2}と{3,4,5}、 {1,2,3}と{4,5}、{1,2,3,4}と{5}
の ４ (=５-1)個の２クラス判別とみなし、
それぞれの判別における AUC を求め、平均をとる。
これを、RAUC (Rating AUC)と定義する。
1 K -1
RAUC β  
AUC j β 

K  1 j 1
39
RAUCのイメージ
(例) K=5
{1}と{2,3,4,5}
AUC1（ β̂ ）=0.850
------------------------------------------------------
{1,2}と{3,4,5}
AUC2( β̂ )=0.750
-----------------------------------------------------{1,2,3}と{4,5}
AUC3( β̂ )=0.800
-----------------------------------------------------{1,2,3,4}と{5}
RAUC( β̂ )=0.800
RAUCを最大化す
る共通パラメータβ̂
の探索
AUC4( β̂ )=0.800
このRAUC最大化を最尤推計法の代替案とする。
40
実データを用いた両手法の比較
実データは、株式会社格付投資情報センター(R&I)社の公表し
ている企業から、銀行、証券、損害保険、生命保険、その他
金融を除く業種・分野の2009年3月31日現在のデータを用い
た。説明変量は、自己資本比率、営業利益率、総資産の３つ。
<データの概要>
ラベル
１
２
３
４
５
格付け
企業数
AAA ～ AA- ----- 75社
A+ ～ A----- 183社
BBB+ ～ BBB ----- 110社
BBB------ 25社
BB+ ～D
------ 7社
41
0.907
0.0
0.2
0.4
0.6
0.8
0.0 0.4 0.8
TPR
0.0 0.4 0.8
TPR
RAUC最適化手法と順序ロジットモデルの比較
1.0
0.93
0.0
0.2
0.4
0.2
0.4
0.6
0.8
0.0 0.4 0.8
TPR
0.902
0.0
1.0
0.2
0.4
0.6
0.8
1.0
0.0
0.2
0.4
0.6
0.6
0.8
1.0
FPR
(左図)RAUC最適化手法の結果
RAUC( β̂1 ) = 0.880
0.0 0.4 0.8
TPR
TPR
0.0 0.4 0.8
0.4
1.0
0.8
1.0
FPR
0.793
0.2
0.8
0.9
FPR
0.0
0.6
0.0 0.4 0.8
TPR
TPR
0.0 0.4 0.8
0.4
1.0
FPR
0.916
0.2
0.8
0.902
0.0
FPR
0.0
0.6
FPR
0.0 0.4 0.8
TPR
FPR
0.736
0.0
0.2
0.4
0.6
0.8
1.0
FPR
(右図)順序ロジットモデルの結果
RAUC( β̂ 2) = 0.867
42
どのカテゴリ間の判別も重要性は同じか？
・格付け会社の信頼性の観点からいうと・・・
最も重要なのは、デフォルト債券に高格付けを与えないこと。
・社債投資家が投資判断に用いる基準からすると・・・
最も重要なのは、デフォルト・非デフォルトが精緻に判別できること.
「各カテゴリ間の判別の重要性は同じでない」を考慮したモデル評価
基準として、weighted RAUC を提案する。
43
カテゴリ間の重要性を考慮に入れた
評価指標 weighted RAUC
RAUC は、各カテゴリ間のAUCj を平均的に評価している。
1 K -1
RAUC β  
AUC j β 

K  1 j 1
wRAUC (weighted RAUC) は、各カテゴリ間のAUCj を
重みwj で重みづけする。
wRAUC β  
K -1
w
j 1
ただし、 0  w j  1
j
 AUC j β 
K 1
 j  1,2, K  1 かつ  w
j 1
j
1
44
0.0 0.4 0.8
1/10
TPR
wRAUC最適化とRAUC 最適化を比較
0.907
0.0
0.2
0.4
0.6
0.8
1.0
0.0 0.4 0.8
1/10
TPR
FPR
0.902
0.0
0.2
0.4
0.6
0.8
1.0
0.0 0.4 0.8
3/10
TPR
FPR
0.916
0.0
0.2
0.4
0.6
0.8
1.0
0.0 0.4 0.8
5/10
TPR
FPR
0.793
0.0
0.2
0.4
0.6
0.8
1.0
FPR
(左図)wRAUC最適化手法
の結果
(右図)順序ロジットモデル
の結果
45
まとめ
・格付け予測モデルの評価指標として、RAUC(Rating AUC)を
提案した。
・RAUCは、デフォルト確率予測モデルの評価指標であるAUC
を、格付けデータに応用した指標である。
-----------------------------------------・近似AUC最適化を応用して、近似RAUC最適化によるパラ
メータの推計値が得られた。
・各カテゴリ間の重要性の異なる状況に対応可能なweighted
RAUC を提案し、最適化した。
46
本研究の結果は、来年３月発行予定の
ジャフィージャ－ナルの特集号
「信用リスクの計量化」
に掲載予定です。
47
ご静聴ありがとうございました。
質問連絡先
[email protected]