Transcript 決定係数

回帰分析
直線の当てはまりの程度
1
最小二乗法による推定値
yi    xi  ei
において
n
 ei

i 1
と
2

を最小化するように
を求めることを最小二乗法という。
2
 の推定値
ˆ 
n
n
i 1
i 1
ˆ
 yi    xi
n
n

y
i 1
n
n
i
 ˆ
x
i 1
n
i
 y  ˆx
3
 の推定値
ˆ 
n
n
n
i 1
i 1
i 1
n xi yi    xi   yi 
n
n
i 1


x    xi 
 i 1

 
n
2
2
i
n

  x y   nx y
i 1
n
i
i
 x  nx
i 1
2
i
2
4
偏差の積の総和
xとyのそれぞれの平均からの偏差を
掛け合わせた値の総和をSxyと表す
n
S xy   xi  x  yi  y 
i 1
5
問題
以下の式の右辺を整理しなさい。
n
S xy   xi  x  yi  y 
i 1
n
  xi yi   nxy
i 1
6
Sxx と Syy
同様にxとyの偏差の二乗和をSxx,Syyと表す。
n
n
 
2
 
2
S xx   xi  x    x  nx
2
i 1
i 1
n
n
2
i
S yy    yi  y    y  ny
i 1
2
i 1
2
i
7
Sxx Sxy Syyをつかって  と  を表現
ˆ

S xy
S xx
ˆ  y 
S xy
S xx
x
8
残差平方和（RSS ）
ここで、,によって推定された直線上の値と観測値
のy軸上の差を残差と呼ぶ。残差の二乗和を残差平
方和と呼びRSSと表す。
n
RSS  
i 1

ˆ
ˆ
yi    xi

2
RSSを展開・整理（１）
n


 

RSS   yi  ˆ  ˆxi
i 1
n
2
  yi  y  ˆx  ˆxi
i 1

2
RSSを展開・整理（２）
n


   yi  y   ˆ xi  x 
i 1
n
2
n
2
2
ˆ
   yi  y     xi  x 
2
i 1
2
ˆ
 2
i 1
n
  y  y x  x 
i 1
i
i
RSSを展開・整理（３）
2
ˆ
ˆ
RSS  S yy   S xx  2S xy
ここで
ˆ 
S xy
S xx
を代入
RSSを展開・整理（４）
2
S xy
 S xy 
 S xx  2
RSS  S yy  
S xy
S xx
 S xx 
問題
S xy
RSS

S

yy
上の式を整理しなさい
S xx
2
13
S yy
S
2
xy
S xx
を総平方和といい、TSSと表す
を説明された平方和といい、ESSと表す
RSS  TSS  ESS
TSS  RSS  ESS
14
ESSとTSSの比
ここで「説明された平方和（ESS）」と「総平方和の
比（TSS）をとる。
2
xy
S xy
ESS S 1


TSS S xx S yy
S yy
15
R2 決定係数
ここで「説明された平方和（ESS）」と「総平方和
（TSS）」の比を決定係数と呼びR2であらわす。
ESS
R 
TSS
2
決定係数は直線の当てはまりの尺度を示す指標
として利用される。
16