Transcript PPT - 静岡大学
データ解析
http://coconut.sys.eng.shizuoka.ac.jp/data/
静岡大学工学部
安藤和敏
2005.11.02
重回帰分析のデータ
(説明変数が2個の場合)
個体番号
変数 x
変数 u
変数 y
1
x1
u1
y1
2
x2
u2
y2
…
…
…
…
i
xi
ui
yi
…
…
…
…
n
xn
un
yn
説明変数が2個の場合の重回帰分析
与えられたデータに「最もよくあてはまる」平面
回帰方程式
y a bx cu
(1)
を求めること.
目的変数
切片
偏回帰係数
説明変数
「最もよくあてはまる平面」ってどういうこと?
残差
i yi (a bxi cui )
残差平方和 Q
Q
n
2
i 1 i
n
y
i 1 i
(a bxi cui )
2
Qを a,b ,cを変数にもつ3変数関数として見て,
Q(a,b,c)を最小にする a,b,cが,データに「最もよくあ
てはまる」平面を与えると考える.
このようにしてa,b,cを求める方法を最小2乗法と呼ぶ.
どのようにしてQ(a,b,c)を最小にする a,b,cをもとめる
のかを見ていく.
Q(a,b,c)を最小にする a,b,c
2
sx
s xu b s xy
,
2
su c suy
s xu
a y bx cu
2-3 回帰分析の精度を示す決定係数
精度が良い回帰方程式
26.0
25.5
25.0
24.5
24.0
23.5
23.0
y = 0.1589x - 1.9801
22.5
22.0
21.5
150
155
160
165
170
175
回帰方程式は,データをよく表現している.
精度が悪い回帰方程式
35.0
30.0
25.0
20.0
15.0
10.0
5.0
y = 0.4505x - 55.641
0.0
150
155
160
165
170
175
回帰方程式は,データを表現しているとはいえない.
決定係数
決定係数は,回帰方程式が与えられた多変数デー
タをどれだけよく表現しているかを示す尺度である.
説明変数が2個の場合の重回帰分析
y a bx cu
を回帰方程式とする.このとき,
yˆi a bxi cui
(i 1,, n)
で定義される変数 ŷ を予測値と呼ぶ.
残差 i は以下のように書ける.
i yi (a bxi cui ) yi yˆi .
ŷ の平均
1 n
yˆ i 1 yˆ i
n
1 n
i 1 (a bxi cui )
n
1 n
1 n
1 n
i 1 a b i 1 xi c i 1 ui
n
n
n
a bx cu
y.
分散の関係
2
sy
2
s yˆ
s (3)
2
実測値の分散 = 予測値の分散 + 残差の分散
平方和の分解(1)
yi y
n
i 1
2
n
{
y
i 1 i
(a bxi cui )
(a bxi cui ) y}
2
n
i 1
i (a bxi cui ) y
2
n
n
2
(
a
bx
cu
)
i
i
i
i 1
i 1
n
2
(
a
bx
cu
)
y
i
i
i
i 1
2
y
n
i 1 i
(a bxi cui ) y 0
n
(
a
bx
cu
)
y
i
i
i
i 1
n
i 1 i (a y ) bxi cui
n
n
i 1 i (a y ) i 1 b i xi
n
n
(a y ) i 1 i b i 1 i xi
0.
n
c
u
i
i
i 1
n
u
i
i
i 1
c
平方和の分解(2)
n
2
i 1 i
2
(a bxi cui ) y
yˆi y
n
2
i 1 i
n
2
i 1 i
2
sy
n
i 1
n
i 1
2
s s yˆ .
2
2
決定係数
2
sy
R
2
2
s yˆ
2
sy
2
sy
2
s s yˆ
2
s
2
2
sy
1
2
s
2
sy
R2は決定係数と呼ばれる.
0≦R2 ≦1が成り立ち,1に近いほど回帰方程式
の精度が良いと考えられる.
補正決定係数
実は説明変数の数を増やしていけば, R2は1に近く
することができる.説明変数の数による影響を排除す
ために,決定係数のかわりに以下で定義されるR*2を
考えることも
ある.
2
s /( n p 1)
*2
R 1
2
s y /( n 1)
ここで,pは説明変数の数.R*2は補正決定係数と
呼ばれる.
重相関係数
ŷ
と
y の相関係数
ryyˆ
s yyˆ
s y s yˆ
は重相関係数と呼ばれる.
重相関係数2=決定係数(1)
ns yyˆ
n
(
y
i 1 i
y )( yˆ i y )
n
ˆ i yˆ i y )( yˆ i y )
(
y
y
i
i 1
n
ˆ i y )( yˆ i y )
(
y
i
i 1
n
n
2
ˆi y )
ˆi y )
(
y
(
y
i
i 1
i 1
n
n
ˆi
(
a
bx
cu
y
)
(
y
i
i
i
i 1
i 1
n
2
2
ˆ
( y y ) ns y
i 1 i
y)2
重相関係数2=決定係数(2)
s yyˆ
s yyˆ
2
s yyˆ
s y s yˆ
s yˆ
2
sy
2
s yˆ
2
s y s yˆ
R
2
s yˆ
sy
重相関係数の性質
予測値 ŷ は,回帰方程式の切片aと偏回帰係数
b, c によって
yˆi a bxi cui
で定義される.
任意のα,β,γに対して
~
yi xi ui
で定義される変数 ~
y を考えると,
ry~y ryyˆ .
本日のまとめ
• 次の関係式の導出を理解した.
2
sy
2
s s yˆ .
2
• 決定係数と補正決定係数の意味を理解した.
• 決定係数と重相関係数の関係を理解した.
• Excelを用いた重回帰分析で,決定係数,補
正決定係数などを計算する方法を理解した.