Transcript PPT - 静岡大学

データ解析
http://coconut.sys.eng.shizuoka.ac.jp/data/
静岡大学工学部
安藤和敏
2005.10.26
2-2 １変数を多変数から予測する重
回帰分析
重回帰分析のデータ
個体 変数
番号 x
変数
u
変数
v
変数
w
…
変数 y
1
x1
u1
v1
w1
…
y1
2
x2
u2
v2
w2
…
y2
…
wi
…
yi
…
…
…
un
…
…
xn
vi
…
…
n
…
…
ui
…
…
xi
…
…
i
vn
wn
…
yn
重回帰分析のデータの例
社員
No
1
2
3
4
5
6
7
社交
性
7
4
6
5
6
6
4
給与評
勤勉性 企画力 判断力
価
6
7
8
10
5
5
4
4
8
4
4
8
5
5
5
8
6
4
5
6
5
6
6
7
4
6
6
8
重回帰分析の目的（の一つ）
与えられたデータに「最もよくあてはまる」方程式
説明変数
回帰方程式
y  a  bx  cu  dv  ew  
を求めること．
目的変数
切片
回帰係数
偏回帰係数
「最もよくあてはまる」方程式ってどういうこと？
重回帰分析のデータ
（説明変数が２個の場合）
個体番号
変数 x
変数 u
変数 y
1
x1
u1
y1
2
x2
u2
y2
…
…
…
…
i
xi
ui
yi
…
…
…
…
n
xn
un
yn
重回帰分析のデータ
（説明変数が２個の場合）
番号
1
2
3
4
5
6
7
8
9
10
11
12
身長(x)
体重(u)
靴サイズ(y)
162
44
24.0
165
48
24.5
168
53
25.5
160
45
22.5
158
45
23.0
153
43
22.0
158
45
23.0
168
50
24.0
157
52
23.0
154
42
23.0
170
48
25.0
157
45
23.5
(cm)
(kg)
(cm)
データの３次元プロット
説明変数が２個の場合の重回帰分析
与えられたデータに「最もよくあてはまる」平面
回帰方程式
y  a  bx  cu
 (1)
を求めること．
目的変数
切片
回帰係数
説明変数
「最もよくあてはまる平面」ってどういうこと？
平面のあてはめ（１）
平面のあてはめ（２）
平面のあてはめ（３）
残差
 i  yi  (a  bxi  cui )
残差平方和 Q
Q
n
2

i 1 i
n
y
i 1 i


 (a  bxi  cui )
2
Qを a,b ,cを変数にもつ3変数関数として見て，
Q(a,b,c)を最小にする a,b,cが，データに「最もよくあ
てはまる」平面を与えると考える．
このようにしてa,b,cを求める方法を最小２乗法と呼ぶ．
どのようにしてQ(a,b,c)を最小にする a,b,cをもとめる
のかを見ていく．
一般に多変数関数の極値（最大値，最小
値）を求めるには，各変数で偏微分して０
と置いた方程式系を解けばよい
 Q n
   2yi  (a  bxi  cui )  0,

 a i 1

n
 Q
   2 xi yi  (a  bxi  cui )  0,

 b i 1

n

Q

   2ui yi  (a  bxi  cui )  0
 c i 1
連立方程式を解く（１）
n
 yi  (a  bxi  cui )  0,
 i 1
n

 xi yi  (a  bxi  cui )  0,
 i 1
n
 ui yi  (a  bxi  cui )  0
 i 1
連立方程式を解く（２）
n
yi  (a  bxi  cui )  0
i 1
y  a  bx  cu
連立方程式を解く（３）
n
i1 xi yi  (a  bxi  cui )











n
x
y

(
y

b
x

c
u

bx

cu
)
i
i
i
i
i 1
n
x
(
y

y
)

b
(
x

x
)

c
(
u

u
)
i
i
i
i
i 1
n
x
(
y

y
)

b
(
x

x
)

c
(
u

u
)
i
i
i
i 1
n
(
x

x
)
(
y

y
)

b
(
x

x
)

c
(
u
i
i
i
i
i 1
2
ns xy  bns x  cns xu

 u )
連立方程式を解く（４）
n
i1 ui yi  (a  bxi  cui )











n
u
y

(
y

b
x

c
u

bx

cu
)
i
i
i
i
i 1
n
u
(
y

y
)

b
(
x

x
)

c
(
u

u
)
i
i
i
i
i 1
n
u
(
y

y
)

b
(
x

x
)

c
(
u

u
)
i
i
i
i 1
n
(
u

u
)
(
y

y
)

b
(
x

x
)

c
(
u
i
i
i
i
i 1
2
nsuy  bns xu  cnsu

 u )
連立方程式を解く（５）
0
2
s xy  bs x
0
2
suy  bs xu  csu
 s x2

 s xu
 cs xu ,
s xu  b   s xy 


s 


2
su  c   uy 
連立方程式の解
2
 sx
1
s xu   s xy 
,



2
su   suy 
a  y  bx  cu
b
c   
   s xu
多重共線性（１）
 s x2
det 
 s xu
s xu 

0

2
su 
のときは，
のときは，方程式
 s x2

 s xu
s xu  b   s xy 


2 c   s 
su     uy 
の解は一意に定まらない．なにが起こっているのか？
多重共線性（３）
 s x2
det 
 s xu
s xu 
2 2
2

0

s
s

s

0

x
u
xu
2
su 

2
rxu

2
s xu
2 2
s x su
1
であるから，xとuの間には，x = αu + βという関係
がある．したがって，xかuのうちのどちらか一方をモ
デルから取り除いてもyを説明できる．
多重共線性（３）
 s x2
det 
 s xu
s xu 
≒
0

2
su 
のときも，同様のことが言える．
重回帰分析のパス図
y  a  bx  cu
x
b
y
u
c
ε
残差平方和の別表現（２）
（つづき）





n
n
n
2
2
2
2
2
 i 1 ( yi  y )  b
(
x

x
)

c
(
u

u
)
i 1 i
i 1 i
n
n
 2b i 1 ( yi  y )( xi  x )  2c i 1 ( yi  y )(ui  u )
n
 2bc i 1 ( xi  x )(ui  u )
2
2 2
2 2
 ns y  b ns x  c nsu  2nbs xy  2ncsuy  2nbcs xu

残差平方和の別表現（３）
（つづき）
 ns 2y  b 2 ns x2  c 2 nsu2  2nbs xy  2ncsuy  2nbcs xu
2

s
s xu  b 
2
x
 ns y  nb c 
 2nbs xy  2ncsuy
2  c 
 s xu su   
 s xy 
2
 ns y  nb c    2nbs xy  2ncsuy
 suy 
2
s



s
s xu  b 
xy
2
2
x
 ns y  nb c    ns y  nb c 
 
2
s
 s xu su  c 
 uy 
残差平方和の別表現（４）
2

sx
2
2
s  s y  b c 
 s xu

2
sy
2
 bs x
2
 csu
s xu  b 
2  c 
su   
 2bcs xu
つまり
2
sy

2
s  bs x
2
2
 csu
 2bcs xu
 (3)
残差平方和の別表現（１）
Q
n
2

i 1 i

n
i 1
yi  (a  bxi  cui )
2

yi  y  y  (a  bxi  cui )

yi  y  a  bx  (a  bxi  cui )

( yi  y )  b( xi  x )  c(ui  u )
n
i 1
n
i 1
n
i 1
2
2
2
本日のまとめ
• 説明変数が２個の場合の重回帰分析のモデ
ルを理解した．
• 説明変数が２個の場合の最小２乗法の考え方，
及び，回帰方程式の求め方を理解した．
• Excelを用いて重回帰分析を行う方法を理解
した．
• 次の式
2
sy

2
s  bs x
2
2
 csu
の導出法を理解した．
 2bcs xu  (3)