Transcript 回帰分析基礎編ppt

回帰分析基本編（諏訪用）
モデル作成
入出力（U, y) の実
データから対象特性
の数式モデル作成
構造
時間
線形
静的 static
回帰分析
対象
U
入力
?
Black box
動的 dynamic
自己回帰法
AR model
MA model
ARMA model
y
出力
Neural network
非線形 GMDH
Group method
of data handling
回帰分析の教材
Volterra series
expression
http://www.rs.kagu.tus.ac.jp/~ohnari/sim/sim.html
031004
041111
1
掃き出し法 Sweep out method
2
逆行列の計算法
3
２元連立方程式の求解 行操作
'031004
4
２元連立方程式の求解 数式画面
A
B
《 初期行列 》
1 2
2 3
C
方程式の各要素
5
12
-4
-5
D
E
1
0
F
単位行列
0
1
《 １回目の掃き出し 》
3 =B12/$B$12
=C12/$B$12
=D12/$B$12
=E12/$B$12
=F12/$B$12
(第１行)/2
4 =B13-$B$13*B16 =C13-$B$13*C16 =D13-$B$13*D16 =E13-$B$13*E16 =F13-$B$13*F16 (第２行)－3×(第３行)
《 ２回目の掃き出し 》
方程式の解
初期行列の逆行列
5 =B16-$C$16*B21 =C16-$C$16*C21 =D16-$C$16*D21 =E16-$C$16*E21 =F16-$C$16*F21 (第３行)－2.5×(第６行)
6 =B17/$C$17
=C17/$C$17
=D17/$C$17
=E17/$C$17
=F17/$C$17
(第４行)/(－11.5)
EXCEL使用時のコマンド
絶対/相対番地（式/「絶対/相対」)： $A$1→A$1→$A1→A1
Windows：F4
Mac：コマンド+T
数式表現
ツール/オプション/表示-ウインドウオプション中の数式を選択
回帰分析ルーチンの利用
ツール/分析ツール/回帰分析
5
３元連立方程式の求解（課題）
表計算ソフト上で掃き出し法を用いて以下の方程式を解け。
計算の結果もビジュアルなものにして提出すること。
{
誕生日が偶数の人
３Ｘ＋５Ｙ＋２Ｚ＝１９
－Ｘ＋２Ｙ＋４Ｚ＝１５
１０Ｘ－８Ｙ＋Ｚ＝－３
{
誕生日が奇数の人
３Ｘ－Ｙ＋３Ｚ＝１１
５Ｘ＋２Ｙ－３Ｚ＝９
－２Ｘ－３Ｙ＋Ｚ＝－１３
解答
X=1
Y=2
Z=3
解答経過は別に掲載
'030908 oldppt
6
回帰分析とは
統計学の源流： 優生学
Darwin の弟子 F. Galton は優生学の問題を統計学の方法で
取り扱い，回帰分析・相関分析の基礎を築いた。
1） 回帰曲線
ゴルトンは｢親の背の高さは子供に
遺伝するか」を実証的に調べた。
x に対する y の回帰曲線
x: 独立変数，説明変数
y: 従属変数，目的変数
回帰（regression)
y は y に帰っ
ていった｡
7
回帰分析とは 式と仮定
8
正規方程式
9
単回帰分析(1)
残差平方和
Sr = Σ( yi – ym )
'031003
10
単回帰分析(2)
Sr
a＾
＾b
Sr
'031003
11
多重回帰分析の主要点
・A行列/正規方程式のデータセット
の仕方
・掃き出しを重ねたときのA行列の変
化の数式表現
041016
12
掃き出し法による重回帰分析の筋道
(なまの平方和・積和行列)（k+2行，k+2列）
13
１回掃き出した結果 A.
平方和・積和行列
平均値
平方和
偏差積和
14
２回掃き出した結果 A..
15
３回掃き出した結果 A…
16
４回掃き出した結果 A….
偏相関係数算出用の逆行
列を求めるために，k+2行,
k+2列まで掃き出す
17
回帰分析 式での説明 (1)
031028
18
回帰分析 式での説明 (2)
031028
19
回帰分析 式での説明 (3)
031028
20
回帰分析 式での説明 (4)
031028
21
回帰分析 式での説明 (5)
031028
22
t 検定と変数減少法
041017
23
回帰分析の出題（規定問題）
理論上，y = x1 + x2 で表される現象を，
実験・観測した。データから，最小２乗法に
よる近似モデルを２種類作る。
(a) 独立変数として，x1 , x2 の２つを選び，
推定式 y = b0 + b1x1 + b2x2
の各係数 bi を回帰分析により同定する。
(b) (a)で得た x1, x2 の中で有意性の高い変
数を１つ選び，(a)と同様の回帰分析を行う。
変数減少後の推定式 y = b0 + bixi
031018
24
規定問題データ
No.
1
2
3
4
5
6
7
8
9
10
11
12
13
X1
0.1
1.2
2.3
2.8
1.0
2.0
3.3
1.3
2.1
2.8
3.3
2.8
1.0
X2
0.1
0.0
0.2
0.1
-1.2
-1.1
-1.0
0.8
1.1
0.8
0.5
-0.2
2.5
Y
0.1
1.3
2.5
3.2
0.1
1.0
2.0
2.0
3.0
3.9
3.2
2.8
4.0
合計
26.0
2.6
29.1
031023
奇数日　偶数日
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
各人の誕生日
の奇偶に応じ
てデータを選
択のこと。
規定問題の
評価：
（散布図），
（計算），
（考察）
25
規定問題の考察手順(1)
（1）散布図（ y vs. x1 と y vs. x2 ）を描き，直
感でそれぞれの勾配を求める。
(a) あらかじめ x2 vs. x1 の散布図を描い
ておく。データは， x1 = 0, = 1, = 2, = 3 ....,
x2 = 0, = 1, = 2, = 3 ....の近傍でばらつい
ている。各変数の値が近いものは，それ
ぞれ１つのグループにする。
031023
26
散布図 x2 vs x1
031023
27
規定問題の考察手順(1)
(b) 各散布図上（ y vs. x1 と y vs. x2 ）で，
パラメータ（隠れている変数）x2 ( x1 )
のグループごとに勾配線を目視で定規
で引く。
(c) それらの直線の勾配をまとめて（平
均を取るなり，目の子で引くなり），一つ
の直感的な勾配を求め，その勾配の
直線を散布図上の任意の場所に引く
（切片が不明のため）。
031023
28
散布図 y vs x1
031023
29
散布図 y vs x2
031023
30
規定問題の考察手順(2)(4)
（2）各種統計量を算出すること。
｜相関係数｜≦１，｜自己相関係数｜＝１
（3）得られた回帰直線を散布図上に描き，
直感的勾配と比較する。
（4）各変数の t 検定を行う。すなわち，｜t｜
値（絶対値）の一番小さい値が t 分布表の
値 t(自由度，0.05)より小さければ，その変
数を削除して再度回帰分析をする。
031023
31
規定問題の考察手順(4)(5）
（4つづき）規定問題では，この条件が成立しな
くても，変数減少法の勉強のために｜t｜
値の小さいほうの変数を強制的に削除し
て分析する。
（5）変数減少の結果，回帰係数の推定値で
ある勾配を図上に描き，その勾配を，変
数減少前の回帰係数や直感的勾配と比
較する。
031024
32
回帰.All Data
データ
の入力
規定問題解答例の前半
No.
1
2
3
4
5
6
7
8
9
10
11
12
13
計
Ave.
計の
入力
X1
0.1
1.2
2.3
2.8
1
2
3.3
1.3
2.1
2.8
3.3
2.8
1
26
2
X2
0.1
0
0.2
0.1
-1.2
-1.1
-1
0.8
1.1
0.8
0.5
-0.2
2.5
2.6
0.2
Y
0.1
1.3
2.5
3.2
0.1
1
2
2
3
3.9
3.2
2.8
4
29.1
2.238
A行列(なまの平方和・積和行列)
0
13
26
2.6
1
26 64.14
3.23
2
2.6
3.23 12.74
3
29.1
67.2 16.67
A.行列(平方和・積和行列)
0
1
2
0.2
1
0 12.14 -1.97
2
0 -1.97 12.22
3
0
9 10.85
S.1
S.2
A..行列
0
1
0 0.525
1
0
1 -0.16
2
0
0
11.9
3
0
0 12.31
X1^2
0.01
1.44
5.29
7.84
1
4
10.89
1.69
4.41
7.84
10.89
7.84
1
64.14
4.934
29.1
67.2
16.67
85.49
X2^2
0.01
0
0.04
0.01
1.44
1.21
1
0.64
1.21
0.64
0.25
0.04
6.25
12.74
0.98
Y*Y X1*X2
0.01
0.01
1.69
0
6.25
0.46
10.24
0.28
0.01
-1.2
1
-2.2
4
-3.3
4
1.04
9
2.31
15.21
2.24
10.24
1.65
7.84 -0.56
16
2.5
85.49
3.23
6.576 0.248
正規方程式
1
0
0
0
X1*Y
0.01
1.56
5.75
8.96
0.1
2
6.6
2.6
6.3
10.92
10.56
7.84
4
67.2
5.169
X2*Y
0.01
0
0.5
0.32
-0.12
-1.1
-2
1.6
3.3
3.12
1.6
-0.56
10
16.67
1.282
規定問題の
計算結果の
数値はHP
にある。
各自計算後
チェックのこ
と。
記号
0
1
0
0
0
0
1
0
0
0
0
1
2.238
9
10.85
20.35
S.3
0.077
-2
-0.2
-2.24
0
1
0
0
0
0
1
0
0
0
0
1
0.756
0.741
12.31
13.68
0.406
-0.16
-0.52
-0.76
-0.16
0.082
0.162
-0.74
0
0
1
0
0
0
0
1
S1.
S2.
S3.
33
規定問題解答例の後半
回帰.All Data
A...行列
0
1
2
3
1
0
0
0
A....行列
0
1
K+2行, k+2列
2
まで掃き出す
3
1
0
0
0
0
1
2
3
回帰係数→b^　0
0 0.213
1
0 0.909
0
1 1.034
0
0 0.944
0
1
0
0
単相関行列
1 -0.16
-0.16
1
0.573 0.688
r.1
r.2
SR
Sr
VR
Vr
R
R^2
変動
回帰不偏平方和
---
0
0
0
1
0.478
0.033
0.19
-0.23
0.573
0.688
1
r.3
残差平方和
回帰不偏分散
残差不偏分散
重相関
寄与率
0.977
0.954
b^0
b^1
b^2
Sr
平方和・積和行列の逆行列
0.033
0.19 -0.23
0.96
1.01 -0.96
1.01 1.218
-1.1
-0.96
-1.1 1.059
p.1
p.2
p.3
偏相関行列
-1 -0.93
-0.93
-1
0.955 0.965
ρ.1
ρ.2
19.41
0.944
9.703
0.094
t1
t2
041111
0
0
1
0
正規方程式の係数行列の逆行列
c.0
c.1 c.2
0.43 -0.17 -0.04
0
-0.17 0.085 0.014
0
-0.04 0.014 0.084
0
-0.21 -0.91 -1.03
1
c0.
c1.
c2.
p1.
p2.
p3.
0.955
0.965
-1
ρ.3
r1.
r2.
r3.
Sij
ρ1.
ρ2.
ρ3.
pij
rij=
S i i・S j j
ρi j ＝ - p i i・p j j
10.18
11.62
回帰式 Y=
0.213 ＋
0.909 X1
＋
1.034 X2
34
K+2行, k+2列まで掃き出す
偏相関係数
算出用の逆
行列を求め
るため。
回帰係数が
得られた後
に１回余分
に掃き出す
031023
35
規定問題 解答まとめ表（書式）
学籍番号：　氏名：　誕生日は　奇数・偶数
回帰分析解答まとめ表
変数減少結果
統計諸量
平均値
031104
重回帰分析
単回帰分析
対応行列
x1
x２
x３( =y )
A.
A.
A.
平方和
S11
S21,S22
S31,S32,S32
A.
A.
A.
回帰係数
b0
b1
b2
A...
A...
A...
回帰変動平方和
残差平方和
回帰不偏分散
残差不偏分散
SR
Sr　VR
Vr　単相関
r11
r21, r22
r31, r32, r32,
重相関
寄与率
R　R2　RR = r3i = ρ3i,
逆行列
（t値用の）
ｃ11
ｃ21, ｃ22
A...
A...
t値
t1　( t1R)
t2 ( t2R)
逆行列
（偏相関用の）
p11
p21, p22
p31, p32, p33
偏相関
ρ11
ρ21, ρ22　ρ31,ρ32,ρ33
ρii
ρ3i, ρ33　変数減少後の
偏相関
A...
A....　(pij)
A....または(qij)
A....
↓ρ33
重回帰と変数
減少後の単回
帰とを合わせ
て記入し，共
通する部分と
違うところを数
値的に見比べ
ること。
左のシートを
Copy&paste
するとExcel
のシートが
得られる。
36
規定問題 解答まとめ（奇数・偶数）
有効桁数
多過ぎる
031104
37
規定問題 解答まとめ（奇数・偶数）
031104 変数減少結果
38
JMPの出力
031020
規定問題を回転表示
39
回帰分析の応用
回帰分析の応用は別ファイルにまとめた。
以下のシートは，回帰分析応用の課題も含んでいる。
40
回帰分析結果の吟味(1)
031023
41
回帰分析結果の吟味(2)
031023
42
回帰分析結果の評価
031023
43
回帰分析の参考書
031020
44
回帰分析のKey words
回帰分析： 線形・static
モデル構造（多項式） vs 係数値
モデルの評価: 標本/母集団，散布図
構造（変数選択）: 仮説，散布図，経験・知識
標本: 係数の有意性，散布図，統計量，t 値，残差
平方和，単相関，偏相関，多重共線性
母集団: 重相関，FPE，AIC，Cross validation，散布
図，経験・知識，Teaching data/checking data
031221
45