Transcript 2.6回帰分析(旧版

2.6 回帰分析
モデル作成
入出力（U, y) の実
データから対象特性
の数式モデル作成
構造
時間
線形
静的 static
回帰分析
対象
U
入力
?
Black box
動的 dynamic
自己回帰法
AR model
MA model
ARMA model
y
出力
Neural network
非線形 GMDH
Group method
of data handling
回帰分析の教材
Volterra series
expression
http://www.rs.kagu.tus.ac.jp/~ohnari/sim/sim.html
031004
041111
1
掃き出し法 Sweep out method
2
逆行列の計算法
3
２元連立方程式の求解 行操作
'031004
4
２元連立方程式の求解 数式画面
A
B
《 初期行列 》
1 2
2 3
C
方程式の各要素
5
12
-4
-5
D
E
1
0
F
単位行列
0
1
《 １回目の掃き出し 》
3 =B12/$B$12
=C12/$B$12
=D12/$B$12
=E12/$B$12
=F12/$B$12
(第１行)/2
4 =B13-$B$13*B16 =C13-$B$13*C16 =D13-$B$13*D16 =E13-$B$13*E16 =F13-$B$13*F16 (第２行)－3×(第３行)
《 ２回目の掃き出し 》
方程式の解
初期行列の逆行列
5 =B16-$C$16*B21 =C16-$C$16*C21 =D16-$C$16*D21 =E16-$C$16*E21 =F16-$C$16*F21 (第３行)－2.5×(第６行)
6 =B17/$C$17
=C17/$C$17
=D17/$C$17
=E17/$C$17
=F17/$C$17
(第４行)/(－11.5)
EXCEL使用時のコマンド
絶対/相対番地（式/「絶対/相対」)： $A$1→A$1→$A1→A1
Windows：F4
Mac：コマンド+T
数式表現
ツール/オプション/表示-ウインドウオプション中の数式を選択
回帰分析ルーチンの利用
ツール/分析ツール/回帰分析
5
３元連立方程式の求解（課題）
表計算ソフト上で掃き出し法を用いて以下の方程式を解け。
計算の結果もビジュアルなものにして提出すること。
{
誕生日が偶数の人
３Ｘ＋５Ｙ＋２Ｚ＝１９
－Ｘ＋２Ｙ＋４Ｚ＝１５
１０Ｘ－８Ｙ＋Ｚ＝－３
'030908 oldppt
{
誕生日が奇数の人
３Ｘ－Ｙ＋３Ｚ＝１１
５Ｘ＋２Ｙ－３Ｚ＝９
－２Ｘ－３Ｙ＋Ｚ＝－１３
6
回帰分析とは
統計学の源流： 優生学
Darwin の弟子 F. Galton は優生学の問題を統計学の方法で
取り扱い，回帰分析・相関分析の基礎を築いた。
1） 回帰曲線
ゴルトンは｢親の背の高さは子供に
遺伝するか」を実証的に調べた。
x に対する y の回帰曲線
x: 独立変数，説明変数
y: 従属変数，目的変数
回帰（regression)
y は y に帰っ
ていった｡
7
回帰分析とは 式と仮定
8
正規方程式
9
単回帰分析(1)
残差平方和
Sr = Σ( yi – ym )
'031003
10
単回帰分析(2)
Sr
a＾
＾b
Sr
'031003
11
回帰分析 式での説明 (1)
031028
12
回帰分析 式での説明 (2)
031028
13
回帰分析 式での説明 (3)
031028
14
回帰分析 式での説明 (4)
031028
15
回帰分析 式での説明 (5)
031028
16
t 検定と変数減少法
簡易計算法は，昔，
計算時間を節約し
たいときに使った｡
今は再計算をした
ほうがよい｡
031028
17
回帰分析の出題（規定問題）
理論上，y = x1 + x2 で表される現象を，
実験・観測した。データから，最小２乗法に
よる近似モデルを２種類作る。
(a) 独立変数として，x1 , x2 の２つを選び，
推定式 y = b0 + b1x1 + b2x2
の各係数 bi を回帰分析により同定する。
(b) (a)で得た x1, x2 の中で有意性の高い変
数を１つ選び，(a)と同様の回帰分析を行う。
変数減少後の推定式 y = b0 + bixi
031018
18
規定問題データ
No.
1
2
3
4
5
6
7
8
9
10
11
12
13
X1
0.1
1.2
2.3
2.8
1.0
2.0
3.3
1.3
2.1
2.8
3.3
2.8
1.0
X2
0.1
0.0
0.2
0.1
-1.2
-1.1
-1.0
0.8
1.1
0.8
0.5
-0.2
2.5
Y
0.1
1.3
2.5
3.2
0.1
1.0
2.0
2.0
3.0
3.9
3.2
2.8
4.0
合計
26.0
2.6
29.1
031023
奇数日　偶数日
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
〇
各人の誕生日
の奇偶に応じ
てデータを選
択のこと。
規定問題の
評価：
（散布図），
（計算），
（考察）
19
規定問題の考察手順(1)
（1）散布図（ y vs. x1 と y vs. x2 ）を描き，直
感でそれぞれの勾配を求める。
(a) あらかじめ x2 vs. x1 の散布図を描い
ておく。データは， x1 = 0, = 1, = 2, = 3 ....,
x2 = 0, = 1, = 2, = 3 ....の近傍でばらつい
ている。各変数の値が近いものは，それ
ぞれ１つのグループにする。
031023
20
散布図 x2 vs x1
031023
21
規定問題の考察手順(1)
(b) 各散布図上（ y vs. x1 と y vs. x2 ）で，
パラメータ（隠れている変数）x2 ( x1 )
のグループごとに勾配線を目視で定規
で引く。
(c) それらの直線の勾配をまとめて（平
均を取るなり，目の子で引くなり），一つ
の直感的な勾配を求め，その勾配の
直線を散布図上の任意の場所に引く
（切片が不明のため）。
031023
22
散布図 y vs x1
031023
23
散布図 y vs x2
031023
24
規定問題の考察手順(2)(4)
（2）各種統計量を算出すること。
｜相関係数｜≦１，｜自己相関係数｜＝１
（3）得られた回帰直線を散布図上に描き，
直感的勾配と比較する。
（4）各変数の t 検定を行う。すなわち，｜t｜
値（絶対値）の一番小さい値が t 分布表の
値 t(自由度，0.05)より小さければ，その変
数を削除して再度回帰分析をする。
031023
25
規定問題の考察手順(4)(5）
（4つづき）規定問題では，この条件が成立しな
くても，変数減少法の勉強のために｜t｜
値の小さいほうの変数を強制的に削除し
て分析する。
（5）変数減少の結果，回帰係数の推定値で
ある勾配を図上に描き，その勾配を，変
数減少前の回帰係数や直感的勾配と比
較する。
031024
26
規定問題の前半
回帰.All Data
データ
の入力
No.
1
2
3
4
5
6
7
8
9
10
11
12
13
計
Ave.
計の
入力
X1
0.1
1.2
2.3
2.8
1
2
3.3
1.3
2.1
2.8
3.3
2.8
1
26
2
X2
0.1
0
0.2
0.1
-1.2
-1.1
-1
0.8
1.1
0.8
0.5
-0.2
2.5
2.6
0.2
Y
0.1
1.3
2.5
3.2
0.1
1
2
2
3
3.9
3.2
2.8
4
29.1
2.238
A行列(なまの平方和・積和行列)
0
13
26
2.6
1
26 64.14
3.23
2
2.6
3.23 12.74
3
29.1
67.2 16.67
A.行列(平方和・積和行列)
0
1
2
0.2
1
0 12.14 -1.97
2
0 -1.97 12.22
3
0
9 10.85
S.1
S.2
A..行列
0
1
0 0.525
1
0
1 -0.16
2
0
0
11.9
3
0
0 12.31
X1^2
0.01
1.44
5.29
7.84
1
4
10.89
1.69
4.41
7.84
10.89
7.84
1
64.14
4.934
29.1
67.2
16.67
85.49
X2^2
0.01
0
0.04
0.01
1.44
1.21
1
0.64
1.21
0.64
0.25
0.04
6.25
12.74
0.98
Y*Y X1*X2
0.01
0.01
1.69
0
6.25
0.46
10.24
0.28
0.01
-1.2
1
-2.2
4
-3.3
4
1.04
9
2.31
15.21
2.24
10.24
1.65
7.84 -0.56
16
2.5
85.49
3.23
6.576 0.248
正規方程式
1
0
0
0
X1*Y
0.01
1.56
5.75
8.96
0.1
2
6.6
2.6
6.3
10.92
10.56
7.84
4
67.2
5.169
X2*Y
0.01
0
0.5
0.32
-0.12
-1.1
-2
1.6
3.3
3.12
1.6
-0.56
10
16.67
1.282
規定問題の
計算結果の
数値はHP
にある。
各自計算後
チェックのこ
と。
記号
0
1
0
0
0
0
1
0
0
0
0
1
2.238
9
10.85
20.35
S.3
0.077
-2
-0.2
-2.24
0
1
0
0
0
0
1
0
0
0
0
1
0.756
0.741
12.31
13.68
0.406
-0.16
-0.52
-0.76
-0.16
0.082
0.162
-0.74
0
0
1
0
0
0
0
1
S1.
S2.
S3.
27
規定問題の後半
回帰.All Data
A...行列
0
1
2
3
1
0
0
0
A....行列
0
1
2
3
1
0
0
0
0
1
2
3
回帰係数→b^　0
0 0.213
1
0 0.909
0
1 1.034
0
0 0.944
0
1
0
0
単相関行列
1 -0.16
-0.16
1
0.573 0.688
r.1
r.2
SR
Sr
VR
Vr
R
R^2
変動
回帰不偏平方和
---
0
0
0
1
0.478
0.033
0.19
-0.23
0.573
0.688
1
r.3
残差平方和
回帰不偏分散
残差不偏分散
重相関
寄与率
0.977
0.954
b^0
b^1
b^2
Sr
平方和・積和行列の逆行列
0.033
0.19 -0.23
0.96
1.01 -0.96
1.01 1.218
-1.1
-0.96
-1.1 1.059
p.1
p.2
p.3
偏相関行列
-1 -0.93
-0.93
-1
0.955 0.965
ρ.1
ρ.2
19.41
0.944
9.703
0.094
t1
t2
041111
0
0
1
0
正規方程式の係数行列の逆行列
c.0
c.1 c.2
0.43 -0.17 -0.04
0
-0.17 0.085 0.014
0
-0.04 0.014 0.084
0
-0.21 -0.91 -1.03
1
c0.
c1.
c2.
p1.
p2.
p3.
0.955
0.965
-1
ρ.3
r1.
r2.
r3.
Sij
ρ1.
ρ2.
ρ3.
pij
rij=
S i i・S j j
ρi j ＝ - p i i・p j j
10.18
11.62
回帰式 Y=
0.213 ＋
0.909 X1
＋
1.034 X2
28
K+2行, k+2列まで掃き出す
偏相関係数
算出用の逆
行列を求め
るため。
031023
29
規定問題 解答まとめ表（書式）
学籍番号：　氏名：　誕生日は　奇数・偶数
回帰分析解答まとめ表
変数減少結果
統計諸量
平均値
031104
重回帰分析
単回帰分析
対応行列
x1
x２
x３( =y )
A.
A.
A.
平方和
S11
S21,S22
S31,S32,S32
A.
A.
A.
回帰係数
b0
b1
b2
A...
A...
A...
回帰変動平方和
残差平方和
回帰不偏分散
残差不偏分散
SR
Sr　VR
Vr　単相関
r11
r21, r22
r31, r32, r32,
重相関
寄与率
R　R2　RR = r3i = ρ3i,
逆行列
（t値用の）
ｃ11
ｃ21, ｃ22
A...
A...
t値
t1　( t1R)
t2 ( t2R)
逆行列
（偏相関用の）
p11
p21, p22
p31, p32, p33
偏相関
ρ11
ρ21, ρ22　ρ31,ρ32,ρ33
ρii
ρ3i, ρ33　変数減少後の
偏相関
A...
A....　(pij)
A....または(qij)
A....
↓ρ33
重回帰と変数
減少後の単回
帰とを合わせ
て記入し，共
通する部分と
違うところを数
値的に見比べ
ること。
左のシートを
Copy&paste
するとExcel
のシートが
得られる。
30
規定問題 解答まとめ（奇数・偶数）
有効桁数
多過ぎる
031104
31
規定問題 解答まとめ（奇数・偶数）
031104 変数減少結果
32
t表
参考
031020
33
t０.０５ 分布値の回帰結果
031020
34
t(Φ,0.05)の回帰モデル作成
t検定の基準の値は，t分布表から，自由度Φと
有意水準αに応じる値を拾ったり，内挿して求め
る。面倒だね。回帰分析で近似式を作ろう。
私が作った近似式は，
t(Φ,0.05) = 1.9585 + 2.4415 Φ-1 + 2.1852 Φ-2
この式より精度のよい近似式を作った学生もいる。
君も挑戦してみては?
031023
35
JMPの出力
031020
36
計算機制御のための数式モデル
031028
37
計算機制御モデルのための回帰分析
4.
031028
38
回帰分析に関する自由課題
身近にあるモデリングの課題を探し出し，重回帰分
析(独立変数は２つ以上)を用いてモデルを構築する。
例えば，ワンルームマンションを取り上げると，家賃
は何によって決まるか，と疑問が沸く。広さ，駅から
の距離，築年数，階数，などに依存しそうだ。データ
を集めるため，「アパマン」などの賃貸情報を探すこ
とになる。
ワンルームマンションの家賃は例示したので，課題と
して選ばないこと。
直感勾配は描こうとしないこと。
031020
39
自由課題のレポートのまとめ方
(1)
１．タイトル
対象
従属変数に及ぼす独立変数の寄与・影響
[手法]，[結果]は，タイトルとしては多分，不適切である
２．目的，ねらい
対象 分析目的
従属変数
仮説：経験論，常識
主要な独立変数
手法のチェック
３．使用データ
データは記載するのが原則。追試ができなくてはならない
出典，測定日時・場所・条件を明記
４．散布図
横軸と縦軸の名称記入。Captionの記入：意図の反映
031020
40
自由課題のレポートのまとめ方
(2)
５．回帰分析
単回帰
重回帰：多項式(polynomial)で表現
polynomial = 複数の独立変数または多重項
変数の選択：変数減少法
６．分析結果の考察
統計値： t 値（F値），R, R2 は目安
散布図上に回帰式や回帰係数を描く
→外挿上の問題点を明確に
各データに関する誤差の評価。特に適用範囲で誤差を評
価
７．今後の課題
見直し： 仮説? データ? 変数? 手法?
論理的帰結でないことは言わない
031020
41
感想なら，それを仮説にフィードバックすること
自由課題タイトルの改善例
031020
42
回帰分析の応用
・ t(Φ,0.05)の数式化
・潮位予測
・圧延時の先進率計算式
・ゴルフの飛距離は何に依存するか
・多重共線性
031023
43
河口堰制御のための潮位予測計算
河口堰最適制御方式
データ
名古屋港の実測潮位と
気象観測値を利用
031023
計算方式
44
河口堰制御のための潮位予測回帰モデル
潮位 = 天文潮 + 気象潮
天文潮による潮位(調和分解による）
ht = S0 + ΣfHcos(nt+V0+u-k)
H:各分潮の半潮差，ｆ：Hの経年変化係数，k:遅角， V0+u：天文引数，
S0：平均水面，n:各分潮の速度，t:時刻
気象潮： 高潮時の実験式
hk = a(1013-p) + bv2cos(θ- θ0)
p:気圧，v:風速， θ：風向， θ0 ：主風向， a:気圧係数，b:風速係数
回帰式 --- 変数減少法でα，β，a，b，S0を決定。
h(t) = S0 + Σ(αcosnt+βsinnt)
+ a(1013-p(t)) + bv(t)2cos(θ(t) - θ0)
h(t), p(t), v(t), θ(t): 実測の潮位，気圧，風速，風向
031105
45
潮位予測モデルの評価
予測誤差の評価
実測潮位と計算
値との比較曲線
誤差（実測潮位-計
算値)のヒストグラム
031023
46
圧延時の先進率fの対数型簡略式
(A)
R
H
1+f
圧下率
対数型簡略式
r=
h
H-h
H：入口板厚
h： 出口板厚
031023
47
h
先進率の線形簡略式(B)1
031023
48
先進率の線形簡略式(B)2
線形多項
式近似
031023
49
対数型回帰式の誤差
031023
50
ゴルフクラブの長さやロフト角が飛
距離に及ぼす影響
目的 各ゴルフクラブはボールの飛距離が異なるように作られてい
る。クラブは，長さおよびロフト角に従って飛距離が一定に変ってい
くことが望ましい。3変数がどのような関係になっているかを調べる。
使用データ
031020
51
飛距離 vs 長さ および ロフト角
031020
52
多重共線性
031020
53
回帰分析結果の吟味(1)
031023
54
回帰分析結果の吟味(2)
031023
55
回帰分析結果の評価
031023
56
回帰分析の参考書
031020
57
2.6 回帰分析のKey words
回帰分析： 線形・static
モデル構造（多項式） vs 係数値
モデルの評価: 標本/母集団，散布図
構造（変数選択）: 仮説，散布図，経験・知識
標本: 係数の有意性，散布図，統計量，t 値，残差
平方和，単相関，偏相関，多重共線性
母集団: 重相関，FPE，AIC，Cross validation，散布
図，経験・知識，Teaching data/checking data
031221
58