Transcript URL

富山大学知能情報工学科
「統計学」第１４回
ホーエル『初等統計学』
まとめ、総合演習
高 尚策 （コウ ショウサク） 准教授
Email: [email protected]
1
前回の演習問題の答え
• 問題１（章末問題１）
12人の大学生の身長（ｘ）と体重（ｙ）とを示した次のデータから,（a）散布図
を描け,（b）観察によりｒの値を推量せよ,（c）ｒの値を計算せよ．
x
65
73
70
68
66
69
75
70
64
72
65
71
y
124
184
161
164
140
154
210
164
126
172
133
150
答え：
（a）散布図
（b）観察により ｒ > 0.7
学生番号
1
2
3
4
5
6
7
8
9
10
11
12
合計
平均
不偏分散
標準偏差
相関係数
身長(x)
xの偏差 yの偏差 xの偏差^2 yの偏差^2 偏差の積
体重(y)
65
124
-4
-32.83
16
1078.03
131.33
73
184
4
27.17
16
738.03
108.67
70
161
1
4.17
1
17.36
4.17
68
164
-1
7.17
1
51.36
-7.17
66
140
-3
-16.83
9
283.36
50.50
𝑛
69
154
0
-2.83
0
8.03
0.00
𝑖
𝑖=1 𝑖
75
210
6
53.17
36
2826.69
319.00
70
164
1
7.17
51.36
7.17
𝑥1 𝑦
64
126
-5
-30.83
25
950.69
154.17
72
172
3
15.17
9
230.03
45.50
65
133
-4
-23.83
16
568.03
95.33
71
150
2
-6.83
4
46.69
-13.67
828
1882
134
6849.67
895
69 156.8333
12.18
622.70
3.49
24.95
(𝑥 − 𝑥)(𝑦 − 𝑦)
(𝑛 − 1)𝑠 𝑠
=895/(11*3.49*24.95)=0.93
𝒓=
0.93
（c）エクセルで計算：=CORREL(B2:B13,C2:C13)
2
前回の演習問題の答え
問題２（章末問題19）
次のデータは学生の入学試験の点数（ｘ）と学期末の点数（ｙ）の関係を
示したものである．（a）回帰直線を求めよ．（b）この直線を散布図の上に図
示せよ．
x
129
179
347
328
286
256
477
430
327
245
286
326
y
370
361
405
302
496
323
374
332
435
165
375
466
答え：
（a）回帰直線は
𝑦 = 330.29 + 0.12𝑥
（b）散布図の上に図示
=INTERCEPT(C2:C13,B2:B13)
=SLOPE(C2:C13,B2:B13)
3
第1章～第9章のまとめ
4
第１章 統計的方法の性質
• 記述統計（descriptive statistics）
データの収集，要約に関する統計学 ．
得られたデータを要約する．
– 標本データの要約
– 小さな母集団（学級など）でのデータの要約
• 推測統計（statistical inference）
母集団に関する結論を引き出す統計学 ．
5
調査の流れ
調査
確率（sampling）
母集団
標本
知りたい対象
得られた
データ
（未知の調査対象）
（分析可能）
記述統計
推測
確率（推定・検定）
6
第２章 標本データの記述
• データの分類
– 度数分布表
– ヒストグラム
• 算術的記述
– 代表値（average）＝位置（location）の測度
平均値（mean）
中央値（median）
最頻値（mode）
平均値（算術平均）・中央値・最頻値の特徴
– 散布度（dispersion）＝変動（variation）の測度
分散（variance），標準偏差（standard deviation）
s2 
n
1
( X i  X )2

n  1 i 1
U2 
1
1
2
2
2
(
X

X
)

X
「２乗の平均－平均の２乗」


i
i X
n
n
範囲（range）
四分位範囲（interquartile range）
7
度数分布表の例
階級境界値
階 級
１０９．５ ～ １１９．５
１１９．５ ～ １２９．５
１２９．５ ～ １３９．５
１３９．５ ～ １４９．５
１４９．５ ～ １５９．５
１５９．５ ～ １６９．５
１６９．５ ～ １７９．５
１７９．５ ～ １８９．５
１８９．５ ～ １９９．５
１９９．５ ～ ２０９．５
２０９．５ ～ ２１９．５
度数
１
４
１７
２８
２５
１８
１３
６
５
２
１
階級境界値を設定する
際の工夫：
• 測定単位よりもひとつ下の桁で境界値を設定するのは、ちょうど境界値をとった
データをどちらの階級に入れるか迷わないようにするための工夫である。
• 測定単位の桁で境界値を設定してもよい。
ヒストグラムの例： 120人の学生の体重の分布 （教科書の図２）
30
28
25
人数（人）
25
20
17
15
18
13
柱
10
6
4
5
5
2
1
0
体重（ポンド）
1
第３章 確率
• 確率に関する概念
– 試行 (trial), 標本空間 Ω (sample space)
– 事象 E (event), 単一事象 (simple event)
– 複合事象 (composite even), 事象演算
• 確率の公理
• 排反と，加法定理
– ２つの事象 Aと B
𝑃 𝐴 ∪ 𝐵 = 𝑃 𝐴 + 𝑃 𝐵 − 𝑃(𝐴 ∩ 𝐵)
– Aと B が互いに排反ならば，
𝑃 𝐴 ∩ 𝐵 =0
𝑃 𝐴∪𝐵 =𝑃 𝐴 +𝑃 𝐵
• 条件つき確率と，乗法定理
• 独立事象
𝑃 𝐴 ∩ 𝐵 = 𝑃(𝐴) × 𝑃(𝐵|𝐴)
– Aと B が独立ならば
𝑃 A B = 𝑃(A)
𝑃 𝐴 ∩ 𝐵 = 𝑃 𝐴 𝑃(𝐵)
10
理論の対立
• 頻度論者(Frequentist)
– 長所 :
– 短所 :
客観的な分析ができる
何度も繰り返し実験ができる，という前提は，
強引すぎる
• ベイズ論者(Bayesian)
– 長所 :
– 短所 :
自然な考え方であり，事前知識も活用できる
主観確率を使うので，同じ情報があっても，
人によって前提から結論まで違う
• ベイズの定理（事後確率を計算するための公式）
𝑃(𝐷|𝐻) × 𝑃(𝐻)
P HD =
𝑃(𝐷)
事後確率
尤度
事前確率
11
第４章 確率分布
• 確率変数：標本空間の上で定義された実数値関数
– 離散型
– 連続型
• 確率分布の性質：
– 標本の大きさを十分に大きくすると，標本平均ｍは母集団平均μに収
束する
標本平均：m
母集団平均：μ
無作為
2
標本分散：s
抽出
母集団分散：σ２
母集団（確率分布）
•
期待値
E[ X  c]  E[ X ]  c
標本（経験分布）
E[c  X ]  c  E[ X ]
E[ X  Y ]  E[ X ]  E[Y ]
補足
𝑉 𝑋 = 𝐸 𝑋 2 − (𝐸 𝑋 )2
𝑉 𝑐𝑋 = 𝑐 2 𝑉[𝑋]
12
第５章 主要な確率分布
• 代表的な２つの確率分布の導入
 ２項分布（離散型）
 （実践）エクセルを利用した
２項分布の確率計算
 正規分布（連続型）
 （実践）エクセルで正規分布のグ
ラフの書き方
• ２項分布の正規近似
13
13
第６章 標本抽出
標本抽出
無作為抽出
単純無作為抽出
有意抽出法
紹介法、応募法、出口調査など
• 不偏推定値
– 標本平均ｘ は、母集団平均μの不偏推定値である．
– 標本分散ｓ２ （偏差平方和を n – 1 で割る）は，母集団分散σ２
の不偏推定値である．
– 性質： E(ｘ)=μ
V(ｘ) = σ2/n
E(s2)=σ2 E(s) ≠ σ
• 中心極限定理
確率変数 X： E[X]=𝜇, V[X]=σ2
大きさ n の無作為標本に基づく標本平均
𝜎2
𝑥~𝑁(𝜇, )
𝑛
14
第７章 推定
標本
標本抽出
母集団
母数
母平均、母分散
標本データの分析
（記述統計学）
母集団における状態
の推測（推測統計学）
標本統計量
（平均値、分散、相関係数など）
15
標
本
母
集
団
推定
標本統計量
母数
• 統計的推定
𝜎
𝑛
– 点推定 （標本平均𝑥と標準誤差 ）
– 区間推定 （信頼水準𝛼と信頼区間[−𝑧0 , 𝑧0 ]）
• 母集団平均𝜇の推定
95%の確率で
x  1. 96
理論的には

n
   x  1. 96
信頼水準95%の信頼区間
s
s
x  1. 96
   x  1. 96
n
n

n
実際の計算では（大標本法）
1
2
s 
( xi  x )
n 1
2
16
母集団平均の信頼区間の公式
90%確率のとき、𝑧0 = 1.645
95%確率のとき、𝑧0 = 1.96
99%確率のとき、𝑧0 = 2.58
公式１
公式２
公式３
信頼水準90%信頼区間 x  1.645
信頼水準95%信頼区間 x  1.96

n

n
信頼水準99%信頼区間 x  2.58 
n
• 信頼区間を大きくすれば「はずれ」の確率は小さくなるが，大きすぎ
る信頼区間は意味がない．n を大きくすると区間を小さくできる
17
• スチューデントのｔ分布
– 自由度調整済み分散
― t分布の定義
– t分布の特徴と性質
―t分布表の使い方
– 母平均 μ の信頼区間（小標本法）
𝑠
𝑥 ± 𝑡0
𝑛
• 割合pの推定
α
t
– 母集団での割合 p の信頼区間
𝑝 ± 𝑧0
– 標本の大きさの決定
𝑝(1 − 𝑝)
𝑛
90%確率のとき、𝑧0 = 1.645
95%確率のとき、𝑧0 = 1.96
99%確率のとき、𝑧0 = 2.58
𝑧𝑜 2
𝑛 = 𝑝(1 − 𝑝)( )
𝑒
18
推定のとき
モデル分布の決定～ｚ分布か、ｔ分布か～
１．母標準偏差が既知→
ｚ 分布（標準正規分布）
２．母標準偏差が未知
ａ．標本サイズが大 （目安はｎ≧２５ ）
大標本法 → ｚ 分布（近似）
ｂ．標本サイズが小 → ｔ 分布
小標本法
母集団が正規分布に従う
という保証がある限り
19
第８章 仮説の検定
• 仮説の検定とは
– 用語：検定統計量、有意水準、棄却域
– 分類：片側検定と両側検定
検定統計量の
確率分布
（確率密度関数）
有意水準 α
• ２種類の過誤
棄却限界値
（critical value）
棄却域
採択する仮説
真実
H0 を採択
H1 を採択
H0 が真
正しい判定
第１種の誤り
H1 が真
第２種の誤り
正しい判定
20
• 平均値の検定
P=0.025
P=0.025
– 正規母集団の
母平均の検定（両側検定） z=-1.96 z=+1.96
– 正規母集団の
P=0.05
母平均の検定（片側検定）
z=+1.64
– 母平均の区間推定と検定は表裏の関係．
帰無仮説が棄却されるかどうか
＝仮定される平均値が信頼区間に含まれるかどう
か
• 割合の検定
pˆ  p
Z
pq
n
21
• ２つの平均値の差の検定
注意：２群のスコアは，２つの母集団から，そ
れぞれ独立に抽出したものでなくてはならな
い．
定理：標本平均の差 𝑥1 − 𝑥2 の分布： N (1  2 ,
z
( x1  x2 )  ( 1   2 )
 12
n1

 22
12
n1

 22
n2
)
①標準正規分布を用いた両側検定
~𝑁(0,1)
n2
標準化
P=0.025
z=-1.96
P=0.025
z=+1.96
②標準正規分布を用いた方側検定
１）母集団分散𝜎1 , 𝜎2 が既知の場合、そのまま代入
２）母集団分散が未知の場合
 大標本（目安として n1 > 25， n2 > 25）では，
P=0.05
標本分散(𝑠12 , 𝑠22 )で代用する．
 小標本でも標本分散で代用するが，
正規分布のかわりに t 分布を用いた検定を行う（ｔ検定）
z=+1.64
22
• ｔ検定
仮定０：２群の母平均が等しい（検定の帰無仮説）
仮定１：２群の母分散が等しい
仮定２：母集団の分布は正規分布
t検定統計量
t
x1  x2
(n1  1) s1  (n2  1) s2  1 1 
  
n1  n2  2
 n1 n 2 
2
2
~ 𝑡(𝑛1 + 𝑛2 − 2)
面積＝有意水準
t分布（自由度m=n-1）
棄却限界値
23
• ２つの標本割合の差の検定
定理：標本割合の差 𝑝1 − 𝑝2 の分布：
( pˆ1  pˆ 2 )  ( p1  p2 )
z
p1q1 p2 q2

n1
n2
p1q1 p2 q2
N ( p1  p2 ,

)
n1
n2
①標準正規分布を用いた両側検定
~𝑁(0,1)
P=0.025
標準化
１）母集団割合𝑝1 , 𝑝2 が既知の場合、そのまま代入
２）母集団割合が未知の場合
 大標本（目安として n1 > 25， n2 > 25）では，
𝑘 +𝑘
２群を合併して母集団割合𝑝 = 𝑛1+𝑛2 で代用する．
1
 小標本では分割表の検定（第10章）
z=-1.96
P=0.025
z=+1.96
②標準正規分布を用いた方側検定
P=0.05
2
z=+1.64
24
第９章 相関と回帰
１．線形相関
𝒓=
𝑛
𝑖=1(𝑥𝑖
𝑛
𝑖=1(𝑥𝑖
− 𝑥)(𝑦𝑖 − 𝑦)
2
− 𝑥)
𝑛
𝑖=1(𝑦𝑖
2
− 𝑦)
２．相関係数ｒの意味
３．直線回帰
４．最小２乗法
yˆi  a  bxi
回帰係数：
1 n
xi  x  yi  y 
s xy n 
b  2  i 1 n
1
sx
2


x

x
 i
n i 1
切片： a  y  bx
５．回帰の錯誤
25
総合演習
演習課題：「ある記憶方法の有効性の検証」
• 大学生のＡさんは海外旅行先で画期的な記
憶方法があることを知った。そこで帰国後そ
の方法が本当に有効であるか確認することと
した。
• 問題：どうやって調べればいいでしょうか？
26
実験１
•
•
•
•
目的：新記憶法の有効性を確認する
被験者：大学生１０名
素材：英単語３０個
手順：
1.
2.
3.
4.
5.
１０名を２つのグループＡとＢに分ける。
グループＡだけに新記憶法を教える。
全員に英単語が書かれたカードを渡す。
一斉に５分間だけ単語の暗記をさせる。
確認テストを行い、正しく記憶できた個数を調べる。
27
実験１の結果
グループＡ
２２
２５
２８
１８
２０
２４
２１
２６
２４
１７
グループＢ
２０
２１
１９
２３
１８
１９
２２
２５
２３
２３
（注）単位は正答単語数
28
検討
• どのように検討すればいいでしょか？
29
（１）記述統計
表．実験１の結果の概要
平均値
分散
最大値
最小値
中央値
最頻値
範囲
グループＡ
グループＢ
30
（２）推測統計
• 「２つの平均値の差の検定」っていうのがあっ
たなぁ～。
注意：ここの平均値は標本の平均値𝒙ではなく、母集団の
平均値𝝁のことである。
31
２つの平均の差の検定
• t検定を適用する。
（なぜt検定なのか？）
• 前提：
① 各人の正答数は正規分布に従う。
② ２つのグループの母分散は等しい。
（注）②が成り立てば「データに対応のない場合の
t検定」を、②が成り立たない場合は「ウェルチ
の検定」を行う。
32
実験１の場合
• どの方法を使うの？
（各自で考えてみてください。）
いろいろとめんどくさそうですね…
そこで…
33
おすすめの方法
• 「対応のあるデータの場合のt検定」が
使えるようにデータを取ろう！
(可能な限りですが．．．)
• つまり、同じ人に対して、新記憶法を教えたと
きと教えない時との差を調べる、ということ。
34
実験２の結果はこんな風になる。
ここを利用
被験者Ｎｏ
教えない場合
教えた場合
差
１
２
３
４
５
６
７
８
９
１０
35
実際に検定してみよう！
• 各自挑戦してみてください
• 授業中２０分以内で完成してください
• 名前と学籍番号をご記入のうえ、配布したレ
ポート用紙を提出してください。
東京工科大学 確率と統計2011
36
学期末試験に関する説明
実施時間：2015年８月６日（木） 午後 ２：４５ ～ ４：１５ （９０分）
場
所：新講義棟 ２６室
出題範囲： P.G.ホーエル著「初等統計学」 第１章～第９章
注意事項
（ア）講義ノート，参考図書，講義資料，電卓の持ち込みは可。
（イ）計算機、携帯電話、iPadなどの通信機器・端末の持ち込みは不可。
（ウ）学期末試験を受験するためには、学生証を提示しなければならない。
（エ）試験開始10分前までに試験室に入室し、監督者が指定した席に着席しなけれ
ばならない。
（オ）試験開始後20分を経過した遅刻者は、事情の如何を問わず、入室および受験
できない。
（カ）試験中の途中退室は原則禁止。
（キ）止むを得ない場合、監督者の確認を得てから、一時退室・再入室が可能。
「学生による授業評価アンケート」の記入
授業科目名： 統計学
担当教員名： 高 尚策
授業コード：
170145