Transcript URL

富山大学知能情報工学科
「統計学」第１１回
ホーエル『初等統計学』
第８章１節～３節 仮説の検定（１）
高 尚策 （コウ ショウサク） 准教授
Email: [email protected]
1
前回の復習
• スチューデントのｔ分布
– 自由度調整済み分散
― t分布の定義
– t分布の特徴と性質
―t分布表の使い方
– 母平均 μ の信頼区間（小標本法）
𝑠
𝑥 ± 𝑡0
𝑛
• 割合pの推定
α
t
– 母集団での割合 p の信頼区間
𝑝 ± 𝑧0
– 標本の大きさの決定
𝑝(1 − 𝑝)
𝑛
90%確率のとき、𝑧0 = 1.645
95%確率のとき、𝑧0 = 1.96
99%確率のとき、𝑧0 = 2.58
𝑧𝑜 2
𝑛 = 𝑝(1 − 𝑝)( )
𝑒
2
推定のとき
モデル分布の決定～ｚ分布か、ｔ分布か～
１．母標準偏差が既知→
ｚ 分布（標準正規分布）
２．母標準偏差が未知
ａ．標本サイズが大 （目安はｎ≧２５ ）
大標本法 → ｚ 分布（近似）
ｂ．標本サイズが小 → ｔ 分布
小標本法
母集団が正規分布に従う
という保証がある限り
3
前回の演習問題の答え
• 問題1（章末問題30）
次のデータは1972年春刊行の医学雑誌New England Journal
of Medicineで,数人の医師が報告した論文から引用したもので
ある．
この研究は,55人の非喫煙者,31人のパイプまたは葉巻きの
常用者,および401人の紙巻きタバコの常用者のそれぞれにつ
て,各人の肺気腫の程度を調べたもので,被験者はすべて60歳
未満の人々である．60歳以上の喫煙者は別の研究で取り上げ
られた．
次の表の階級の区分の仕方は,元の論文のものとは少し
違っている．
4
肺気腫
の程度
非喫煙
者
パイプま
たは葉
巻きの
常用者
0–1
53
1–2
2
紙巻きタバコの常用者
<1
1-2
>2
18
15
2
0
11
13
24
5
2–3
1
19
130
56
3–4
1
17
50
38
4
8
7
5–7
4
5
7–9
3
1
221
112
4–5
計
55
31
68
5
ｘを肺気腫の程度を測る変数とし,各階級値は𝑥1 = 0.5, 𝑥2 =
1.5, 𝑥3 = 2.5, 𝑥4 = 3.5, 𝑥5 = 4.5, 𝑥6 = 6.0, 𝑥7 = 8.0とする．
（a）紙巻きタバコ常用者グループの各データを１つの表にま
とめた上で,このグループのｘの平均と標準偏差を求めよ．
（b）（a）で求めた結果を用いて,紙巻きタバコ常用者に対する
ｘの母集団平均の95%信頼区間を求めよ．
（c）非喫煙者グループ,パイプまたは葉巻きの常用者グルー
プそれぞれの平均を計算して,それが（b）で求めた信頼区間に
含まれるかどうかを調べよ．
6
答え：
（a） 紙巻きタバコ常用者グループの度数分布表
階級値x
度数𝒇𝒊
0.5
17
1.5
42
2.5
205
3.5
105
4.5
19
6
9
8
4
𝑘
標本サイズ 𝑛 =
𝑓𝑖 = 17 + 42 + ⋯ + 4 = 401
𝑖=1
テキストP.18 公式（４）
平均
1
𝑥=
𝑛
𝑘
𝑥𝑖 𝑓𝑖
標準偏差 𝑠 =
𝑖=1
1
𝑛−1
𝑘
(𝑥𝑖 − 𝑥)2 𝑓𝑖
𝑖=1
手で計算するのが面倒！
エクセルで計算する．
7
 度数分布表から平均、標準偏差を計算する方法（第3回講義の実践）
分類されたデータに対する分散の計算公式
1 k
x   xi f i
n i 1
1 k
2
s 
(
x

x
)
fi

i
n  1 i 1
2
階級
階級値xi
度数fi
０～１
１～２
２～３
３～４
４～５
５～７
７～９
0.5
1.5
2.5
3.5
4.5
6
8
合計
17
42
205
105
19
9
4
401
階級値*度数
xi*fi
8.5
63
512.5
367.5
85.5
54
32
1123
平均
分散
標準偏差
2.800498753
1.215099751
1.102315631
偏差の2乗*度数
(xi-平均)^2*fi
89.96900672
71.03447429
18.51139763
51.37670941
54.87778527
92.13127406
108.1392529
486.0399002
紙巻きタバコ常用者の平均肺気腫の程度𝑥 = 2.80,
標準偏差𝑠 = 1.10
8
（b）（a）で求めた結果を用いて,紙巻きタバコ常用者に対する
ｘの母集団平均の95%信頼区間を求めよ．
答え：
𝑛 = 401, 𝑥 = 2.80, 𝑠 = 1.10
標本の大きさは401（> 25）だから,
大標本法が使える．𝜎 ≈ 𝑠
公式２
信頼水準95%信頼区間 x  1.96
信頼区間 𝑥 ± 1.96

n
𝑠
1.10
= 2.80 ± 1.96
𝑛
401
= 2.80 ± 0.11
従って、 紙巻きタバコ常用者に対するｘの母集団平均の95%信頼区間
2.69 ≤ 𝜇 ≤ 2.91
9
（c）非喫煙者グループ,パイプまたは葉巻きの常用者グループそれぞれの平均
を計算して,それが（b）で求めた信頼区間に含まれるかどうかを調べよ．
答え：
• 非喫煙者グループの度数分布表
階級値x
度数𝒇𝒊
1
非喫煙者の平均 𝑥 =
𝑛
0.5
53
𝑘
𝑖=1
1.5
2
1
𝑥𝑖 𝑓𝑖 =
0.5 × 53 + 1.5 × 2 = 0.54
55
• パイプまたは葉巻きの常用者グループの度数分布表
階級値x
0.5
1.5
2.5
3.5
度数𝒇𝒊
18
11
1
1
1
パイプまたは
𝑥=
𝑛
葉巻き党の平均
𝑘
𝑖=1
1
𝑥𝑖 𝑓𝑖 =
0.5 × 18 + ⋯ 3.5 × 1 = 1.02
31
• それぞれの平均は（ｂ）の信頼区間に含まれていない
10
• 問題2（章末問題31）
次のデータは,ルーテル医科大学精神科の3人の教授が
1974年2月刊行の医学雑誌Archives of General Psychiatryに発
表した研究報告からの引用で,これはゼネラル・モーターズの工
場で働いている自動車労働者の仕事に対する満足度を調べた
ものである．
あなたは自
分の仕事に 現在,患者で
あるもの
満足していま
すか？
以前,患者で
あったもの
“病的”であ “健康”であ
ると分類され ると分類され
たもの
たもの
満足と答えた
人の数
13
19
90
463
標本の大きさ
17
26
95
481
％
76
73
95
96
11
この表の2つの“患者”グループはジョンズ・ホプキンス病院
にある米国自動車労働組合診療所で発見または診断された労
働者からなる．残りの労働者は,精神の健康状態をはかるのに
使われる“マクミラン指数”によって,“病的”グループと“健康”グ
ループに分類されている．
（a）健康な労働者で仕事に満足しているものの割合に対す
る95%信頼区間を求めよ．
（b）病的な労働者で仕事に満足しているものの割合に対す
る90%信頼区間を求めよ．
（c）労働者が診療所の患者でなかったとして,このデータから,
仕事に対する労働者の満足度はその精神の健康状態に無関
係であるといえるか．
12
問題文から、この問題は割合pの推定に関するものであることが分かった．
答え：
（a）健康な労働者で仕事に満足しているものの割合𝑝1 とする．
標本割合𝑝1 =
𝑥1
𝑛1
=
463
481
≈ 0.96
𝑝1 に対する95%信頼区間は
𝑝1 (1 − 𝑝1 )
𝑝1 ± 1.96
𝑛1
𝑛1 = 481は大標本だから,
信頼区間公式では,𝑝1 を𝑝1 に置き換えてもよい．
よって,求める信頼区間は
𝑝1 (1 − 𝑝1 )
𝑝1 ± 1.96
= 0.96 ± 1.96 × 0.0087 = 0.96 ± 0.02
𝑛1
0.94 ≤ 𝑝1 ≤ 0.98
13
答え：
（b）病的な労働者で仕事に満足しているものの割合𝑝2 とする．
標本割合𝑝2 =
𝑥2
𝑛2
=
90
95
≈ 0.95
𝑝2 に対する90%信頼区間は
𝑝2 (1 − 𝑝2 )
𝑝2 ± 1.645
𝑛2
𝑛2 = 95は大標本だから,
信頼区間公式では,𝑝2 を𝑝2 に置き換えてもよい．
よって,求める信頼区間は
𝑝2 (1 − 𝑝2 )
𝑝2 ± 1.645
= 0.95 ± 1.645 × 0.023 = 0.95 ± 0.04
𝑛2
0.91 ≤ 𝑝2 ≤ 0.99
14
答え：
（c）診療所の患者でなかった労働者で仕事に満足している
ものの割合𝑝とする．
標本割合𝑝 =
𝑥
𝑛
=
𝑥1 +𝑥2
𝑛1 +𝑛2
=
𝑝に対する95%信頼区間は
553
576
≈ 0.96
𝑝 ± 1.96
𝑝(1 − 𝑝)
𝑛
𝑛 = 576は大標本だから,
信頼区間公式では,𝑝を𝑝に置き換えてもよい．
よって,求める信頼区間は
𝑝 (1 − 𝑝)
𝑝 ± 1.96
= 0.96 ± 1.96 × 0.008 = 0.96 ± 0.02
𝑛
0.94 ≤ 𝑝 ≤ 0.98
健康な労働者で仕事に満足しているものの割合𝑝1 の95%信頼区間は
0.94 ≤ 𝑝1 ≤ 0.98
𝑝 ≈ 𝑝1 従って、仕事に対する労働者の満足度はその
精神の健康状態に無関係であるといえる.
15
本日の内容
• 仮説の検定とは
– 用語：検定統計量、有意水準、棄却域
– 分類：片側検定と両側検定
• ２種類の過誤
– 第1種の誤り、第2種の誤り
• 平均値の検定
– 正規母集団の母平均の検定（両側検定）
– 正規母集団の母平均の検定（片側検定）
– 区間推定と検定の関係
• 割合の検定
16
「確率的背理法」としての
統計的仮説検定（1/2）
• 第５章の章末問題８（p.117）
– ２匹１組で12組の実験動物．
– ２匹のうち一方に餌Ａ，もう一方に餌Ｂ．
– 研究者は，餌Ａの方が体重増加の効果が大きい
と考えているとする．
– 各組において，餌Ａの個体の体重増加から，餌Ｂ
の個体の体重増加を引く．
– プラスになったペアが９組，マイナスになったペア
が３組．
17
「確率的背理法」としての
統計的仮説検定（2/2）
P(X)
成功回数 2項係数
0
1 0.000244141
1
20 0.002929688
2
190 0.016113281
• 第５章の章末問題８（p.117）
3
1140 0.053710938
– 餌の効果に差がないとすれば（仮説），プラスに
4
4845 0.120849609
なる組の数は，試行数 n = 12，確率 p = 1/2 の２
5
15504 0.193359375
項分布に従う．
6
38760 0.225585938
– 餌の効果に差がないという仮定の下で，９組以上
7
77520 0.193359375
がプラスになる確率は，P(x>=9)=0.073
8 125970 0.120849609
9 167960 0.053710938
– この確率を「小さい」と考えるなら，この仮定の下
10
184756 0.016113281
でまれな事象が生じたと考えるよりも，仮定が
11
167960 0.002929688
誤っていると考える方が妥当．
125970 0.000244141
–12結論：餌Ａの方が体重増加の効果が大きい．
P(x>=9)=0.073
18
統計的仮説
• 対立仮説（alternative hypothesis）：仮説検定
の実行者が主張したい仮説．H1 で表す．
– 例：餌 A の方が体重増加の効果が大きい
（p > 1/2）
• 帰無仮説（null hypothesis）：この仮説を棄却
（reject）することで，対立仮説を採択するため
の仮説． H0 で表す．
– 例：餌の効果に差がない（p = 1/2）
– 一般に，「母数＝特定の値」という式
19
検定統計量
• 検定統計量（test static）：帰無仮説を棄却す
るかどうかの判断のために，標本から計算さ
れる統計量．
– 餌の比較の例では，「成功」回数，すなわち，餌A
の方が体重増加が大きかった組の数．
– 帰無仮説が正しい場合の，検定統計量の分布は
求められる．（例：試行数 n = 12，確率 p = 1/2 の
２項分布）
– この講義で用いる検定統計量は，標本平均，標
本割合，t 統計量．
20
有意水準と棄却域
• 有意水準（significance level）：帰無仮説を棄
却する基準となる確率．α で表す．危険率と
呼ばれることもある．確率でなく百分率で表
現されることも多い（例：有意水準5%）
– 例： ９組以上がプラスになる確率 0.073 は，有意
水準 0.10 ならば有意（significant）である．有意水
準 0.05 ならば有意ではない．（これは「片側検
定」の場合→後述）
• 棄却域（rejection region）：帰無仮説を棄却す
ることになる検定統計量の値の集合．
21
有意水準と棄却域
検定統計量の
確率分布
（確率密度関数）
有意水準 α
棄却限界値
（critical value）
棄却域
22
統計的仮説検定の手順
• 帰無仮説と対立仮説を設定する．
• 帰無仮説が正しいという仮定の下で，検定に
用いる検定統計量の分布を導く．
• 帰無仮説を棄却する有意水準を設定する．
• 標本から検定統計量を計算し，その値よりも
極端な値が出現する確率が有意水準よりも
小さければ（計算された統計量が棄却域に落
ちれば），帰無仮説を棄却し，対立仮説を採
択する．
23
有意水準の設定
• よく用いられる有意水準は，α = 0.05（5%）
• 5%水準では有意ではないが，10%水準では
有意な検定統計量が得られたとき，「有意傾
向」（marginally significant）という表現をする
ことがある．
24
片側検定と両側検定（1/5）
• 餌の比較の例では，棄却域を標本分布（検定
統計量の分布）の右側にのみ設定した．
• これは，餌ＡとＢに違いがあるとすれば，餌Ａ
の方が体重増の効果が大きいと考えたため．
25
片側検定と両側検定（2/5）
• 餌の比較の例での帰無仮説と対立仮説
– 帰無仮説： p = 1/2
– 対立仮説： p > 1/2
• 対立仮説が正しい場合には，確率分布の右
側にある値が出現しやすいはず．
– 検定統計量の値が大きくなるにつれて，対立仮
説のもっともらしさが上昇する．
• したがって，棄却域を確率分布の右側にのみ
設定する．
26
片側検定と両側検定（3/5）
• 片側検定（one-sided test）：検定統計量の標
本分布において，右側あるいは左側の一方
だけに棄却域を設定する検定．
– 対立仮説が不等号で与えられる（例：p > 1/2）
• 両側検定（two-sided test）：検定統計量の標
本分布において，右側および左側の両方に
棄却域を設定する検定．
– 対立仮説は帰無仮説の否定
– 例：餌ＡとＢの効果は同じではない（p ≠ 1/2）
27
片側検定と両側検定（4/5）
• 対立仮説が帰無仮説の単なる否定（例：p ≠
1/2）であるならば，標本分布の右側でも左側
でも，外側に外れるにしたがって，対立仮説
のもっともらしさが上昇する．
• したがって，棄却域を分布の両側に設定する．
• 有意水準 α のとき，片側では α/2 の棄却域を
設定する．（信頼区間の構成と似ている）
– 例：有意水準 5 %ならば，片側 2.5 % ずつ．
28
片側検定と両側検定（5/5）


2
両側あわせての有意水準：
2

2


2

29
２種類の過誤（1/4）
真実
H0 が真
H1 が真
採択する仮説
H0 を採択
H1 を採択
第１種の誤り
正しい判定
（type I error）
第２種の誤り
正しい判定
（type II error）
30
２種類の過誤（2/4）
H0 が正しい
場合の分布
第２種の誤りを
犯す確率：β
H0 を採択
（保持）
H1 が正しい
場合の分布
第１種の誤りを
犯す確率：α
H1 を採択
31
２種類の過誤（3/4）
• 標本分布を固定したとき，α と β の両方を同
時に小さくすることはできない．
– 分析者が決められるのは α だけ．
– 標本の大きさ n を大きくすれば，共に小さくなる．
• α を固定したとき，２つの標本分布が「近い」
ほど，第２種の誤りを犯す確率 β は高くなる．
32
２種類の過誤（4/4）
• 検定力（power）：分析者の仮説（対立仮説）
が正しいとき，それが支持される確率．「第２
種の誤りを犯さない確率」である．「検出力」と
も呼ばれる．
検定力1  
• 対立仮説が正しい場合の検定統計量の分布
は，実際にはわからない．しかし，それを想定
した上で，どれくらいの大きさの標本が必要
かを考えることがなされる（検定力分析）．
33
帰無仮説の採択
• 帰無仮説が棄却されなかった場合，帰無仮
説を積極的に主張することは危険．
– ぎりぎりで有意にならなかった場合を考えてみる．
帰無仮説が正しいと考えるには少し不自然な検
定統計量が得られている．
• 「・・・だとは言えない」というように，対立仮説
が支持されなかったということを述べる．
– 「証拠不足」に似ている．
– 例：２つの餌 A と B には，体重増加の効果に差が
あるとは言えない．
34
正規母集団の母平均の検定
（両側検定の場合）
• 帰無仮説：母集団平均 μ は，特定の値 μ0 で
ある．対立仮説：・・・ μ0 ではない．
 H0： μ = μ0
 H1： μ ≠ μ0
• 標本平均を標準化する． Z  X  0 n
Z～N (0, 1)

• 有意水準5%の場合，検定統計量 Z の値が
+1.96 以上，あるいは -1.96 以下であれば，
帰無仮説を棄却．
35
P=0.025
z=-1.96
P=0.025
z=+1.96
36
正規母集団の母平均の検定
（片側検定の場合）
• 帰無仮説：母集団平均 μ は，特定の値 μ0 で
ある．対立仮説：・・・ μ0 より大きい（小さい）．
 H0： μ = μ0
 H1： μ > μ0 （あるいは， μ < μ0 ）．
• 標本平均を標準化する．
Z～N (0, 1)
Z
X  0

n
• 有意水準5%の場合，検定統計量 Z の値が
+1.64 以上（対立仮説が μ < μ0 の場合，
-1.64 以下）であれば，帰無仮説を棄却．
37
P=0.05
z=+1.64
38
例題
• テキストp.163例１
 問題意識：銘柄Ｂの電球の平均寿命は，銘柄Ａ
の電球の平均寿命（1180h）より短いのでは？
（Ｂの平均をμで表す）
 H0： μ = 1180
 H1： μ < 1180（片側検定）
 銘柄Ｂ100個をテスト．
帰無仮説が正しいならば，標本平均は，平均
1180，分散 σ2/n の正規分布に従う．
X～N (1180,
2
n
)
39
得られた標本平均 1140 を標準化
x  1140
  90
x  0
z
n

1140 1180

 100
90
 4.44 帰無仮説が正しい場合に
このような標本平均が得られる確率は
 1.64
非常に小さい（片側 0.05 以下）.
よって，有意水準5%で帰無仮説を棄却．
結論：電球Ｂの平均寿命は電球Ａの平均寿命よりも短い．
40
例題についての補足
• テキストでのこの例題の解説では，標本平均
を標準化する代わりに，標本平均の棄却限
界値（1165）および棄却域を決定している．検
定統計量として標本平均の値を用いるか（テ
キスト），標準化された値 Z を用いるかの違
いである．（テキストp.168参照）
• 片側検定を行うか両側検定を行うかは，前
もって決めておかなければならない． （テキス
トp.168参照）
41
母平均の区間推定と検定（1/2）
• 母平均の区間推定では，母平均の値は未知．
– 標本から得られた平均値を，具体的な値としては
標準化できない．（標準化の式に未知数 μ が入っ
ている）
– 未知の母平均を高い確率で含む区間を構成．
• 母平均の仮説検定では，帰無仮説において
母平均の値を仮定する．
– 仮定した値を使って標準化が可能
42
母平均の区間推定と検定（2/2）
• 母平均の区間推定と検定は表裏の関係．
 帰無仮説が棄却されるかどうか
＝仮定される平均値が信頼区間に含まれるかどうか
• 1140 という標本平均から母平均の90%信頼区間（片
側で5%）を求めると，
90
90
   1140 1.64
100
100
1125.24    1154.76
1140 1.64
• 電球Ａの平均寿命 1180 が含まれていない．
 棄却限界値 1165.24 からの区間推定ではちょうど含む．
43
母集団分散が未知の場合の
母平均の検定
• 母集団の標準偏差 σ が未知の場合，標本の
大きさが十分に大きければ（目安として，25以
上），標本標準偏差 s で置き換える．σ≒s と考
えられる．（大標本法）
• 標本の大きさが小さいとき，母集団分布が正
規分布であると考えられるなら，t 分布を用い
た t 検定を行う．→次回の授業
44
中心極限定理を利用した検定
• 母集団の分布が正規分布でなくても，標本の
大きさが十分に大きければ，標本平均の分
布は，平均 μ，分散 σ2/n の正規分布に従う
（中心極限定理）．標準化と検定が可能．
– 例：成功確率 p の，n 回のベルヌーイ試行での，
成功割合 X/n の分布（X：成功回数）
X
pq
pˆ  ～N ( p,
)
n
n
pˆ  p
Z
pq
n
45
例題
• テキストp.170例１
 問題意識：ある農業実験の結果はメンデルの法
則（黄色：緑色＝3：1）に矛盾しているのでは？
 H0： p = 3/4
 H1： p ≠ 3/4 （両側検定）
 224個のエンドウ豆で，176個が黄色．
帰無仮説が正しいならば，標本割合は，平均 3/4，
標準偏差 0.029 （テキストでの計算）の正規分布
に従う．
46
得られた標本割合 176/224 を標準化
176 224 3 4
z
3 1

4 4
224
0.786 0.75

0.0289
 1.25
 1.96
有意水準5%の両側検定では
得られた標本割合は棄却域
（Z > +1.96）に落ちない．
よって，帰無仮説を保持．
結論：メンデルの法則に矛盾しているとは言えない
47
統計的仮説検定の結果の報告
• 統計的仮説検定の結果を適切に報告するた
めに，知っておかなければならないことはい
ろいろある．
• American Psychological Association（APA）の
Publication Manual が定めているスタイルは，
多くの分野で標準となっている．統計入門の
レベルからもう少し学習を重ねたら，ぜひ読
んでほしい．（卒論で統計を使う人は必読！）
48
本日のまとめ
• 仮説の検定とは
– 用語：検定統計量、有意水準、棄却域
– 分類：片側検定と両側検定
• ２種類の過誤
– 第1種の誤り、第2種の誤り
• 平均値の検定
– 正規母集団の母平均の検定（両側検定）
– 正規母集団の母平均の検定（片側検定）
– 区間推定と検定の関係
• 割合の検定
Z
pˆ  p
pq
n
49
演習課題
• 問題１（章末問題１）
被告を窃盗罪で審理する裁判の場合,２種類の過誤に当たるものは
何か．社会的にみて,どちらの種類の過誤がより重要とみなされるか．
• 問題２（章末問題２）
第２種の過誤が第１種の過誤より重要であると考えられるような仮
説の例を１つあげよ．
• 問題３（章末問題６）
𝑥 = 82, 𝜎 = 16, 𝑛 = 100を与えて,仮説：𝜇 = 86を検定せよ．
• 問題４（章末問題７）
𝑥 = 82, 𝜎 = 16, 𝑛 = 25を与えて,仮説：𝜇 = 86を検定せよ．
50
注意点：
１．詳細な答えをレポート用紙に書いてください。結果だけは不可。
２．レポートに表紙を付けてください
名前と学籍番号をご記入のうえ、レポート用紙（A4）を提出する。
提出先：工学部大学院棟７階
締め切り時間：
NO.７７０８室のドアのポストに入れてください
来週月曜日（７月１３日） 午後５時まで
尚、講義用パワーポイントは
http://www3.u-toyama.ac.jp/tanglab/content51/content51.html か ら ダ ウ ン
ロードできる。(ダウンロードパスワードは“2015SS” です)
51