Transcript Lecture2
המחלקה לניהול תעשייתי
סמסטר א' ,תשע"ב
רגרסיה לינארית ,ניתוח שונות ותכנון
ניסויים סטטיסטיים
הרצאה 2
רגרסיה פשוטה :רווח בר סמך ובדיקת
השערות למקדמים
b1 נוסחא חלופית לחישוב
b1
cov( x , y )
x
2
n
xy
i
cov( x , y )
i 1
:כאשר
i
x y
n
n
2
x
2
x
S xx
n
x
i
x
2
i 1
n
ST D E V ( x1 : x n )
2
:באקסל
2
בדוגמה מהרצאה 1
50 110 680
61800
cov( x , y )
10
2
680
340
) cov( x , y
2
x
b1
b0 y b1 x 110 2 50 10
משוואת קו רגרסיה הינה:
yˆ i 10 2 x i
3
xi*yi
i
xi
yi
2190
1
30
73
1000
2
20
50
7680
3
60
128
13600
4
80
170
3480
5
40
87
5400
6
50
108
8100
7
60
135
2070
8
30
69
10360
9
70
148
7920
10
60
132
500
1100
61800
סכומים
50
110
ממוצעים
18.43909 36.95944סטיית תקן
340
1366
שונות
בניית רווחי סמך לפרמטרים β0וβ1 -
מצאנו אמדים נקודתיים עבור מקדמי הרגרסיה .כעת נמצא
רווחים בהם נמצאים β0ו:β1 -
~ N 0,1
x
x
~ tn p
ˆ
2
x
Z
i
2
x ~ N ,
ˆx ~ N ,
x
n 1
2
2
ˆ
כאשר:
– nגודל המדגם
– pמספר הפרמטרים הנאמדים לצורך חישוב
4
ˆ
בניית רווחי סמך לפרמטרים β0וβ1 -
במקרה שלנו p=2מאחר ואמדנו 2פרמטרים (.)b0, b1
b0מתפלג:
b1מתפלג:
n
2
xi
2
i 1
b0 ~ N 0 ,
nS xx
2
b1 ~ N 1 ,
S xx
2לא ידועה ,לכן נציב במקומה אמד (.)MSE
5
בניית רווחי סמך לפרמטרים β0וβ1 -
ולכן:
~ tn 2
b0 0
0
~ tn 2
b1 1
ˆ b
1
נבנה רווח
סמך ברמת
מובהקות :α
6
ˆ b
בניית רווחי סמך לפרמטרים β0וβ1 -
אמד לסטיית תקן של b0הינו:
n
2
i
x
i 1
M SE
nS xx
ˆ b S b
0
אמד לסטיית תקן של b1הינו:
M SE
S xx
ˆ b S b
1
כאשר ( MSEממוצע ריבועי הטעויות) הינו:
SSE
n2
7
M SE
1
0
מקדם המתאם
דרך נוספת למצוא אומדנים לסטיות תקן של b0ו b1 -הינה
בעזרת מקדם המתאם.
– ρמקדם המתאם לרגרסיה של אוכלוסיה.
– Rמקדם המתאם מדגמי לרגרסיה.
מקדם המתאם מציג עצמת הקשר בין משתנה הבלתי תלוי לבין
משתנה התלוי:
1 R 1
x
y
b1
) cov( x , y
x y
כאשר ,R>0הקשר הינו שלילי.
כאשר R<0הקשר הינו חיובי.
8
R
מקדם המתאם
מקרה קיצוניb1 <0 R=1 :
y
x
כל התצפיות נופלות בדיוק על קו הרגרסיה
x
x
x
x
x
y
מקרה קיצוני>0 R=-1 :
b1
כל התצפיות נופלות בדיוק על קו הרגרסיה
x
x
x
x
x
x
R=0מצביע על כך ש b1 =0
או על כך שאין קשר ליניארי
בין משתנה התלוי לב"ת
9
אין קשר ליניארי
x
x
x x
x x
x
xx
x
x x
x
xx
x
y
y
b1 =0
x
x
x x x x
מקדם המתאם
R2מציג פרופורציית שונות המוסברת.
מדד זה מציג את היכולת של מודל הרגרסיה להסביר את החיזוי
של משתנה התלוי ע"י משתנה בלתי תלוי.
ככל ש R2קרוב יותר לאחד ,כך היכולת הזו יותר טובה.
0 R 1
2
2
2
) cov( x , y
2
2 x
R
b1
2
x
y
y
10
חישוב אומדנים
:חישוב אומדנים לסטיות תקן של מקדמים בעזרת מקדם המתאם
ˆ b S b
1
1
1 R
2
y
2
n 2
ˆ b S b ˆ b
2
x
0
0
n
2
x
S xx
x
i
x
2
n
:כאשר
n
n
x
x
2
i 1
n
S yy
2
1
2
x
y
i
y
2
i 1
n
11
בניית רווחי סמך לפרמטרים β0וβ1 -
אם כך ,רווח סמך עבור b0הינו:
1
b0 0
P t
t
n 2 ,1
n
2
,1
ˆb
2
2
0
P b0 t
ˆ b0 0 b0 t
ˆ b0 1
n 2 ,1
n 2 ,1
2
2
ובאופן דומה ,רווח סמך עבור b1הינו:
P b1 t
ˆ b1 1 b1 t
ˆ b1 1
n 2 ,1
n 2 ,1
2
2
משמעות של רווח סמך :אם נדגום הרבה מדגמים וכל מדגם נבנה
רווח סמך ,אזי בהסברות 1-αמקדם באמת ייפול תחום זה.
12
נחזור לדוגמה ונמצא רווחי סמך למקדמים
yˆ i 10 2 x i
i
1
2
3
4
5
6
7
8
9
10
סכומים
ממוצע
שונות
xi
30
20
60
80
40
50
60
30
70
60
500
50
340
yi
73
50
128
170
87
108
135
69
148
132
1100
110
1366
yˆ i
70
50
130
170
90
110
130
70
150
130
1100
ei
3
0
-2
0
-3
-2
5
-1
-2
2
0
e^2
9
0
4
0
9
4
25
1
4
4
60
:
כעת נחשב את:β1 עבור
ˆ b
1
SSE
M SE
n2
e
2
n2
60
10 2
7.5
2
n
S xx
i 1
n
x
i
2
500
i 1
2
xi
28400
3400
n
10
M SE
ˆ b1
S xx
7.5
0.047
3400
: ניתן לחשב את האומד לסטיית תקן בעזרת מקדם המתאם,או לחלופין
2
R b1 x
y
2
2 340
2
0.9956 ˆ b1
1366
1 R
2
n 2
2
y
2
x
1 0.9956 1366
10 2 340
0.047
13
נחזור לדוגמה ונמצא רווחי סמך למקדמים
נציב בנוסחא של רווח סמך עבור :β1
P 2 t 8 ,0.975 0.047 1 2 t 8 ,0.975 0.047 0.95
t 8 ,0.975 2.306
P 1 .8 9 1 2 .1 1 0 .9 5
אורך רווח סמך:
14
2 .1 1 1 .8 9 0 .2 2
נחזור לדוגמה ונמצא רווחי סמך למקדמים
כעת נחשב רווח סמך עבור :β0
n
2
2.5
28400 7.5
xi
i 1
M SE
10 3400
ˆ b
0
nS xx
חישוב אומד לסטיית תקן בעזרת
מקדם המתאם:
0.47 340 50 2.5
2
2
x x
2
ˆ b ˆ b
1
0
e^2
9
0
4
0
9
4
25
1
4
4
60
ei
3
0
-2
0
-3
-2
5
-1
-2
2
0
נציב בנוסחא של רווח סמך עבור :β0
yˆ i 10 2 x i
xi
yi
yˆ i
70
50
130
170
90
110
130
70
150
130
1100
73
50
128
170
87
108
135
69
148
132
1100
110
1366
P 10 t 8 ,0.975 2.5 0 10 t 8 ,0.975 2.5 0.95
P 4 .2 3 5 0 1 5 .7 6 5 0 .9 5
אורך רווח סמך:
15
1 5 .7 6 5 4 .2 3 5 1 1 .5 3
30
20
60
80
40
50
60
30
70
60
500
50
340
i
1
2
3
4
5
6
7
8
9
10
סכומים
ממוצע
שונות
בדיקת השערות למקדמים – מבחן T
מעבר להערכת הקשר הליניארי בין משתנה הב"ת למשתנה התלוי ,אנחנו
מעוניינים גם לבדוק השערות מסויימות לגבי חיתוך עם ציר ( Yמקדם )β0
ושיפוע (מקדם .)β1
השערות נבחנות מתוך הנחה כי השגיאות מתפלגות נורמלית.
עבור מקדם β1נבדוק השערות הבאותH : :
1
1
כאשר – βזה ערך מספרי כלשהו.
נבדוק את ההשערות באמצעות מבחן .t
סטטיסטי המבחן:
b1
S b1
H1 :
t stat
במבחן tדו-זנבי (דו-צדדי):
דוחים את השערת האפס ,אם
n 2 ,1
2
לא דוחים את השערת האפס ,אם
16
0
2
n 2 ,1
t stat t crit t
t stat t crit t
בדיקת השערות למקדמים – מבחן T
במבחן tחד-זנבי ימני (עליון) נבדוק השערות מסוג:
1
H0 :
H 1 : 1
איזור דחייה עבור מבחן tחד-זנבי ימני (עליון):
t stat t crit t n 2 ,1
במבחן tחד-זנבי שמאלי (תחתון) נבדוק השערות מסוג:
1
H0 :
1
H1 :
איזור דחייה עבור מבחן tחד-זנבי שמאלי (תחתון)t stat t crit t n 2 ,1 :
α/2
17
α/2
α
בדיקת השערות למקדמים – מבחן T
עבור מקדם β0נבדוק השערות הבאות:
0
H0 :
0
H1 :
נבדוק את ההשערות באמצעות מבחן .t
סטטיסטי המבחן:
b0
S b0
t stat
במבחן tדו-זנבי (דו-צדדי):
דוחים את השערת האפס ,אם
לא דוחים את השערת האפס ,אם
18
n 2 ,1
t stat t crit t
2
2
n 2 ,1
t stat t crit t
נחזור לדוגמה ונבדוק השערות
נבדוק השערות הבאות באמצעות מבחן :T
חישוב סטטיסטי:
1 0
H0 :
1 0
H1 :
42.58
2
0.47
b1 0
S b1
t stat
ערך Tקריטי (מטבלה):
t 8 ,0.975 2.306
n 2 ,1
t
2
מסקנה :ניתן לראות שערך סטטיסטי גדול מערך
קריטי ,לכן נדחה את השערת האפס ונאמר ששיפוע
אינו שווה ל 0-ברמת המובהקות 0.05
19
yˆ i 10 2 x i
yi
73
50
128
170
87
108
135
69
148
132
1100
110
1366
xi
30
20
60
80
40
50
60
30
70
60
500
50
340
i
1
2
3
4
5
6
7
8
9
10
סכומים
ממוצע
שונות
נחזור לדוגמה ונבדוק השערות
נבדוק השערות הבאות באמצעות מבחן :T
חישוב סטטיסטי:
0 0
H0 :
0 0
H1 :
4
10
2.5
b0 0
S b0
t stat
ערך Tקריטי (מטבלה):
t 8 ,0.975 2.306
n 2 ,1
t
2
מסקנה :גם כאן ניתן לראות שערך סטטיסטי גדול
מערך קריטי ,לכן נדחה את השערת האפס ונאמר
שמקדם β0אינו שווה ל 0-ברמת המובהקות 0.05
20
yˆ i 10 2 x i
yi
73
50
128
170
87
108
135
69
148
132
1100
110
1366
xi
30
20
60
80
40
50
60
30
70
60
500
50
340
i
1
2
3
4
5
6
7
8
9
10
סכומים
ממוצע
שונות
קשר בין רווח סמך למקדמים ובדיקת
השערות למקדמים
בדיקת ההשערות הבאות (למשל) במבחן :T
1 0
H0 :
1 0
H1 :
שקולה לבניית רווח סמך דו-צדדי ל , β1-כאשר בדיקת השערות היא ברמת
מובהקות αורווח סמך נבנה ברמת הביטחון .1-α
פירוש השקילות :אם נדחה את השערת האפס אזי ערך β1=0לא יהיה שייך
לרווח סמך ולהיפך.
אם ערך β1=0שייך לרווח סמך ,אזי לא נדחה את השערת האפס במבחן
Tברמת המובהקות .α
בדוגמה שלנו ,ניתן לראות ש 0-לא נמצא בגבולות רווח סמך ל , β1 -לכן היינו
יכולים לומר ללא ביצוע מבחן ,Tשנדחה את השערת האפס ברמת
המובהקות .0.05
21