Transcript Lecture2
המחלקה לניהול תעשייתי סמסטר א' ,תשע"ב רגרסיה לינארית ,ניתוח שונות ותכנון ניסויים סטטיסטיים הרצאה 2 רגרסיה פשוטה :רווח בר סמך ובדיקת השערות למקדמים b1 נוסחא חלופית לחישוב b1 cov( x , y ) x 2 n xy i cov( x , y ) i 1 :כאשר i x y n n 2 x 2 x S xx n x i x 2 i 1 n ST D E V ( x1 : x n ) 2 :באקסל 2 בדוגמה מהרצאה 1 50 110 680 61800 cov( x , y ) 10 2 680 340 ) cov( x , y 2 x b1 b0 y b1 x 110 2 50 10 משוואת קו רגרסיה הינה: yˆ i 10 2 x i 3 xi*yi i xi yi 2190 1 30 73 1000 2 20 50 7680 3 60 128 13600 4 80 170 3480 5 40 87 5400 6 50 108 8100 7 60 135 2070 8 30 69 10360 9 70 148 7920 10 60 132 500 1100 61800 סכומים 50 110 ממוצעים 18.43909 36.95944סטיית תקן 340 1366 שונות בניית רווחי סמך לפרמטרים β0וβ1 - מצאנו אמדים נקודתיים עבור מקדמי הרגרסיה .כעת נמצא רווחים בהם נמצאים β0ו:β1 - ~ N 0,1 x x ~ tn p ˆ 2 x Z i 2 x ~ N , ˆx ~ N , x n 1 2 2 ˆ כאשר: – nגודל המדגם – pמספר הפרמטרים הנאמדים לצורך חישוב 4 ˆ בניית רווחי סמך לפרמטרים β0וβ1 - במקרה שלנו p=2מאחר ואמדנו 2פרמטרים (.)b0, b1 b0מתפלג: b1מתפלג: n 2 xi 2 i 1 b0 ~ N 0 , nS xx 2 b1 ~ N 1 , S xx 2לא ידועה ,לכן נציב במקומה אמד (.)MSE 5 בניית רווחי סמך לפרמטרים β0וβ1 - ולכן: ~ tn 2 b0 0 0 ~ tn 2 b1 1 ˆ b 1 נבנה רווח סמך ברמת מובהקות :α 6 ˆ b בניית רווחי סמך לפרמטרים β0וβ1 - אמד לסטיית תקן של b0הינו: n 2 i x i 1 M SE nS xx ˆ b S b 0 אמד לסטיית תקן של b1הינו: M SE S xx ˆ b S b 1 כאשר ( MSEממוצע ריבועי הטעויות) הינו: SSE n2 7 M SE 1 0 מקדם המתאם דרך נוספת למצוא אומדנים לסטיות תקן של b0ו b1 -הינה בעזרת מקדם המתאם. – ρמקדם המתאם לרגרסיה של אוכלוסיה. – Rמקדם המתאם מדגמי לרגרסיה. מקדם המתאם מציג עצמת הקשר בין משתנה הבלתי תלוי לבין משתנה התלוי: 1 R 1 x y b1 ) cov( x , y x y כאשר ,R>0הקשר הינו שלילי. כאשר R<0הקשר הינו חיובי. 8 R מקדם המתאם מקרה קיצוניb1 <0 R=1 : y x כל התצפיות נופלות בדיוק על קו הרגרסיה x x x x x y מקרה קיצוני>0 R=-1 : b1 כל התצפיות נופלות בדיוק על קו הרגרסיה x x x x x x R=0מצביע על כך ש b1 =0 או על כך שאין קשר ליניארי בין משתנה התלוי לב"ת 9 אין קשר ליניארי x x x x x x x xx x x x x xx x y y b1 =0 x x x x x x מקדם המתאם R2מציג פרופורציית שונות המוסברת. מדד זה מציג את היכולת של מודל הרגרסיה להסביר את החיזוי של משתנה התלוי ע"י משתנה בלתי תלוי. ככל ש R2קרוב יותר לאחד ,כך היכולת הזו יותר טובה. 0 R 1 2 2 2 ) cov( x , y 2 2 x R b1 2 x y y 10 חישוב אומדנים :חישוב אומדנים לסטיות תקן של מקדמים בעזרת מקדם המתאם ˆ b S b 1 1 1 R 2 y 2 n 2 ˆ b S b ˆ b 2 x 0 0 n 2 x S xx x i x 2 n :כאשר n n x x 2 i 1 n S yy 2 1 2 x y i y 2 i 1 n 11 בניית רווחי סמך לפרמטרים β0וβ1 - אם כך ,רווח סמך עבור b0הינו: 1 b0 0 P t t n 2 ,1 n 2 ,1 ˆb 2 2 0 P b0 t ˆ b0 0 b0 t ˆ b0 1 n 2 ,1 n 2 ,1 2 2 ובאופן דומה ,רווח סמך עבור b1הינו: P b1 t ˆ b1 1 b1 t ˆ b1 1 n 2 ,1 n 2 ,1 2 2 משמעות של רווח סמך :אם נדגום הרבה מדגמים וכל מדגם נבנה רווח סמך ,אזי בהסברות 1-αמקדם באמת ייפול תחום זה. 12 נחזור לדוגמה ונמצא רווחי סמך למקדמים yˆ i 10 2 x i i 1 2 3 4 5 6 7 8 9 10 סכומים ממוצע שונות xi 30 20 60 80 40 50 60 30 70 60 500 50 340 yi 73 50 128 170 87 108 135 69 148 132 1100 110 1366 yˆ i 70 50 130 170 90 110 130 70 150 130 1100 ei 3 0 -2 0 -3 -2 5 -1 -2 2 0 e^2 9 0 4 0 9 4 25 1 4 4 60 : כעת נחשב את:β1 עבור ˆ b 1 SSE M SE n2 e 2 n2 60 10 2 7.5 2 n S xx i 1 n x i 2 500 i 1 2 xi 28400 3400 n 10 M SE ˆ b1 S xx 7.5 0.047 3400 : ניתן לחשב את האומד לסטיית תקן בעזרת מקדם המתאם,או לחלופין 2 R b1 x y 2 2 340 2 0.9956 ˆ b1 1366 1 R 2 n 2 2 y 2 x 1 0.9956 1366 10 2 340 0.047 13 נחזור לדוגמה ונמצא רווחי סמך למקדמים נציב בנוסחא של רווח סמך עבור :β1 P 2 t 8 ,0.975 0.047 1 2 t 8 ,0.975 0.047 0.95 t 8 ,0.975 2.306 P 1 .8 9 1 2 .1 1 0 .9 5 אורך רווח סמך: 14 2 .1 1 1 .8 9 0 .2 2 נחזור לדוגמה ונמצא רווחי סמך למקדמים כעת נחשב רווח סמך עבור :β0 n 2 2.5 28400 7.5 xi i 1 M SE 10 3400 ˆ b 0 nS xx חישוב אומד לסטיית תקן בעזרת מקדם המתאם: 0.47 340 50 2.5 2 2 x x 2 ˆ b ˆ b 1 0 e^2 9 0 4 0 9 4 25 1 4 4 60 ei 3 0 -2 0 -3 -2 5 -1 -2 2 0 נציב בנוסחא של רווח סמך עבור :β0 yˆ i 10 2 x i xi yi yˆ i 70 50 130 170 90 110 130 70 150 130 1100 73 50 128 170 87 108 135 69 148 132 1100 110 1366 P 10 t 8 ,0.975 2.5 0 10 t 8 ,0.975 2.5 0.95 P 4 .2 3 5 0 1 5 .7 6 5 0 .9 5 אורך רווח סמך: 15 1 5 .7 6 5 4 .2 3 5 1 1 .5 3 30 20 60 80 40 50 60 30 70 60 500 50 340 i 1 2 3 4 5 6 7 8 9 10 סכומים ממוצע שונות בדיקת השערות למקדמים – מבחן T מעבר להערכת הקשר הליניארי בין משתנה הב"ת למשתנה התלוי ,אנחנו מעוניינים גם לבדוק השערות מסויימות לגבי חיתוך עם ציר ( Yמקדם )β0 ושיפוע (מקדם .)β1 השערות נבחנות מתוך הנחה כי השגיאות מתפלגות נורמלית. עבור מקדם β1נבדוק השערות הבאותH : : 1 1 כאשר – βזה ערך מספרי כלשהו. נבדוק את ההשערות באמצעות מבחן .t סטטיסטי המבחן: b1 S b1 H1 : t stat במבחן tדו-זנבי (דו-צדדי): דוחים את השערת האפס ,אם n 2 ,1 2 לא דוחים את השערת האפס ,אם 16 0 2 n 2 ,1 t stat t crit t t stat t crit t בדיקת השערות למקדמים – מבחן T במבחן tחד-זנבי ימני (עליון) נבדוק השערות מסוג: 1 H0 : H 1 : 1 איזור דחייה עבור מבחן tחד-זנבי ימני (עליון): t stat t crit t n 2 ,1 במבחן tחד-זנבי שמאלי (תחתון) נבדוק השערות מסוג: 1 H0 : 1 H1 : איזור דחייה עבור מבחן tחד-זנבי שמאלי (תחתון)t stat t crit t n 2 ,1 : α/2 17 α/2 α בדיקת השערות למקדמים – מבחן T עבור מקדם β0נבדוק השערות הבאות: 0 H0 : 0 H1 : נבדוק את ההשערות באמצעות מבחן .t סטטיסטי המבחן: b0 S b0 t stat במבחן tדו-זנבי (דו-צדדי): דוחים את השערת האפס ,אם לא דוחים את השערת האפס ,אם 18 n 2 ,1 t stat t crit t 2 2 n 2 ,1 t stat t crit t נחזור לדוגמה ונבדוק השערות נבדוק השערות הבאות באמצעות מבחן :T חישוב סטטיסטי: 1 0 H0 : 1 0 H1 : 42.58 2 0.47 b1 0 S b1 t stat ערך Tקריטי (מטבלה): t 8 ,0.975 2.306 n 2 ,1 t 2 מסקנה :ניתן לראות שערך סטטיסטי גדול מערך קריטי ,לכן נדחה את השערת האפס ונאמר ששיפוע אינו שווה ל 0-ברמת המובהקות 0.05 19 yˆ i 10 2 x i yi 73 50 128 170 87 108 135 69 148 132 1100 110 1366 xi 30 20 60 80 40 50 60 30 70 60 500 50 340 i 1 2 3 4 5 6 7 8 9 10 סכומים ממוצע שונות נחזור לדוגמה ונבדוק השערות נבדוק השערות הבאות באמצעות מבחן :T חישוב סטטיסטי: 0 0 H0 : 0 0 H1 : 4 10 2.5 b0 0 S b0 t stat ערך Tקריטי (מטבלה): t 8 ,0.975 2.306 n 2 ,1 t 2 מסקנה :גם כאן ניתן לראות שערך סטטיסטי גדול מערך קריטי ,לכן נדחה את השערת האפס ונאמר שמקדם β0אינו שווה ל 0-ברמת המובהקות 0.05 20 yˆ i 10 2 x i yi 73 50 128 170 87 108 135 69 148 132 1100 110 1366 xi 30 20 60 80 40 50 60 30 70 60 500 50 340 i 1 2 3 4 5 6 7 8 9 10 סכומים ממוצע שונות קשר בין רווח סמך למקדמים ובדיקת השערות למקדמים בדיקת ההשערות הבאות (למשל) במבחן :T 1 0 H0 : 1 0 H1 : שקולה לבניית רווח סמך דו-צדדי ל , β1-כאשר בדיקת השערות היא ברמת מובהקות αורווח סמך נבנה ברמת הביטחון .1-α פירוש השקילות :אם נדחה את השערת האפס אזי ערך β1=0לא יהיה שייך לרווח סמך ולהיפך. אם ערך β1=0שייך לרווח סמך ,אזי לא נדחה את השערת האפס במבחן Tברמת המובהקות .α בדוגמה שלנו ,ניתן לראות ש 0-לא נמצא בגבולות רווח סמך ל , β1 -לכן היינו יכולים לומר ללא ביצוע מבחן ,Tשנדחה את השערת האפס ברמת המובהקות .0.05 21