Transcript Lecture1
המחלקה לניהול תעשייתי סמסטר א' ,תשע"ב רגרסיה לינארית ,ניתוח שונות ותכנון ניסויים סטטיסטיים הרצאה 1 רגרסיה פשוטה מרצה :אולגה גרצ'קו 1 מבנה הקורס שעת קבלה :יום ה' 15:30-16:30בתאום מראש דוא"ל[email protected] : דרישות הקורס: • נוכחות בהרצאות – מומלץ. • הכנת תרגילי בית. התרגילים יימסרו בזוגות .במהלך הסמסטר ,ייבדקו לכל סטודנט לפחות 2תרגילים עם ציון, אך לא תינתן הודעה מראש איזה תרגיל ייבדק .חובת הגשה :לפחות 80%מהתרגילים. הציון הסופי יהיה פרופורציית התרגילים שנמסרו (יחסית למספר התרגילים שיש חובה למסרם) מוכפלת בציון הממוצע של התרגילים שנבדקו .תרגיל לא מלא או ברמת איכות ירודה לא ירשם. • מבחן סוף סמסטר. ציון הקורס: תרגילי בית .10% מבחן סוף סמסטר – . 90% חובת קבלת ציון עובר במבחן סוף סמסטר :כן ספרי הקורס: 1. Montgomery, D. C., Peck, E. A., Vining, G. G. Introduction to Linear Regression Analysis, Wiley-Interscience, 4th edition, 2006. Chapters 1-4. 2. Montgomery, D.C. Design and Analysis of Experiments, 6th edition, Wiley, 2005. Chapters 1, 2, 3, 4, 5, 6, 10. 2 הגדרת רגרסיה • – yמשתנה מקרי התלוי במשתנים בלתי תלויים ("משתנים מסבירים"). • מודל של רגרסיה הוא מודל סטטיסטי שבא להחליף מודל המקשר משתנה תלוי ומשתנים בלתי תלויים דרך קשר פונקציונאלי (חד ערכי): yi 0 1 x1i 2 x2i n xni i כאשר: –x1,x2,…,xnמשתנים מסבירים ב"ת – β1, β2,…, βnפרמטרים קבועים באוכלוסיה (מקדמי הרגרסיה) – εiשגיאה (גורמי רעש) בתצפית i נחפש קשר בין התוחלת של yכתלות בקבוצת המשתנים המסבירים. נתאר קשר זה בעזרת קשר מתמטי: E y | x1, x2 , xn f x1, x2 , xn 3 הגדרת רגרסיה מודל רגרסיה לינארית מגדיר קשר סטטיסטי בין משתנה תלוי לקבוצת משתנים בלתי תלויים. לדוגמא: – yכמות יבול שבועי בחלקה מסוימת בחממה – x1כמות השקייה יומית – x2כמות חומר דשן בחלקה – x3אחוז לחות בחממה עליו ניתן לשלוט קשר מתמטי (פונקציונאלי ,דטרמיניסטי) – )y=f(x1, x2, x3 אולם קשר זה לא קיים במציאות כי סביר להניח שקיימים גורמים נוספים שלא נלקחים בחשבון .גורמים אלו נקראים גורמי רעש .במקרה שלנו למשל ,טמפרטורה ,טפילים, שגיאות מדידה וכו'. • • • • • • • • 4 רגרסיה לינארית פשוטה • מבוססת על משתנה בלתי תלוי אחד – ( xרק גורם אחד משפיע) • מניחה קשר ליניארי בין התוחלת של yלx- • אם xi, yiהינן דגימות iשל משתנים xו y -בהתאמה ,אזי yi 0 1 xi i • כאשר εiהינה שגיאה ה β0, β1 ,i-הינם פרמטרים (מקדמי הרגרסיה) לא ידועים שאפשר לאמוד אותם על סמך מדגם. • • • • 5 קו רגרסיה תיאורטי על סמך כל אוכלוסיה: המודל הוא מודל ביחס לכל האוכלוסיה. פרמטר – גודל קבוע שמאפיין התפלגות לא ידועה. yiפחות ערך הקו זוהי שגיאה εi 0 1 x 0 הנחות המודל , V xi 0, i .1כלומר xiהינו קבוע או משתנה מקרי מנוון εi ,סופג את כל הרעש. .2 .3 6 i εהינו משתנה מקרי מפולג נורמלית , i i , j i j 2 בלתי מתואמים (.)cov=0 i ~ N 0, • הסיבות להפרעה: • שגיאות מדידה • החסרת משתנים (יתכן וקיימים משתנים נוספים שלא נלקחו בחשבון ולא נמדדו) • טעות בקביעת המודל (למשל ,מודל לא ליניארי) • מטרות המודל: • כוח הסבר לתופעות • יכולת ניבוי • בקרה על תהליכי החלטה 7 טענות המודל yi .1הינו משתנה מקרי כי εiהינו משתנה מקרי. E yi | xi 0 1xi .2 הוכחה: E yi E 0 1 xi i E 0 1 xi E i E yi שינוי שולי 1 : xi 0 1 xi 0 0 1 xi הקשר בין תוחלת משתנה התלוי לבין המשתנה הבלתי תלוי הוא קשר ליניארי – הנגזרת קבועה .כלומר ,שינוי שולי בx - משנה את yבערך קבוע .β1 8 טענות המודל .3השונות של ( yמידת פיזור סביב קו רגרסיה) קבועה ולא תלויה ב:x - V yi V 0 1xi i V i .4מדידות של משתנים תלויים לא מתואמים ביניהן: cov yi , y j 0, i j 9 אמידת הפרמטרים • את β0, β1נאמוד בעזרת אומדנים b0ו b1-ונקבל את משוואת הישר yˆ b0 b1xהידוע גם כ"-ישר מותאם". • נשתמש בשיטת הריבועים הפחותים (קריטריון מינימום )SSEכדי למצוא את הישר המותאם. 0 1 x המרחק בין המרחק בין תצפית לישר המותאם b0 b1x ei i yi yˆ i b0 0 yi 0 1 xi i 10 yi b0 b1 xi i yˆ b0 b1 x תצפית לישר התוחלות המותנות ערך החזוי (ערך שמעריכים שיהיה על סמך הישר אותו אמדנו באמצעות המדגם שיטת ריבועים הפחותים לאמידת הפרמטרים ביןe y yˆ כלומר סכום ריבועי המרחקים, SSE e i i 2 i i • yˆ b0 b1x התצפיות לישר המותאם SSE - כך שb1- וb0 (נחשבSSE • אנו רוצים את מינימום של :)יהיה מינימאלי n n n SSE e yi yˆi yi b0 b1 xi i 1 2 i 2 i 1 2 i 1 משוואות n n SSE נורמליות b0 y b1 x 0 yi nb0 b1 xi של ריבועים b0 i 1 i 1 הפחותים n n n S xy SSE 2 b1 0 xi yi b0 xi b1 xi S xx b1 i 1 i 1 i 1 n x x i 1 n i n ,y y i 1 i n 11 שיטת ריבועים הפחותים לאמידת הפרמטרים b0 y b1x b1 sxy sxx n n yi xi n n S xy yi xi i 1 i 1 yi xi x n i 1 i 1 2 x i n n 2 i 1 2 S xx xi xi x n i 1 i 1 n b1 n n yi xi n i 1 i 1 y x i i n i 1 xi n 2 i 1 x i n i 1 n 2 12 פיתוח נוסחאות עבור ריבועים הפחותים :b0 מציאת SSE 2 yi b0 b1 xi 0 b0 i 1 n n n n i 1 i 1 i 1 yi b0 b1 xi 0 n n i 1 i 1 yi nb0 b1 xi 0 n n i 1 n i 1 n nb0 yi b1 xi b0 y i 1 n i b1 x i 1 n n i x x i 1 n i n ,y y i 1 i n b0 y b1x 13 פיתוח נוסחאות עבור ריבועים הפחותים SSE 2 yi b0 b1 xi xi 0 b1 i 1 n n n n i 1 i 1 i 1 n n n i 1 i 1 i 1 :b1 מציאת yi xi b0 xi b1 xi2 0 2 y x b x b x i i 0 i 1 i n n n i 1 i 1 i 1 2 y x y b x x b x ii i 1 i 1 n n xi yi n i 1 i 1 y x b i i 1 n n i 1 n n xi b1 xi2 i 1 i 1 14 פיתוח נוסחאות עבור ריבועים הפחותים n n y i 1 n yi xi i i 1 :) (המשךb1 מציאת n n x i 1 n xi b1 i 1 i n n i 1 i 1 2 x b x i 1 i 2 n n yi xi xi n i 1 i 1 b x 2 i 1 y x i i 1 i n n i 1 i 1 n n yi xi n i 1 i 1 y x i i n b1 i 1 2 n xi n 2 i 1 x i n i 1 n n 15 תכונות של b0וb1 - • הם משתנים מקריים (כי הם תלויים ב)y - • הם אמדים ליניאריים כפונקציה של תצפיות • הם אמדים חסרי הטיה ל β0 -וβ1 - • מבין כל אמדים הליניאריים שהם פונקציות של תצפיות וחסרי הטיה הם מסיגים שונות מינימאלית 16 דוגמה בוחנים את הקשר בין גודל מנת הייצור לשעות העבודה שיש להשקיע כדי לייצר מנה זו. נתונים נתוני המדגם ( 10תצפיות): יש למצוא: א) משוואת קו רגרסיה בשיטת הריבועים הפחותים. ב) כמה שעות עבודה נצפה להשקיע במנת ייצור שגודלה 30על פי החישובים בסעיף א'? 17 yi 73 50 128 170 87 108 135 69 148 132 xi 30 20 60 80 40 50 60 30 70 60 i 1 2 3 4 5 6 7 8 9 10 i 1 2 3 4 5 6 7 8 9 10 סכומים xi 30 20 60 80 40 50 60 30 70 60 500 yi 73 50 128 170 87 108 135 69 148 132 1100 xi*yi 2190 1000 7680 13600 3480 5400 8100 2070 10360 7920 61800 yi xi n i 1 i 1 y x i i n i 1 n b1 xi^2 900 400 3600 6400 1600 2500 3600 900 4900 3600 28400 פתרון דוגמה תחילה נחשב נתונים :b1 הדרושים לחישוב n x i 1 i 500 n y i 1 i 1100 2 n xi 25000 i 1 n yi xi 61800 i 1 n 2 x i 28400 i 1 n x i n 2 i 1 x i n i 1 n 2 1100 500 61800 10 2 25000 28400 10 18 פתרון דוגמה כעת נחשב את :b0 b0 y b1x n 500 50 10 1100 110 10 x i i 1 n n y i i 1 n b0 110 2 50 10 xi^2 900 400 3600 6400 1600 2500 3600 900 4900 3600 28400 xi*yi 2190 1000 7680 13600 3480 5400 8100 2070 10360 7920 61800 תשובה לסעיף א' :משוואת קו רגרסיה הינה: yˆi 10 2 xi 19 yi 73 50 128 170 87 108 135 69 148 132 1100 110 xi 30 20 60 80 40 50 60 30 70 60 500 50 i 1 2 3 4 5 6 7 8 9 10 סכומים ממוצעים פתרון דוגמה סעיף ב' :כמה שעות עבודה נצפה להשקיע במנת ייצור שגודלה 30על פי החישובים בסעיף א'? פתרון סעיף ב': נציב במשוואת קו רגרסיה שמצאנו בסעיף א' :30 yˆi 10 2xi 10 2 30 70 כלומר עבור מנה בגודל 30יש להשקיע 70שעות ייצור. בפועל לפי נתוני השאלה ,עבור מנה של 30נתונה דגימה של .73 yˆ1 70, y1 73 נחשב שגיאה: עבור תצפית מס' )x8=30, y8=69( 8השגיאה היא שונה: e1 y1 yˆ1 73 70 3 e8 y8 yˆ8 69 70 1 הערך החזוי לפי רגרסיה שונה מערך במדגם בפועל. 20 בניית רווחי סמך לפרמטרים β0וβ1 - מצאנו אמדים נקודתיים עבור מקדמי הרגרסיה .כעת נמצא רווחים בהם נמצאים β0ו:β1 - ~ N 0,1 x Z 2 x ~ N , x x ~ N , ˆ ~ tn p ˆ 2 2 x x i n 1 2 ˆ כאשר: – nגודל המדגם – pמספר הפרמטרים הנאמדים לצורך חישוב ˆ 21 בניית רווחי סמך לפרמטרים β0וβ1 - במקרה שלנו p=2מאחר ואמדנו 2פרמטרים (.)b0, b1 b0מתפלג: b1מתפלג: n 2 xi 2 i 1 b0 ~ N 0 , nS xx 2 b1 ~ N 1 , S xx 2לא ידועה ,לכן נציב במקומה אמד (.)MSE 22 בניית רווחי סמך לפרמטרים β0וβ1 - ולכן: b0 0 ~ tn 2 ˆb0 b1 1 ~ tn 2 ˆ b1 נבנה רווח סמך ברמת מובהקות :α 23 בניית רווחי סמך לפרמטרים β0וβ1 - אמד לסטיית תקן של b0הינו: n x 2 i MSE i 1 nS xx ˆ b אמד לסטיית תקן של b1הינו: MSE ˆ b1 S xx כאשר ( MSEממוצע ריבועי הטעויות) הינו: SSE MSE n2 24 0 בניית רווחי סמך לפרמטרים β0וβ1 - אם כך ,רווח סמך עבור b0הינו: b0 0 P t t 1 n2,1 2 n 2,1 ˆ b 2 0 ˆ ˆ P b0 t b0 0 b0 t b0 1 n 2,1 n 2,1 2 2 ובאופן דומה ,רווח סמך עבור b1הינו: ˆ ˆ P b1 t b1 1 b1 t b1 1 n 2,1 n 2,1 2 2 משמעות של רווח סמך :אם נדגום הרבה מדגמים וכל מדגם נבנה רווח סמך ,אזי בהסברות 1-αמקדם באמת ייפול תחום זה. 25 נחזור לדוגמה ונמצא רווחי סמך למקדמים i 1 2 3 4 5 6 7 8 9 10 סכומים xi 30 20 60 80 40 50 60 30 70 60 500 yi 73 50 128 170 87 108 135 69 148 132 1100 yˆ i 70 50 130 170 90 110 130 70 150 130 1100 yˆi 10 2 xi P 2 t8,0.975 ei 3 0 -2 0 -3 -2 5 -1 -2 2 0 e^2 9 0 4 0 9 4 25 1 4 4 60 : ˆ b כעת נחשב את:β1 עבור 1 2 SSE e 60 MSE 7.5 n 2 n 2 10 2 2 n xi n 5002 i 1 2 S xx xi 28400 3400 n 10 i 1 ˆ b1 MSE 7.5 0.047 S xx 3400 :β1 נציב בנוסחא של רווח סמך עבור 0.047 1 2 t8,0.975 0.047 0.95 P 1.89 1 2.11 0.95 :אורך רווח סמך 2.11 1.89 0.22 26 נחזור לדוגמה ונמצא רווחי סמך למקדמים כעת נחשב רווח סמך עבור :β0 n 28400 7.5 MSE 2.5 10 3400 2 x i i 1 nS xx ˆ b0 e^2 9 0 4 0 9 4 25 1 4 4 60 yˆ i ei 3 0 -2 0 -3 -2 5 -1 -2 2 0 נציב בנוסחא של רווח סמך עבור :β0 2.5 0 10 t8,0.975 2.5 0.95 70 50 130 170 90 110 130 70 150 130 1100 yˆi 10 2 xi P 10 t8,0.975 P 4.235 1 15.765 0.95 אורך רווח סמך15.765 4.235 1.53 : 27 yi 73 50 128 170 87 108 135 69 148 132 1100 xi 30 20 60 80 40 50 60 30 70 60 500 i 1 2 3 4 5 6 7 8 9 10 סכומים