Transcript Lecture7
המחלקה לניהול תעשייתי סמסטר א' ,תשע"ב רגרסיה לינארית ,ניתוח שונות ותכנון ניסויים סטטיסטיים הרצאה 7 טרנספורמציות טרנספורמציות מודלים של רגרסיה ליניארית נקראים מודלים נסיבתיים ,הנותנים הסבר נסיבתי לגבי הקשר שבין משתנה אחד לשני. כזכור ,ברגרסיה ליניארית המודל הינו: k xk i bk x k y i 0 1 x1 2 x 2 ערך אמיתי yˆ i b0 b1 x1 b2 x 2 אומדן אך מה קורה כאשר הפונקציה שמבטאה את הקשר בין משתנים אינה ליניארית? 2 לדוגמא: טרנספורמציות :דוגמה 1 y i 0 1 x1 2 x i 2 2 בעזרת טרנספורמציה פשוטה ניתן להפוך את המודל הנ"ל למודל ליניארי: 2 נגדיר משתנהz x 2 : המודל החדש שמתקבל לאחר טרנספורמציה זו הינו ליניארי: y i 0 1 x1 2 z i כעת ניתן להריץ מודל רגרסיה ליניארית ,ובו קשר בין x1ל z -הוא ליניארי. 3 טרנספורמציות :דוגמה 2 פונקציית ייצור מפורסמת קוב-דוגלאס: תפוקה ( )Yכפונקציה של שתי תשומות ,למשל שעות עבודה ידנית ()x1 ושעות מכונה (:)x2 y x1 1 x 2 2 נבצע טרנספורמציה למודל ליניארי בעזרת הפעלת פונקציית lnעל שני אגפים של משוואה (טרנספורמציית חזקה): ln x1 2 ln x 2 1 ln נגדיר 4משתנים הבאים: * * ln x 2 , y ln y , ln לאחר הטרנספורמציה מתקבל מודל ליניארי הבא: 1 x 2 x i * 2 4 * 1 * ln y ln x1 1 x 2 2 x2 * y * x1 ln x1 , * טרנספורמציות :דוגמה 2 כעת נריץ רגרסיה ליניארית על מודל המתקבל לאחר הטרנספורמציה למשתנים החדשים. תמיד ,לאחר מציאת הפתרון למקדמים שונים ,נחזור לערכים המקוריים (טרנספורמציה הפוכה). כלומר ,אחרי שנמצא אומדנים למקדמים * , 1 , 2נצטרך לבצע טרנספורמציה הפוכה על מנת למצוא ערכים מקוריים של מקדמים , 1 , 2 בדוגמה שלנו בעצם יש צורך לבצע טרנספורמציה הפוכה רק לשם מציאת : * 5 e ln * טרנספורמציות :דוגמה 3 פונקציה מפורסמת בתחום מכירות – עקומת :S (מכירות ( )yכפונקציה של אורך חיי המוצר ())t t ye נבצע טרנספורמציה למודל ליניארי בעזרת פונקציית ( lnטרנספורמציה מעריכית) : ln e t t נגדיר 3משתנים הבאים: * y, t y * ln לאחר הטרנספורמציה מתקבל מודל ליניארי הבא: y* * x * i 6 ln e , 1 t y x* ln טרנספורמציות :דוגמה 4 פונקציה מפורסמת נוספת הינה גידול אקספוננציאלי באחוז קבוע (למשל, מכירות הגדלות בשנה ב :)5%- (מכירות ( )yכפונקציה של תקופה ())t t ye גם במקרה זה נבצע טרנספורמציה למודל ליניארי בעזרת פונקציית ln (טרנספורמציה מעריכית): t ln e t נגדיר משתנה הבא y : t y * ln לאחר הטרנספורמציה מתקבל מודל ליניארי הבא: y* t i 7 ln y ln e טרנספורמציות :דוגמה 5 פונקציה מפורסמת נוספת – מודל המתאר ירידה לאורך זמן המתכנסת לגודל קבוע (למשל ,ירידה קבועה במכירות באחוז קבוע הנעצרת בגודל קבוע :)a b (מכירות ( )yכפונקציה של תקופה ())t y a t נבצע טרנספורמציה למודל ליניארי ע"י הגדרת משתנה חדש: 1 x t טרנספורמציה מסוג זה נקראת טרנספורמציה הופכית לאחר הטרנספורמציה זו מתקבל מודל רגרסיה ליניארית פשוטה: y a bx i 8 טרנספורמציות :דוגמה 6 לכל פולינום מכל סדר ניתן לבצע טרנספורמציה פולינומיאלית באופן הבא (נדגים בעזרת פולינום מסדר שלישי): 2 3 y i 0 1 x1 2 x 2 3 x 3 i נגדיר משתנים חדשים: w x3 3 z x2 , 2 לאחר הטרנספורמציה מתקבל מודל רגרסיה ליניארית מרובה: y i 0 1 x1 2 z 3 w i 9 טרנספורמציות :דוגמה 7 נציג קשרים אחרים האפשריים בין Xל.Y - למשל ,נתונה פונקציה הבאה: 1 0 1 x1 2 x 2 i yi נבצע טרנספורמציה הופכית ע"י הגדרת משתנה הבא: 1 yi yi * לאחר הטרנספורמציה מתקבל מודל רגרסיה ליניארית מרובה: y i * 0 1 x1 2 x 2 i 10 טרנספורמציות :דוגמה 8 נציג קשרים אחרים האפשריים בין Xל.Y - למשל ,נתונה פונקציה הבאה: i 1 x1 yi 0e נבצע טרנספורמציה מעריכית בעזרת הפעלת :ln i ln 0 1 x1 ln i נגדיר משתנים חדשים הבאים: ln y i , 0 * ln 0 1 x1 yi * ln y i ln 0 e i * ln i , לאחר הטרנספורמציה מתקבל מודל רגרסיה ליניארית הבא: * y i * 0 * 1 x1 i כדי שהנחות היסוד של המודל יהיו תקפות ,מניחים שE i 1 : ועל כן E ln i 0 11 טרנספורמציות :דוגמה 9 נציג דומה לפונקציה שלא ניתן עבורה לבצע טרנספורמציה למודל ליניארי. למשל ,נתונה פונקציה הבאה: i 2 x1 y i 0 1e המודל אינו ליניארי ולא ניתן לבצע טרנספורמציה שתביא למודל ליניארי, לכן לא ניתן לאמוד בשיטת רגרסיה ליניארית את הפרמטרים 0 , 1 , 2 קיימות שיטות של אמידה והסקה סטטיסטית למודלים של רגרסיה לא ליניארית ,אך לא נלמד אותם במסגרת קורס זה. 12 לסיכום • • • • • • משפט טיילור :לכל פונקציה ניתן למצוא קירוב בעזרת פולינום. ברגרסיה משתמשים בכמה שפחות חזקות על מנת לא לאבד דרגות חופש .מספר דרגות חופש הינו הפרש בין מספר התצפיות (גודל המדגם) לבין מספר המקדמים שאומדים. שואפים שמספר התצפיות ביחס למספר המקדמים יהיה גדול ככל האפשר ,ככל שמספר דרגות חופש יותר גדול ,כך מודל הרגרסיה הינו יותר טוב. האמינות של המודל גדולה יותר ככל שמספר דרגות חופש גדול יותר. בעיה נוספת שעלולה להיווצר הינה שיתכן וקיימת תלות בין משתנים בלתי תלויים. בכדי להתגבר על בעיה זו נשתמש בשיטת רגרסיה בשלבים .stepwise 13 הקשר בין דרגות החופש לאמינות המודל • ככל שנוסיף משתנים בלתי תלויים ,נוכל להגדיל את R2באופן מלאכותי: 1 SSR R 2 SST • על מנת להגדיל את R2יש להגדיל את .SSRככל שנוסיף יותר משתנים מסבירים ה SSE-יקטן (או לפחות לא יגדל) ועל כן SSRגדל. • אולם( R2 ,בניגוד למבחן Fלמשל) אינו מתחשב במספר משתנים בלתי תלויים ודרגות חופש של SSR ,SSEו.SST- • לכן ,מדד חלופי ל R2 -שמתחשב במספר משתנים ב"ת ודרגות חופש הינו : R2 Adjusted )SSE * ( n 1 )SST * ( n k 1 1 )SSE / ( n k 1 )SST / ( n 1 ) * (1 R 2 14 R 1 n 1 n k 1 2 1