Transcript Lecture5

‫המחלקה לניהול תעשייתי‬
‫סמסטר א'‪ ,‬תשע"ב‬
‫רגרסיה לינארית‪ ,‬ניתוח שונות ותכנון‬
‫ניסויים סטטיסטיים‬
‫הרצאה ‪5‬‬
‫רגרסיה מרובה‬
‫סיכום נוסחאות‬
‫רגרסיה ליניארית מרובה‬
‫•‬
‫•‬
‫•‬
‫•‬
‫במרבית הבעיות המחקריות והנדסיות בהן מיישמים ניתוח לפי רגרסיה‪,‬‬
‫נדרש במודל הרגרסיה יותר ממשתנה בלתי תלוי אחד‪.‬‬
‫הסיבוכיות של רב הבעיות האמיתיות היא כזאת שעל מנת לחזות תגובה‬
‫חשובה (משתנה תלוי) נדרש מודל רגרסיה מרובה‪.‬‬
‫כאשר המודל הוא ליניארי אזי נקרא לו מודל רגרסיה ליניארית מרובה‪.‬‬
‫בהינתן ‪ k‬משתנים בלתי תלויים ‪ , x1 , x2 , , xk‬התוחלת של ‪y x1, x2 , , xk‬‬
‫ניתן להציג ע"י רגרסיה ליניארית מרובה באופן הבא‪:‬‬
‫‪ k xk‬‬
‫‪, xk    0  1 x1   2 x2 ‬‬
‫‪E  y x1 , x2 ,‬‬
‫• כמובן‪ ,‬שגם במקרה זה יש להעריך את הפרמטרים באמצעות מדגם‬
‫ולבנות קו מותאם‪:‬‬
‫‪bk xk‬‬
‫‪2‬‬
‫‪yˆi  b0  b1x1  b2 x2 ‬‬
‫בדיקת השערות באמצעות ניתוח שונות ומבחן ‪F‬‬
‫ברגרסיה ליניארית מרובה קודם מבצעים את מבחן ‪ F‬על מנת לבדוק‬
‫תקפות מודל רגרסיה‪.‬‬
‫בודקים השערות על מקדמי המודל (חוץ מחיתוך) מסוג‪:‬‬
‫‪H 0 : 1  2  3  ...   k  0‬‬
‫‪H1 :‬‬
‫‪at least one i  0‬‬
‫ואם השערת האפס נדחית אז עוברים למבחני ‪ t‬לבדיקת השערות חלקיות‬
‫לגבי כל מקדם‪.‬‬
‫‪3‬‬
F ‫טבלת ניתוח שונות עבור מבחן‬
)ANalysis Of VAriance -ANOVA(
‫סכומי מקור‬
‫ריבועי השונות‬
)Source( ‫ם‬SS
‫ רגרסיה‬SSR
‫ דרגות‬MS=SS/df
‫חופש‬
)df(
k
MSR=SSR/k
‫ ססטיסטי‬F
‫ קריטי‬F P-Value
MSR/MSE
F1,nk 1,
‫ טעות‬SSE
‫מדגמית‬
- ‫ סה"כ‬SST
Total
n-k-1
pH 0  F1,n  k 1,  Fstat 
MSE=SSE/(n-k-1)
n-1
Fstat  F1,nk 1,:‫איזור דחייה‬
P  Value  
4
‫בדיקת השערות למקדמים – מבחן ‪T‬‬
‫עבור כל מקדם ‪(i=1,2,…,k( βi‬ניתן נבדוק השערות הבאות‪:‬‬
‫‪H 0 : i  ‬‬
‫‪H1 : i  ‬‬
‫כאשר ‪ – β‬זה ערך מספרי כלשהו‪.‬‬
‫נבדוק את ההשערות באמצעות מבחן ‪.t‬‬
‫סטטיסטי המבחן‪:‬‬
‫‪bi  ‬‬
‫‪‬‬
‫‪Sbi‬‬
‫במבחן ‪ t‬דו‪-‬זנבי (דו‪-‬צדדי)‪:‬‬
‫דוחים את השערת האפס‪ ,‬אם‬
‫‪tstat‬‬
‫‪‬‬
‫‪2‬‬
‫‪5‬‬
‫‪n k 1,1‬‬
‫‪tstat  tcrit  t‬‬
‫בדיקת השערות למקדמים – מבחן ‪T‬‬
‫במבחן ‪ t‬חד‪-‬זנבי ימני (עליון) נבדוק השערות מסוג‪:‬‬
‫‪H 0 : i  ‬‬
‫‪H1 : i  ‬‬
‫איזור דחייה עבור מבחן ‪ t‬חד‪-‬זנבי ימני (עליון)‪:‬‬
‫‪tstat  tcrit  tnk 1,1‬‬
‫במבחן ‪ t‬חד‪-‬זנבי שמאלי (תחתון) נבדוק השערות מסוג‪:‬‬
‫‪H 0 : i  ‬‬
‫‪H1 : i  ‬‬
‫איזור דחייה עבור מבחן ‪ t‬חד‪-‬זנבי שמאלי (תחתון)‪tstat  tcrit  tnk 1,1 :‬‬
‫‪α/2‬‬
‫‪6‬‬
‫‪α/2‬‬
‫‪α‬‬
0 , 1 , , k ‫בניית רווחי סמך לפרמטרים‬
:‫(הינו‬i=1,2,…,k( bi ‫רווח סמך עבור כל מקדם‬


P  bi  t
 Sbi  i  bi  t
 Sbi   1  
n  k 1,1
n  k 1,1

2
2

7
‫מקדם מתאם מתוקנן‬
SSE / (n  k  1)
SSE *(n  1)
R  1
 1

SST / (n  1)
SST *(n  k  1)
n 1
2
 1
*(1  R )
n  k 1
2
8