Transcript Lecture1
המחלקה לניהול תעשייתי
סמסטר א' ,תשע"ב
רגרסיה לינארית ,ניתוח שונות
ותכנון ניסויים סטטיסטיים
הרצאה 1
רגרסיה פשוטה
מרצה :אולגה גרצ'קו
1
מבנה הקורס
שעת קבלה :יום ה' 15:30-16:30בתאום מראש
דוא"ל[email protected] :
דרישות הקורס:
• נוכחות בהרצאות – מומלץ.
• הכנת תרגילי בית.
התרגילים יימסרו בזוגות .במהלך הסמסטר ,ייבדקו לכל סטודנט לפחות 2תרגילים עם ציון,
אך לא תינתן הודעה מראש איזה תרגיל ייבדק .חובת הגשה :לפחות 80%מהתרגילים.
הציון הסופי יהיה פרופורציית התרגילים שנמסרו (יחסית למספר התרגילים שיש חובה
למסרם) מוכפלת בציון הממוצע של התרגילים שנבדקו .תרגיל לא מלא או ברמת איכות
ירודה לא ירשם.
• מבחן סוף סמסטר.
ציון הקורס:
תרגילי בית .10%
מבחן סוף סמסטר – . 90%
חובת קבלת ציון עובר במבחן סוף סמסטר :כן
ספרי הקורס:
1. Montgomery, D. C., Peck, E. A., Vining, G. G. Introduction to Linear
Regression Analysis, Wiley-Interscience, 4th edition, 2006. Chapters 1-4.
2. Montgomery, D.C. Design and Analysis of Experiments, 6th edition, Wiley,
2005. Chapters 1, 2, 3, 4, 5, 6, 10.
2
הגדרת רגרסיה
• – yמשתנה מקרי התלוי במשתנים בלתי תלויים ("משתנים
מסבירים").
• מודל של רגרסיה הוא מודל סטטיסטי שבא להחליף מודל
המקשר משתנה תלוי ומשתנים בלתי תלויים דרך קשר
פונקציונאלי (חד ערכי):
yi 0 1 x1i 2 x2i n xni i
כאשר:
–x1,x2,…,xnמשתנים מסבירים ב"ת
– β1, β2,…, βnפרמטרים קבועים באוכלוסיה (מקדמי הרגרסיה)
– εiשגיאה (גורמי רעש) בתצפית i
נחפש קשר בין התוחלת של yכתלות בקבוצת המשתנים
המסבירים.
נתאר קשר זה בעזרת קשר מתמטי:
E y | x1, x2 , xn f x1, x2 , xn
3
הגדרת רגרסיה
מודל רגרסיה לינארית מגדיר קשר סטטיסטי בין משתנה תלוי
לקבוצת משתנים בלתי תלויים.
לדוגמא:
– yכמות יבול שבועי בחלקה מסוימת בחממה
– x1כמות השקייה יומית
– x2כמות חומר דשן בחלקה
– x3אחוז לחות בחממה עליו ניתן לשלוט
קשר מתמטי (פונקציונאלי ,דטרמיניסטי) – )y=f(x1, x2, x3
אולם קשר זה לא קיים במציאות כי סביר להניח שקיימים
גורמים נוספים שלא נלקחים בחשבון .גורמים אלו נקראים
גורמי רעש .במקרה שלנו למשל ,טמפרטורה ,טפילים,
שגיאות מדידה וכו'.
•
•
•
•
•
•
•
•
4
רגרסיה לינארית פשוטה
• מבוססת על משתנה בלתי תלוי אחד – ( xרק גורם אחד
משפיע)
• מניחה קשר ליניארי בין התוחלת של yלx-
• אם xi, yiהינן דגימות iשל משתנים xו y -בהתאמה ,אזי
yi 0 1 xi i
• כאשר εiהינה שגיאה ה β0, β1 ,i-הינם פרמטרים (מקדמי
הרגרסיה) לא ידועים שאפשר לאמוד אותם על סמך מדגם.
•
•
•
•
5
קו רגרסיה תיאורטי על סמך כל
אוכלוסיה:
המודל הוא מודל ביחס לכל
האוכלוסיה.
פרמטר – גודל קבוע שמאפיין
התפלגות לא ידועה.
yiפחות ערך הקו זוהי שגיאה εi
0 1 x
0
הנחות המודל
, V xi 0, i .1כלומר xiהינו קבוע או משתנה מקרי
מנוון εi ,סופג את כל הרעש.
.2
.3
6
i
εהינו משתנה מקרי מפולג נורמלית , i
i , j i j
2
בלתי מתואמים (.)cov=0
i ~ N 0,
• הסיבות להפרעה:
• שגיאות מדידה
• החסרת משתנים (יתכן וקיימים משתנים נוספים שלא
נלקחו בחשבון ולא נמדדו)
• טעות בקביעת המודל (למשל ,מודל לא ליניארי)
• מטרות המודל:
• כוח הסבר לתופעות
• יכולת ניבוי
• בקרה על תהליכי החלטה
7
טענות המודל
yi .1הינו משתנה מקרי כי εiהינו משתנה מקרי.
E yi | xi 0 1xi .2
הוכחה:
E yi E 0 1 xi i E 0 1 xi E i
E yi
שינוי שולי 1 :
xi
0 1 xi 0 0 1 xi
הקשר בין תוחלת משתנה התלוי לבין המשתנה הבלתי תלוי
הוא קשר ליניארי – הנגזרת קבועה .כלומר ,שינוי שולי בx -
משנה את yבערך קבוע .β1
8
טענות המודל
.3השונות של ( yמידת פיזור סביב קו רגרסיה) קבועה ולא
תלויה ב:x -
V yi V 0 1xi i V i
.4מדידות של משתנים תלויים לא מתואמים ביניהן:
cov yi , y j 0, i j
9
אמידת הפרמטרים
• את β0, β1נאמוד בעזרת אומדנים b0ו b1-ונקבל את משוואת
הישר yˆ b0 b1xהידוע גם כ"-ישר מותאם".
• נשתמש בשיטת הריבועים הפחותים (קריטריון מינימום
)SSEכדי למצוא את הישר המותאם.
0 1 x
המרחק בין
המרחק בין
תצפית לישר
המותאם
b0 b1x
ei
i
yi
yˆ i
b0
0
yi 0 1 xi i
10
yi b0 b1 xi i
yˆ b0 b1 x
תצפית לישר
התוחלות
המותנות
ערך החזוי (ערך
שמעריכים שיהיה
על סמך הישר
אותו אמדנו
באמצעות המדגם
שיטת ריבועים הפחותים לאמידת הפרמטרים
ביןe y yˆ כלומר סכום ריבועי המרחקים, SSE e
i
i
2
i
i
•
yˆ b0 b1x התצפיות לישר המותאם
SSE - כך שb1- וb0 (נחשבSSE • אנו רוצים את מינימום של
:)יהיה מינימאלי
n
n
n
SSE e yi yˆi yi b0 b1 xi
i 1
2
i
2
i 1
2
i 1
משוואות
n
n
SSE
נורמליות b0 y b1 x
0 yi nb0 b1 xi
של ריבועים
b0
i 1
i 1
הפחותים
n
n
n
S xy
SSE
2
b1
0 xi yi b0 xi b1 xi
S xx
b1
i 1
i 1
i 1
n
x
x
i 1
n
i
n
,y
y
i 1
i
n
11
שיטת ריבועים הפחותים לאמידת הפרמטרים
b0 y b1x
b1
sxy
sxx
n n
yi xi n
n
S xy yi xi i 1 i 1 yi xi x
n
i 1
i 1
2
x
i
n
n
2
i 1
2
S xx xi
xi x
n
i 1
i 1
n
b1
n n
yi xi
n
i 1 i 1
y
x
i i
n
i 1
xi
n
2
i 1
x
i
n
i 1
n
2
12
פיתוח נוסחאות עבור ריבועים הפחותים
:b0 מציאת
SSE
2 yi b0 b1 xi 0
b0
i 1
n
n
n
n
i 1
i 1
i 1
yi b0 b1 xi 0
n
n
i 1
i 1
yi nb0 b1 xi 0
n
n
i 1
n
i 1
n
nb0 yi b1 xi
b0
y
i 1
n
i
b1
x
i 1
n
n
i
x
x
i 1
n
i
n
,y
y
i 1
i
n
b0 y b1x
13
פיתוח נוסחאות עבור ריבועים הפחותים
SSE
2 yi b0 b1 xi xi 0
b1
i 1
n
n
n
n
i 1
i 1
i 1
n
n
n
i 1
i 1
i 1
:b1 מציאת
yi xi b0 xi b1 xi2 0
2
y
x
b
x
b
x
i i 0 i 1 i
n
n
n
i 1
i 1
i 1
2
y
x
y
b
x
x
b
x
ii
i 1 i
1
n
n
xi
yi
n
i 1
i 1
y
x
b
i i
1
n
n
i 1
n
n
xi b1 xi2
i 1
i 1
14
פיתוח נוסחאות עבור ריבועים הפחותים
n
n
y
i 1
n
yi xi
i
i 1
:) (המשךb1 מציאת
n
n
x
i 1
n
xi b1
i 1
i
n
n
i 1
i 1
2
x
b
x
i 1 i
2
n
n
yi xi
xi
n
i 1 i 1 b x 2 i 1
y
x
i i
1 i
n
n
i 1
i 1
n
n
yi xi
n
i 1 i 1
y
x
i i
n
b1 i 1
2
n
xi
n
2
i 1
x
i
n
i 1
n
n
15
תכונות של b0וb1 -
• הם משתנים מקריים (כי הם תלויים ב)y -
• הם אמדים ליניאריים כפונקציה של תצפיות
• הם אמדים חסרי הטיה ל β0 -וβ1 -
• מבין כל אמדים הליניאריים שהם פונקציות של תצפיות וחסרי
הטיה הם מסיגים שונות מינימאלית
16
דוגמה
בוחנים את הקשר בין גודל מנת הייצור לשעות העבודה שיש
להשקיע כדי לייצר מנה זו.
נתונים נתוני המדגם ( 10תצפיות):
יש למצוא:
א) משוואת קו רגרסיה בשיטת
הריבועים הפחותים.
ב) כמה שעות עבודה נצפה
להשקיע במנת ייצור
שגודלה 30על פי
החישובים בסעיף א'?
17
yi
73
50
128
170
87
108
135
69
148
132
xi
30
20
60
80
40
50
60
30
70
60
i
1
2
3
4
5
6
7
8
9
10
i
1
2
3
4
5
6
7
8
9
10
סכומים
xi
30
20
60
80
40
50
60
30
70
60
500
yi
73
50
128
170
87
108
135
69
148
132
1100
xi*yi
2190
1000
7680
13600
3480
5400
8100
2070
10360
7920
61800
yi xi
n
i 1 i 1
y
x
i i
n
i 1
n
b1
xi^2
900
400
3600
6400
1600
2500
3600
900
4900
3600
28400
פתרון דוגמה
תחילה נחשב נתונים
:b1 הדרושים לחישוב
n
x
i 1
i
500
n
y
i 1
i
1100
2
n
xi 25000
i 1
n
yi xi 61800
i 1
n
2
x
i 28400
i 1
n
x
i
n
2
i 1
x
i
n
i 1
n
2
1100 500
61800
10
2
25000
28400
10
18
פתרון דוגמה
כעת נחשב את :b0
b0 y b1x
n
500
50
10
1100
110
10
x
i
i 1
n
n
y
i
i 1
n
b0 110 2 50 10
xi^2
900
400
3600
6400
1600
2500
3600
900
4900
3600
28400
xi*yi
2190
1000
7680
13600
3480
5400
8100
2070
10360
7920
61800
תשובה לסעיף א' :משוואת קו רגרסיה הינה:
yˆi 10 2 xi
19
yi
73
50
128
170
87
108
135
69
148
132
1100
110
xi
30
20
60
80
40
50
60
30
70
60
500
50
i
1
2
3
4
5
6
7
8
9
10
סכומים
ממוצעים
פתרון דוגמה
סעיף ב' :כמה שעות עבודה נצפה להשקיע במנת ייצור שגודלה
30על פי החישובים בסעיף א'?
פתרון סעיף ב':
נציב במשוואת קו רגרסיה שמצאנו בסעיף א' :30
yˆi 10 2xi 10 2 30 70
כלומר עבור מנה בגודל 30יש להשקיע 70שעות ייצור.
בפועל לפי נתוני השאלה ,עבור מנה של 30נתונה דגימה של .73
yˆ1 70, y1 73
נחשב שגיאה:
עבור תצפית מס' )x8=30, y8=69( 8השגיאה היא שונה:
e1 y1 yˆ1 73 70 3
e8 y8 yˆ8 69 70 1
הערך החזוי לפי רגרסיה שונה מערך במדגם בפועל.
20
בניית רווחי סמך לפרמטרים β0וβ1 -
מצאנו אמדים נקודתיים עבור מקדמי הרגרסיה .כעת נמצא
רווחים בהם נמצאים β0ו:β1 -
~ N 0,1
x
Z
2
x ~ N ,
x
x ~ N , ˆ
~ tn p
ˆ
2
2
x x
i
n 1
2
ˆ
כאשר:
– nגודל המדגם
– pמספר הפרמטרים הנאמדים לצורך חישוב ˆ
21
בניית רווחי סמך לפרמטרים β0וβ1 -
במקרה שלנו p=2מאחר ואמדנו 2פרמטרים (.)b0, b1
b0מתפלג:
b1מתפלג:
n
2
xi
2
i 1
b0 ~ N 0 ,
nS xx
2
b1 ~ N 1 ,
S xx
2לא ידועה ,לכן נציב במקומה אמד (.)MSE
22
בניית רווחי סמך לפרמטרים β0וβ1 -
ולכן:
b0 0
~ tn 2
ˆb0
b1 1
~ tn 2
ˆ b1
נבנה רווח
סמך ברמת
מובהקות :α
23
בניית רווחי סמך לפרמטרים β0וβ1 -
אמד לסטיית תקן של b0הינו:
n
x
2
i
MSE
i 1
nS xx
ˆ b
אמד לסטיית תקן של b1הינו:
MSE
ˆ b1
S xx
כאשר ( MSEממוצע ריבועי הטעויות) הינו:
SSE
MSE
n2
24
0
בניית רווחי סמך לפרמטרים β0וβ1 -
אם כך ,רווח סמך עבור b0הינו:
b0 0
P t
t
1
n2,1 2
n 2,1
ˆ
b
2
0
ˆ
ˆ
P b0 t
b0 0 b0 t
b0 1
n 2,1
n 2,1
2
2
ובאופן דומה ,רווח סמך עבור b1הינו:
ˆ
ˆ
P b1 t
b1 1 b1 t
b1 1
n 2,1
n 2,1
2
2
משמעות של רווח סמך :אם נדגום הרבה מדגמים וכל מדגם נבנה
רווח סמך ,אזי בהסברות 1-αמקדם באמת ייפול תחום זה.
25
נחזור לדוגמה ונמצא רווחי סמך למקדמים
i
1
2
3
4
5
6
7
8
9
10
סכומים
xi
30
20
60
80
40
50
60
30
70
60
500
yi
73
50
128
170
87
108
135
69
148
132
1100
yˆ i
70
50
130
170
90
110
130
70
150
130
1100
yˆi 10 2 xi
P 2 t8,0.975
ei
3
0
-2
0
-3
-2
5
-1
-2
2
0
e^2
9
0
4
0
9
4
25
1
4
4
60
: ˆ b כעת נחשב את:β1 עבור
1
2
SSE e
60
MSE
7.5
n 2 n 2 10 2
2
n
xi
n
5002
i 1
2
S xx xi
28400
3400
n
10
i 1
ˆ b1
MSE
7.5
0.047
S xx
3400
:β1 נציב בנוסחא של רווח סמך עבור
0.047 1 2 t8,0.975 0.047 0.95
P 1.89 1 2.11 0.95
:אורך רווח סמך
2.11 1.89 0.22
26
נחזור לדוגמה ונמצא רווחי סמך למקדמים
כעת נחשב רווח סמך עבור :β0
n
28400 7.5
MSE
2.5
10 3400
2
x
i
i 1
nS xx
ˆ b0
e^2
9
0
4
0
9
4
25
1
4
4
60
yˆ i
ei
3
0
-2
0
-3
-2
5
-1
-2
2
0
נציב בנוסחא של רווח סמך עבור :β0
2.5 0 10 t8,0.975 2.5 0.95
70
50
130
170
90
110
130
70
150
130
1100
yˆi 10 2 xi
P 10 t8,0.975
P 4.235 1 15.765 0.95
אורך רווח סמך15.765 4.235 1.53 :
27
yi
73
50
128
170
87
108
135
69
148
132
1100
xi
30
20
60
80
40
50
60
30
70
60
500
i
1
2
3
4
5
6
7
8
9
10
סכומים