Transcript x 1

ТЕОРИЯ НА ЕКСПЕРИМЕНТА
МНОГОФАКТОРЕН РЕГРЕСИОНЕН
АНАЛИЗ
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
Същността на многофакторния регресионен анализ не
се различава от същността на еднофакторния регресионен
анализ. Изследването може да се представи със следната
wq
w1 w2
схема:
y1
x1
xm
Обект на изследване
y2
yp
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
Общи сведения
Тъй като стойността на параметъра Y се формира както
от управляемите фактори Х, така и от смущаващите фактори
W, за Y може да се запише следното равенство:
Y   ( x 1 , x 2 , ..., x m )  
където ( x 1 , x 2 , ...,

x m ) е някаква функция на факторите Х;
е съвкупното смущаващо въздействие, породено
от факторите W.
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
Предполага се, че съвкупното смущаващо въздействие
има крайна средна стойност и крайна дисперсия. Тогава:
E [Y | x 1 , x 2 , ..., x m ]   ( x 1 , x 2 , ..., x m )
Това уравнение се нарича уравнение на регресия. ,
функцията  ( x 1 , x 2 , ..., x m ) - функция на регресия, а нейната
графика – повърхнина на регресия на Y спрямо Х. Обикновено
функцията  ( x )
се апроксимира с една или повече
непрекъснати функции на Х, за които казваме, че са
регресионни математически модели. Те биват:
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
а) линейни спрямо коефициентите и спрямо Х:
~
y   0   1 x 1   2 x 2  ...   m x m
Х:
б) линейни спрямо коефициентите и нелинейни спрямо
~y     x   x   x x   x 2   x 2
0
1 1
2 2
1, 2 1 2
1, 1 1
2, 2 2
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
в) модели нелинейни спрямо
нелинейни спрямо факторите Х:
коефициентите
* вътрешно линейни
m
1  2
~
y   0 x 1 x 2 ... x m
* вътрешно нелинейни
3
m
2
~
y   0   1 x 1 x 2  ... x m
и
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
Построяването на
следните основни етапи:
регресионни
модели
включва
- избор на общия вид на регресионния модел;
- определяне оценките на коефициентите на модела;
- статистически анализ на регресионния модел:
модела;
* проверка значимостта на коефициентите на
* проверка адекватността на модела.
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
В съвкупност тези три етапа образуват същността
на регресионния анализ. Класическият регресионен анализ се
основава на няколко предпоставки, свързани с вероятностните свойства на съвкупното смущаващо въздействие (със
свойствата на случайната грешка на параметъра У и с
факторите Х (Z). Тези предпоставки се състоят в следното:
а) предпоставки, свързани със случайната грешка:
* за условията
на всички опити случайната грешка

 на параметъра У има средна стойност E [  ]  0 и постоянна
2
2
2
дисперсия  [ ]     const . Условието    const
е еквива-
лентно на условието [Y | X ]  const , т.е. условната дисперсия
2
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
на параметъра
У не зависи от факторите Х (Z).

* случайните грешки в отделните опити са некоре-
лирани, т.е. корелационният момент
K  j , k  0 ; j , k  1, 2 , ..., n ; j  k .
Това е равносилно на условието – стойностите на
параметъра У в отделните опити да са некорелирани.
* случайната грешка  има нормално разпределение
с параметри: a  0 ; b 2   2.
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
б) предпоставки, свързани с факторите Х:
* факторите да се измерват с пренебрежимо малка
грешка в сравнение със случайната грешка  ;
* факторите да са линейно независими.
Броят на опитите трябва да бъде поне с единица поголям от броя на коефициентите на модела.
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
Определяне оценките на коефициентите на
модела (метод на най-малките квадрати –
МНМК в матрична форма)
Матрицата:
x 1 ,1 x 1 , 2 ... x 1 , i ... x 1 , m
x 2 ,1 x 2 , 2 ... x 2 , i ... x 2 , m
X 
...
......
.....
......
x j ,1 x j , 2 ... x j , i ... x j , m
....
.......
.......
......
x N ,1 x N , 2 ... x N , i ... x N , m
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
се нарича матрица на планиране на експеримента.
Матрицата:


f 1 , 0 ( X ) f 1 ,1 ( X )


f 2 , 0 ( X ) f 2 ,1 ( X )
...
......
F 

f j ,0 ( X )
....
.....



f 1 , 2 ( X ) ... f 1 , i ( X ) ... f 1 , m ( X )



f 2 , 2 ( X ) ... f 2 , i ( X ) ... f 2 , m ( X )
......

f j ,1 ( X )
.......
......
.....
.....



f j , 2 ( X ) ... f j , i ( X ) ... f j , m ( X )
....... ....... ......
......
.......
...... ......





f N , 0 ( X ) f N ,1 ( X ) f N , 2 ( X ) ... f N , i ( X ) ... f N , m ( X )
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
разширена
експеримента. y
се
нарича
Y 
матрица
на
планиране
1
yˆ 1
1
b0
y2
yˆ 2
2
b1
:
:
:
yj
Yˆ 
yˆ j


B 
*
j
:
bj
:
:
:
:
yN
yˆ N
N
bl
на
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
Като се използва матрицата F и вектор-стълбовете:
*
Y , Yˆ ,  , B могат да се
равенства:
и
запишат следните матрични

ˆ
FB  Y

ˆ
Y  Y  Y  FB  
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
N
S    
T
j 1
2
j
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
 T

S  (Y  F B ) (Y  F B )
За да има сумата S минимум, необходимо
производната ú спрямо вектора B да е равна на нула.
е
S
b0
S
S
   b1   F
B
:
S
bl
T

 T
(Y  F B )  [( Y  F B ) (  F )]   2 F
T

(Y  F B )  0
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
или

T
F FB  F Y
.
T
Матрицата F F  C се нарича информационна матрица
T
на Фишер.
Ако матрицата С е неизродена, съществува обратната
ú

T
T
матрицаD  ( F T F ) . 1Ако се умножат двете страни на F F B  F Y

T
T
1
B  ( F Y )( F F )
с обратната матрица, се получава:
T
T
1
( F F )( F F )
или

T
1
T
B  (F F ) (F Y )
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
СТАТИСТИЧЕСКИ АНАЛИЗ НА РЕГРЕСИОННИЯ МОДЕЛ
- проверка значимостта на коефициентите на модела
Издига се нулевата хипотеза: Ho : b j  0 , j  0 , 1, ..., m . Тя
се проверява с критерия на Стюдънт:
tj 
ˆ
bj
,
S bˆ
j
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
къдетоS ˆ е оценката на средноквадратичното отклонение на
bj
j- тия коефициент на модела и се определя по формулите:
а) без повторение на опитите
S bˆ 
j
S
2
ost
d i ,i ,
където d i , i е диагоналният елемент на матрицата ( F
T
F)
1
.
Остатъчната дисперсия характеризира грешката на
модела и се определя по формулата:
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
S
2
ost

1
N m
n
ˆ


y

y
i
i
' 
2
,
i 1
Степените на свобода на критерия на Стюдънт са равни
'
k

N

m
,
на степените на свобода на остатъчната дисперсия:
където N е броят на опитите, а m’ – броят на коефициентите в
модела.
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
Ако t  t 
или
;k
P (t ; k )    H 0 :
не противоречи на
опитните данни, т.е. j-ят коефициент в модела е незначим
(факторът или взаимодействията на факторите след
коефициента не оказват влияние върху параметъра У).
t  t
P ( t ; k )    H 0 : се отхвърля, т.е. j-ят
Ако
; k или
2
коефициент
на
модела
е
значим
(факторът
или
взаимодействията на факторите след коефициента оказват
влияние върху параметъра У).
2
б) с повторение на опитите
S bˆ 
j
2
b
S d i ,i ,
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
където d i , i е диагоналният елемент от матрицата ( F PF )
T
1
.
Дисперсията на възпроизводимост характеризира
грешката на експеримента и се Nопределя по формулата:
S 
2
b
1
 [( n
N
 (n
i
 1)
i
 1) S ]
2
i
i 1
i 1
Степените на свобода на критерия на Стюдънт са равни на
степените на свобода на дисперсията на възпроизводимост:
N
k   ( n i  1) ,
където N е броят на опитите, а ni – броят на
i 1
повторенията в отделните опити.
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
- проверка адекватността на модела
Регресионният модел е адекватен, ако той представя
опитните данни с грешка не по-голяма от грешката на
2

опитите, която се характеризира с дисперсията
на

съвкупното смущаващо въздействие.
Грешката, с която регресионният модел представя
опитните данни, се характеризира с разсейването на опитните
стойности на параметъра У около линията на регресия, т.е.
около изчислените стойности yˆ i , i  1, 2 , ..., n на параметъра У с
помощта на модела.
Проверката на адекатността на модела се извършва по
следната процедура:
а) без повторение на опитите
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
- определя се остатъчната
характеризира грешката на модела:
S
2
ost

която
n
1
nm
дисперсия,
'
ˆ


y

y
 i i
2
,
i 1
където m’ e броят на коефициентите в модела (включително –
нулевия).
определя
се
дисперсията,
характеризираща
разсейването на стойностите, получени по модела спрямо
средната аритметична стойност по формулата:
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
S
2
R

1
n

m
( yˆ i  Y ) ,
2
i 1
където m е броят на коефициентите на модела без нулевия.
- пресмята се критерият на Фишер по формулата:
F
S
S
2
R
2
ost
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
Степените на свобода на критерия на Фишер са:
k1  m; k 2  n  m
'
Ако получената стойност на F е по-малка от критичната
( F  F ; k ; k ) или P ( F , k 1 , k 2 )   се приема, че моделът не е
1
2
адекватен.
Ако получената стойност на F
е по-голяма от
критичната ( F  F ; k ; k ) или P ( F , k 1 , k 2 )   се приема, че
1
2
моделът е адекватен.
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
б) с повторение на опитите
Определя се дисперсията, която характеризира грешката на модела (дисперсия на адекватност) по формулата:
S
2
ad

N
1
N m
'

( y i  yˆ i ) n i
2
i 1
Степените на свобода на дисперсията на адекватност
'
са: k ad  N  m . Определя се дисперсията на възпроизводимост, която характеризира грешката на експеримента по
формулата:
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
S 
2
b
N
1
 [( n
N
 (n
i 1
Степените
i
на
 1)
свобода
възпроизводимост са: k   ( n i  1)
i 1
F
 1) S ]
i 1
N
на Фишер по формулата:
i
2
i
S
2
ad
S
2
b
на
дисперсията
на
. Пресмята се критерият
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
Степените на свобода на критерия на Фишер са:
N
k 1  N  m ; k 2   ( n i  1)
'
i 1
Ако получената стойност на F е по-малка от критичната
( F  F ; k ; k ) или P ( F , k 1 , k 2 )   се приема, че моделът е
1
2
адекватен.
Ако получената стойност на F
е по-голяма от
критичната ( F  F ; k ; k ) или P ( F , k 1 , k 2 )   се приема, че
1
2
моделът е неадекватен.
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
ТЕОРИЯ НА ЕКСПЕРИМЕНТА
ТЕОРИЯ НА ЕКСПЕРИМЕНТА