Transcript Raspodjele podataka

Inženjerska statistika
Raspodjele podataka
• Raspodjele podataka za diskretna obilježja
• Raspodjele podataka za kontinuirana obilježja
• Teorijske raspodjele podataka
Raspodjele podataka
Inženjerska statistika
Raspodjele podataka
Inženjerska statistika
Raspodjele (diskretna obilježja)
• Hipergeometrijska (složene kombinacije)
• Binomna (Bernoulli-jev događaj)
• Poisson-ova (zakon rijetkih događaja, potok događaja)
Raspodjele podataka
Inženjerska statistika
Hipergeometrijska raspodjela
• proizlazi iz dvoslojnog skupa - složene kombinacije – skup od N
elemenata sadrži podskup elemenata sa svojstvom A i podskup
elemenata sa svojstvom Ā
N
SKUP
M (A)
N-M (Ā)
UZORAK
n
x el A (n-x) el Ā
Inženjerska statistika
• funkcija vjerojatnosti hipergeometrijske raspodjele:
M  N  M 
   

x   n-x 

P(x) 
N
 
n
xM
nx N M
1 M  N
• očekivana vrijednost:
• varijanca:
Raspodjele podataka
parametri: M, N i n
- n – veličina uzorka
N  1, 2...
n, M, N  N
  E ( x);  
 2  E[(x   ) 2 ];  2  n 
nM
N
M  M   N n
 1    

N 
N   n 1 
Inženjerska statistika
• utjecaj parametara na oblik hipergeometrijske raspodjele:
Hypergeometric; n=5
0
N=10; M=5
1
2
3
4
N=10; M=3
5
0,8
0,6
Probability
0,4
0,2
N=50; M=5
0,8
N=50; M=3
0,6
0,4
0,2
0,0
0
1
2
3
4
5
X
Raspodjele podataka
0,0
Inženjerska statistika
Binomna raspodjela
• broj N (elementi skupa) teži u beskonačnost – podvrsta hipergeometrijske
• Bernoulli-jev događaj – samo dva ishoda
- vjerojatnost događaja se ne mijenja i iznosi p
- vjerojatnost q=1-p
- nezavisni pokušaji (slučajno uzorkovanje)
- broj pokušaja (veličina uzorka), n
A
Ā
UZORAK n - elemenata
p
Raspodjele podataka
(1-p)=q
Inženjerska statistika
• funkcija vjerojatnosti binomne raspodjele B (n, p):
 n  x ( n x )
P(x)     p  q , za x  0,1,...n
 x
• očekivana vrijednost (aritmetička sredina):
• varijanca:
parametri: n, p
  E ( x)  n  p
 2  n pq
• koeficijent asimetrije:
3 
M3

3

q-p 
n pq
- distribucija će biti uvijek asimetrična ako nije
p=q=0,5
• koeficijent zaobljenosti:
Raspodjele podataka
1 6  p  q
4  4  3 

n pq
M4
Inženjerska statistika
• utjecaj parametara n i p na oblik binomne raspodjele:
Binomial; n=10; p=0,5
Binomial; n=10; p=0,8
0,25
0,30
0,25
0,20
0,25
0,20
0,15
Probability
0,30
Probability
Probability
Binomial; n=10; p=0,2
0,15
0,10
0,10
0,15
0,10
0,05
0,05
0,00
0,20
0
1
2
3
X
4
5
6
0,00
7
0,05
0
2
4
6
8
0,00
10
3
4
5
6
X
Binomial; n=5; p=0,2
8
9
10
11
Distribution Plot
Binomial; n=10; p=0,2
Binomial; n=20; p=0,2
0,25
0,30
0,4
7
X
0,25
0,20
0,2
0,20
Probability
Probability
Probability
0,3
0,15
0,15
0,10
0,10
0,1
0,05
0,05
0,0
0
1
Raspodjele podataka
2
X
3
4
5
0,00
0
1
2
3
X
4
5
6
7
0,00
0
2
4
6
X
8
10
12
Inženjerska statistika
•
‘Galtonova’ daska – binomni eksperiment
– kuglicu spuštamo na čavliće koji su složeni u pravilnu trokutastu rešetku
– padom na čavlić kuglica može skrenuti na lijevo ili desno (Bernouli-jev događaj)
– daska je pravilna te su ishodi jednako vjerojatni p=0.5
– n – broj redova čavlića
Link
Raspodjele podataka
Inženjerska statistika
– primjer ‘Galtonove’ daske sa n=4 reda čavlića:
- slučajna varijabla poprima vrijednost:
0 - za jedan ishod
1 - za 4 ishoda
2 – za 6 ishoda
3 – za 4 ishoda
4 – za 1 ishod
- općenito:
Raspodjele podataka
Inženjerska statistika
• primjer 1. binomne raspodjele:
Primjer: Svaki izuzeti uzorak vode ima vjerojatnost da je kontaminiran otpadnom
tvari u iznosu od 10% . Pretpostavimo da se uzroci uzimaju nezavisno s
obzirom na prisustvo otpadnih tvari. Potrebno je pronaći:
a) Vjerojatnost da će u 18 izuzetih uzoraka biti točno 2 uzorka
kontaminirana?
p  0,1
n  18
18 
P( x  2)     0,12  0,916
2
P( x  2)  0,284
vjerojatnost da će biti točno 2
kontaminirana uzorka
b) Vjerojatnost da će od 18 uzoraka biti barem 4 kontaminirana?
p  0,1 ; n  18
P( x  3)  P( x  0)  P( x  1)  P( x  2)  P( x  3)
P( x  4)  1  [ P( x  3)]  0, 098
Raspodjele podataka
Inženjerska statistika
- grafički prikaz (binomna raspodjela):
Binomial; n=18; p=0,1
0
1
3
4
5
6
7
0
0,284
0,30
0,25
0,25
0,20
0,20
0,15
0,10
0,05
0,05
0
1
2
3
X
a)
Raspodjele podataka
2
3
4
5
6
7
0,15
0,10
0,00
1
0,30
Probability
Probability
2
Binomial; n=18; p=0,1
4
5
6
7
0,00
0,0982
0
1
2
3
X
b)
4
5
6
7
Inženjerska statistika
• primjer 2. primjene binomne raspodjele:
Primjer: Rad jednog automata kontrolira se uzorcima od 15 proizvoda. U svakom
uzorku se ustanovljuje broj defektnih proizvoda. Budući da je uzeto 200 uzoraka,
dobiveni rezultati su dani kroz tablicu. Potrebno je pronaći adekvatnu raspodjelu
po kojoj se ponašaju podaci te vjerojatnost pojave najviše 2 defektna u uzorku.
Histogram of xi
90
80
0
1
2
fi
77 81
3
4
5
6
31 7
2
1
1
- radi se o Binomnoj raspodjeli (n konačan):
70
x
x  0,915; n  15; p   0,061
n
60
Frequency
x
50
40
Binomial; n=15; p=0,061
30
0
0,4
20
1
2
3
4
5
6
7
8
9
0,941
10
0,3
0
1
2
3
xi
4
5
6
Probability
0
 P ( x  2);
0,2
P ( x  2)  0,941
0,1
0,0
0
1
2
3
4
5
X
Raspodjele podataka
15
P ( x)     0,061x  0.939(15 x )
x
P ( x  2)  P ( x  0)  P ( x  1)
6
7
8
9
Inženjerska statistika
- tablica vjerojatnosti
za primjer 2.
Raspodjele podataka
x
n
 
 x
px
q(n-x)
P(x)
 P(x)
0
1
1
0,389031
0,389031
0,389031
1
15
0,061
0,414303
0,379087
0,768118
2
105
0,003721
0,441217
0,172386
0,940504
3
455
0,000227
0,46988
0,048528
0,989032
4
1365
1,38E-05
0,500405
0,009457
0,998489
5
3003
8,45E-07
0,532913
0,001352
0,999841
6
5005
5,15E-08
0,567532
0,000146
0,999987
7
6435
3,14E-09
0,6044
1,22E-05
0,999999
8
6435
1,92E-10
0,643664
7,94E-07
1
9
5005
1,17E-11
0,685478
4,01E-08
1
10
3003
7,13E-13
0,730009
1,56E-09
1
11
1365
4,35E-14
0,777432
4,62E-11
1
12
455
2,65E-15
0,827936
1E-12
1
13
105
1,62E-16
0,881721
1,5E-14
1
14
15
9,88E-18
0,939
1,39E-16
1
15
1
6,02E-19
1
6,02E-19
1
Inženjerska statistika
Poisson-ova raspodjela
• proizlazi iz binomne r. uz određene uvjete:
p0
n
n  p  konst. (tijekom vremena)
• opisuje rijetke događaje (oni koji se javljaju s malom vjerojatnošću)
• potok događaja – vjerojatnost promatranog događaja u vremenskom
periodu (valovi, naleti...) – odabir vremenskog perioda je bitan
• funkcija vjerojatnosti Poisson-ove raspodjele P(x):
m
P(x) 
 e , za x  0 ,1,..
x!
x
m
parametar: m=E(x)
(u literaturi se spominje i λ = parametar m)
Raspodjele podataka
Inženjerska statistika
• očekivana vrijednost:
• varijanca:
  E ( x)  n  p    m  x
 2 ( x)  m;  ( x)  m
• koeficijent asimetrije:
M3
1
3  3 

m
M4
1
• koeficijent zaobljenosti:  4  4  3 

m
• rekurzivna formula za Poisson-ovu raspodjelu:
m x m
P(x) 
e
x!
m x1
P(x  1 ) 
 e m
( x  1)!
m
P(x)  P( x  1) 
x
Raspodjele podataka
Inženjerska statistika
• utjecaj parametra m na Poisson-ovu raspodjelu :
0,30
0,6
0,20
0,25
0,5
0,15
0,3
Probability
0,20
0,4
Probability
Probability
Poisson; Mean=4
Poisson; Mean=2
Poisson; Mean=0,5
0,15
0,10
0,10
0,2
0,05
0,1
0,0
0,05
0
1
2
X
3
4
0,00
0
1
2
3
4
X
5
6
7
8
0,00
0
2
4
6
8
X
- nakon m  1 pokazuje se mod – da su dvije susjedne vrijednosti istih
vjerojatnosti
- kada m   gubi se asimetričnost i Poisson-ova raspodjela teži
simetričnoj
Raspodjele podataka
10
12
Inženjerska statistika
• primjer 1. primjene Poisson-ove raspodjele:
Primjer: U slučaju tanke bakrene žice, pretpostavlja se da broj pukotina slijedi
zakon Poisson-ove raspodjele sa očekivanjem od 2.3 mikropukotine po
milimetru. Potrebno je odrediti:
a) vjerojatnost da se dogodi baš 2 mikropukotine po jednom milimetru žice.
- varijabla x – broj mikropukotina po mm žice
E ( x)  m  x  2,3
2,3x 2, 3
P(x) 
e
x!
Poisson; Mean=2,3
0,30
0,265
0,25
Probability
2,32 2 , 3
P(x  2 ) 
 e  0,265
2!
Distribution Plot
0,20
0,15
0,10
0,05
0,00
0
2
8
X
Raspodjele podataka
Inženjerska statistika
b) Vjerojatnost da se pojavi barem jedna mikropukotina u 2 mm žice.
- varijabla x – broj mikropukotina na 2mm žice
E ( x)  2  2,3  4,6
Distribution Plot
Poisson; Mean=4,6
x
4,6 4, 6
P(x) 
e
x!
0,20
0
4,6 4, 6
P(x  0 ) 
 e  0,0101
0!
P(x  1 )  1  P( x  0)  0,9899
Probability
0,15
0,10
0,9899
0,05
0,00
0 1
X
Raspodjele podataka
Inženjerska statistika
• primjer 2. primjene Poisson-ove raspodjele:
Primjer: Tijekom drugog svjetskog rata London je gađan projektilima V1.
Britance je zanimalo kako iz podataka o padanju projektila zaključiti da li je
riječ o gađanju nasumce ili se cilja neka točka u južnom Londonu.
- južni London je podijeljen na 576 sektora
- u vremenskom periodu promatranja palo je 537 projektila
Chart of Observed and Expected Values
250
Expected
Observed
200
Value
150
100
Poisson
Contribution
x
Observed Probability Expected
0
229
0,395020 226,74
1
211
0,366902 211,39
2
93
0,170393
98,54
3
35
0,052755
30,62
4
7
0,014931
7,14
5 (6,7..)
1
1,57
Chi-Sq
0,009479
0,000533
0,269846
0,700380
0,041860
TEST:
N N* DF Chi-Sq P-Value
576 0 3 1,02210 0,796
50
0
x
Poisson mean for x = 0,928819
0
Raspodjele podataka
1
2
3
>=4
- podaci se ponašaju po Poisson-ovoj razdiobi!
- zaključak - V1 nije imao navođenje
Inženjerska statistika
Raspodjele (kontinuirana obilježja)
•
•
•
•
Normalna
Jedinična normalna
Lognormalna
Weibullova
Raspodjele podataka
Inženjerska statistika
Normalna raspodjela
• prvi definirao Abraham de Moivre
• upotrijebio Gauss (Gauss-ova raspodjela)
• najčešće korištena raspodjela – čak 33% procesa u prirodi slijedi zakon
normalne raspodjele
• funkcija gustoće vjerojatnosti f(x) – zbog kontinuiranog obilježja
• nastanak normalne r. - binomni poučak (razvijanje binoma u red , A. de
Moivre)
n
( a  b)  ( a  b)  ( a  b)  ... ( a  b) 
 n  n x x
 n  x n x
( a  b)      a  b  P ( x )    p  q
x 0
 x
 x
uz uvjet p  q  0 ,5 i n  
n
n
P(x)  f ( x) 
Raspodjele podataka
1
  2
e
1 x
 
2 



2
binomna r.
funkcija gustoće
vjerojatnosti normalne r.
Inženjerska statistika
• funkcija gustoće vjerojatnosti normalne raspodjele f(x):
f ( x) 
1
  2
e
1 x
 
2 



2
za
-  x 
parametri: μ i σ2(x)
• očekivana vrijednost: E(x)= μ
• varijanca: σ2(x)
• koeficijent asimetrije: α3= 0 - simetrična razdioba
• koeficijent zaobljenosti: α4= 3 (α’4= 0) – normalno zaobljena
•
svojstva funkcije gustoće vjerojatnosti f(x):
1.
f ( x)  0 za svaki x

2.
3.
 f ( x) dx  1

x2
 f ( x)dx  P( x1  x  x2 )
x1
Raspodjele podataka
Inženjerska statistika
• veza funkcije gustoće vjerojatnosti f(x) i funkcija distribucije F(x)
normalne raspodjele:
x2
F ( x)   f ( x)dx
x1
Raspodjele podataka
Inženjerska statistika
• vjerojatnosti ispod normalne raspodjele N{μ, σ2}:
• utjecaj parametara μ i σ2 na oblik normalne raspodjele:
Raspodjele podataka
Inženjerska statistika
Jedinična normalna raspodjela N{0,1}
• standardizirana normalna raspodjela sa parametrima μ=0 i σ2=1
• sve druge normalne raspodjele svodimo (z-transformacija) na jediničnu
normalnu raspodjelu
• bilo koja vrijednost u x domeni se može prikazati kao μ ± k·σ
• transformacija:
Raspodjele podataka
z
x

Inženjerska statistika
• funkcija gustoće vjerojatnosti jedinične normalne raspodjele f(z):
1
 z2
1
f ( z) 
e 2 ;
  0;  2  1
2
• upotrebom jedinične normalne razdiobe standardiziramo odstupanja
preko parametra z:
1.
2.
3.
4.
•
•
•
|z|=1
|z|=1,96
|z|=2,0
|z|=3
→
→
→
→
P(z)=0,6827
P(z)=0,9500
P(z)=0,9545
P(z)=0,9973
područje ±3σ koje se koristi u konstrukcijama naziva se tolerancija
danas procesi u području ±3σ više nisu dovoljno dobri pa se prelazi
na sustav od ±6σ
područje od ±6σ ima vjerojatnost pojave od 99,9999998 %
Raspodjele podataka
Inženjerska statistika
•
ostale vjerojatnosti kod normalne razdiobe:
Raspodjele podataka
Inženjerska statistika
• primjer 1. primjene normalne raspodjele:
Primjer: Pretpostavimo da se izmjerena jakost struje u vodiču pokorava zakonu
normalne raspodjele sa očekivanjem μ=10 mA i varijancom σ2=4 mA2. Kolika je
vjerojatnost da će jakost struje premašiti 13 mA?
Normal; Mean=10; StDev=2
5,0
7,5
10,0
12,5
15,0
17,5
0,20
Density
0,15
(x  )
(13  10)
 z  1,5

2
P( x  13)  P( z  1,5)  1  P( z  1,5)  0,06681
z

0,10
0,05
Normal; Mean=0; StDev=1
-3
0,00
-2
-1
0
1
2
3
0,4
5,0
7,5
10
10,0
X
13
12,5
15,0
17,5
Density
0,3
0,2
0,1
0,0668
0,0
Raspodjele podataka
-3
-2
-1
0
z
1 1,5 2
3
Inženjerska statistika
Lognormalna raspodjela
• raspodjela koja dobro opisuje slučajeve: duljina trajanja proizvodnje,
plaće zaposlenika...
• slučaj kada je logaritam varijable x ( ln(x) ) normalno distribuiran
•
ln( x)  y - normalno distribuirana
vjerojatnosti pojave varijable x se dobivaju transformacijom varijable y
x  (0, )
sa naznakom da je
• ako y ima normalnu distribuciju sa očekivanjem α i varijancom β2 tada
možemo napisati x=ey što je lognormalna varijabla sa funkcijom
gustoće vjerojatnosti:

1

e
f ( x)   2    x
 0
Raspodjele podataka

(ln x  ) 2
2 2
za x  0, β  0
za ostalo
parametri: α i β2
Inženjerska statistika
• utjecaj parametara na oblik lognormalne raspodjele:
Raspodjele podataka
Inženjerska statistika
• primjer primjene lognormalne raspodjele:
Primjer: Životni vijek poluvodičkog lasera je lognormalno distribuiran sa
očekivanjem od =10 h i standardnom devijacijom =1,5 h. Kolika je vjerojatnost
da životni vijek premaši 10 000 sati?
P ( x  10000)  1  P ( x  10000);
y  10000; y  e x ; x  ln( y );
0,000008
0,000007
0,000006
0,000005
Density
9,2103  10
x  9,2103; z 
 0,52
1,5
P ( x  10000)  1  F ( z  0,52)  0,701
Lognormal; Loc=10; Scale=1,5; Thresh=0
0,000004
0,000003
0,000002
0,000001
0,701
0,000000
0
10000
X
Raspodjele podataka
Inženjerska statistika
Weibull-ova raspodjela
• definira vjekove trajanja tehničkih sustava – krivulja kade
• parametri ove raspodjele daju veliku fleksibilnost prilikom opisivanja
različitih slučajeva kada broj otkaza raste sa vremenom (trošenje
ležaja), ostaje konstantan ili pada s vremenom (neki poluvodiči)
• funkcija gustoće vjerojatnosti Weibull-ove raspodjele:
(   )  x  e
f ( x)  
0

 1
Raspodjele podataka
(   x ) 
za x  0,   0, β  0
za ostalo
parametri: α, β
Inženjerska statistika
• utjecaj parametara na oblik Weibull-ove raspodjele:
Raspodjele podataka
Inženjerska statistika
• krivulja kade (krivulja mortaliteta):
I. period – ‘dječje bolesti’ – 1. raspodjela e-t
II. period – ‘normalne eksploatacije’, slučajni kvarovi – 2. raspodjela uniformna
III. period – zbog ‘trošenja dijelova’, vremenski kvarovi – 3. raspodjela normalna
Raspodjele podataka
Inženjerska statistika
Teorijske raspodjele
• Studentova ‘t’ raspodjela
• c2  raspodjela
• F - raspodjela
Raspodjele podataka
Inženjerska statistika
Studentova t-raspodjela
• definirao ju W. S. Gosset kao razdiobu varijable t
• proizašla iz raspodjele aritmetičkih sredina
• za k>30, varijabla t se
aproksimira varijablom z
 n 1 


1
t 2 n21
2 

f (t ) 

 (1  )
;
n
n    n 
 
2
Raspodjele podataka
  n   (n  1)!
Inženjerska statistika
•
tablica Studentove ras.za određenu vrijednost
površine (vjerojatnosti) i
stupnja slobode daje
vrijednosti parametra t
Primjer: Za =0,01 u uzorku
veličine 10 elemenata
(k=10-1=9 stupnjeva
slobode) t=2,821
•
treba s oprezom
primjenjivati tablice zbog
različitog korištenja
termina  – površina
samo jednog ‘repa’ ili
oba?!
Raspodjele podataka
Inženjerska statistika
c2 (hi-kvadrat) raspodjela
• varijance se ne pokoravaju normalnoj raspodjeli
• poseban slučaj  razdiobe definira raspodjelu varijable c2
• varijabla c2 sa samo jednim parametrom k=n-1 → stupanj slobode
x x
c   

  
n
2
i
i 1
0
Raspodjele podataka
2
E( c )  k
2
- očekivana vrijednost
Inženjerska statistika
•
tablica c2 ras.- za
određenu vrijednost
površine (vjerojatnosti) i
stupnja slobode daje
vrijednosti parametra c2
•
kod čitanja vrijednosti c2P
treba imati na umu da se
to odnosi na ‘unutrašnju’
površinu.
Primjer: Pronaći vrijednosti
c2/2 i c21/2 za vjerojatnost
pogreške 5% i k=9.
c2/2= c20,025=2,70
c21/2= c20,975=19,02
Raspodjele podataka
Inženjerska statistika
F - raspodjela
• definirao G. Snedecor , R. Fisher
• to je raspodjela varijable F koja je definirana kao omjer
procijenjenih varijanci
• raspodjela ima samo dva parametra:
– stupanj slobode brojnika kbrojnika
– stupanj slobode nazivnika knazivnika
s
F
s
2
1
2
2
-parametri: kbrojnika=n1-1;
knazivnika=n2-1
- preduvjet: (s1>s2)
Raspodjele podataka
Inženjerska statistika
•
Tablica F-raspodjele daje
vrijednosti varijable F za
vjerojatnost (površinu
desnog repa), stupanj
slobode brojnika i
nazivnika.
Primjer: Pronaći
vrijednost varijable F za
=0.25, kb=9 i kn=11.
F=1,53
vrijednosti parametra F
Inženjerska statistika
Papir vjerojatnosti
• još jedna od grafičkih metoda analize podataka (iz uzorka)
kontinuiranog obilježja
• utvrđuje se da li se podaci ponašaju po jednoj od promatranih
raspodjela i koliko koji elementi odstupaju
• za svaku raspodjelu posebno konstruira se papir vjerojatnosti:
–
–
–
–
papir vjerojatnosti normalne raspodjele (najčešće)
papir vjerojatnosti Weibull-ove raspodjele
papir vjerojatnosti lognormalne raspodjele
...
• uzima se funkcija distribucije određene raspodjele i promjenom mjerila
dobiva se funkcija distribucije u obliku pravca (Henry-jev pravac)
Inženjerska statistika
• konstruiranje papira vjerojatnosti normalne raspodjele
Papir vjerojatnosti
Funkcija distribucije
Normal
Normal
99
100
95
~84% 90
80
80
%
%
60
40
70
60
50
40
30
20
20
10
5
0
0
•
5
10
x

15
20
1
0
5
10
x

15

Henry-jev pravac se ucrtava tako da se odrede dvije čvrste točke:
– 1. točka : (x=, y=50%)
– 2. točka : (x=, y=84%)
Raspodjele podataka
20
Inženjerska statistika
• primjena papira vjerojatnosti
Primjer: Provjeriti da li se podaci iz uzorka rasipaju po normalnoj raspodjeli.
- promatranjem podataka može se utvrditi da li se podaci rasipaju
po normalnoj raspodjeli.
- uzeta je raspodjela sa parametrima   x i    ( x )
2
0
Raspodjele podataka
2