Transcript Document

Kapitel 6
Principles of data reduction
Dan Hedlin
1
Datareduktion
• All statistik går ut på datareduktion
(Thorburn)
• Att estimera är att sammanfatta stickprovsinformationen
• Kan man sammanfatta mer och kan man
sammanfatta mindre? (jfr texter)
• Vad menar man med en bra sammanfattning?
2
• Bra sammanfattning: bli av med så mycket data
som möjligt med så liten informationsförlust som
möjligt
• Problem: behöver olika information till olika saker
• Casella & Berger (CB) fixerar ett ändamål och
resonerar utifrån det
• Två ”fixeringar”: en modell och en eller flera
parametrar
3
Exempel
• Hur kan vi sammanfatta ett stickprov om vi antar
normalfördelning med känd varians och vill veta
endast medelvärde
(CB:s svar: stickprovsmedelvärdet)
• Stickproven x=(99,101) och x=(200,0) innehåller
samma information (i exemplet) därför att
stickprovsmedelvärdet är detsamma
• Vi slänger bort info om
- de enskilda observationernas ordning
- de enskilda observationernas värden
4
Hur kommer man fram till en
modell?
1. Undersöker data och hittar realistisk
modell
2. Betraktar processen med vilken data
genereras
Ex 1: Kast med n tärningar
Ex 2: Varje observation är summan av
många små bidrag => normalfördelning
3. Avsiktlig förenkling trots brist på realism
5
En familj av fördelningar
•
•
•
•
•
Ex N(, 2) ”a family” (CB:s term)
N(100, 2) ”a particular distribution”
Parameter 
Parameterrum  = alla värden som  kan anta
Uppgift, om N(, 2): att skatta 
om N(, ): att skatta  och 
6
Tillräcklig statistika
• Statistika = funktion av stickprovet, t.ex.
- stickprovsmedelvärde
- median
- det största värdet i stickprovet
- hela stickprovet
• Tillräcklig statistika: fångar upp all
information om parametern under modellen
7
Formell definition
• En statistika T(X) är tillräcklig för att skatta
parametern  i modellfamiljen M om fördelningen
av X givet T(X) inte beror av 
• Tolkning: om jag ska skatta  och får veta värdet
på T(X) då spelar det ingen roll exakt vilket
stickprov X jag har, eftersom sannolikhetsfördelningen för X givet T(X) ändå är densamma
för alla tänkbara värden på 
8
Exempel, två olika tärningar
• Två tärningar: en ger en sexa 9 ggr av 10,
den andra ger sexa 1 gång av 6
• Väljer en tärning på måfå och kastar den två
gånger. Det blir två sexor. Vilken tärning
har vi råkat ta?
• Vad finns det för skäl att tro att det var
- den som ger sexor ofta
- den som ger sexor sällan
9
x sexor på n kast
n
x
n x
P  X  x      p  1  p 
 x
p sh sexa ett kast, 1-p icke-sexa
på ett kast
X antal sexor på n kast
Tillräcklig statistika?
10
• I båda fallen:
sexa med sh p, parameterrum {1/6, 9/10}
• ena tärningen p = 9/10  2   9   1  81
2
sh för två sexor
andra tärningen p = 1/6
0
  
 0 . 80
 
 
100
 2   10   10 
2
0
 2  1   5 
1
      
 0 . 03
36
 2  6   6 
• Dvs stor skillnad på den obetingade sannolikheten
P(X = x), beroende på vad p är
11
• X tillräcklig statistika
P X  x X  x   1
P X  x X  x   0
• Gäller allmänt i binomialfördelning, antal
”lyckade” utfall tillräcklig för parametern p
12
För att hitta en tillräcklig
statistika
1. Intuitivt
2. Använda definitionen (kan vara
besvärligt!)
3. Faktoriseringsteoremet
4. Exponentialfördelning?
13
Faktoriseringsteoremet
• T(X) tillräcklig omm sannolikhetsfunktionen kan
faktoriseras i en faktor där  och x finns, men x bara som
del i T(X), och en faktor där inget  finns
f  x    g T  x    h  x 
”depends on X only through T(X)”
14
Faktorisera detta
n
x
n x


P  X  x      p  1  p 
 x
15
Number of Enemy Tanks
• Fienden numrerar sina stridsvagnar,
1, 2, … N, där N är den senast tillverkade.
Vi vill veta N. Vi observerar 23, 54 och 808.
Vi antar att de är observationer från en
diskret likformig fördelning. Tillräcklig
statistika?
16
”Tillräcklig statistika” inte
särskilt starkt:
• Finns i allmänhet massor med tillräckliga
statistikor, t.ex. är hela stickprovet en tillräcklig
statistika
• En tillräcklig statistika behöver inte vara en bra
skattning; behöver inte vara en skattning alls
17
Partitionering
• Varje statistika partitionerar mängden
av alla stickprov
• Minimalt tillräcklig statistika = grövsta
partitioneringen
• I många böcker menas ”minimalt
tillräcklig” när det står ”tillräcklig”
18
Expontentialfamiljer
• Kan skrivas (CB s. 111)
 k

f  x θ   h  x  c θ  exp   w i θ  t i  x 
 i 1

• k= 1 eller 2 (oftast)
• c() normeringskonstant
• ti(x) minimalt tillräcklig (CB teorem 6.2.13)
19
Exempel normalfdl

f x  ,
2



1

exp  
2
 2
1

 1
h(x)
  x   2 
exp  

2
2

2


1
2
x
2
 2 x  
2


2
 2 
 
x 1 
exp  
exp  x 2 
2 
2 
2


2

2




1

c  , 

t2(x)
w 2  , 

20
• Minimalt tillräcklig i normalfördelning
(X, X2)
• En observation: x och x2
• Hela stickprovet?
21
• Om en observation kommer från
exponentialfamilj, kommer hela stickprovet
med oberoende observationer också från
motsvarande exp-fam:
f x θ  
n

j 1
 k

h  x j  c θ  exp   w i θ  t i  x j 
 i 1

 n

 n k

 c θ   h  x j   exp    w i θ  t i  x j 
 j 1 i 1

 j 1

n
 n

 k

 c θ   h  x j   exp   w i θ   t i  x j 
j 1
 i 1

 j 1

22
• Stickprov x från normalfördelning. Minimalt
tillräcklig:
n
 n

  X j ,  X 2j 


j

1
j

1


• En-entydiga funktioner av minimalt tillräckliga
statistikor är också minimalt tillräckliga
X , S 
2
1
n

n
j 1
X
j
 X
1
n 1
n
 X
j
 X

2
 S
2
j 1
23
Exempel binomialfdl
n x
n x
P  X  x p     p 1  p 
 x
n x
n
x
   p 1  p  1  p 
 x
n
p 
n

   1  p  
 x
1 p 

n
n
   1  p  exp  log

 x
0<p<1
x
 p

1 p



x

  ...

24

n
n
   1  p  exp  log

 x
 p

1 p

n
n
   1  p  exp  x log
 x







x
 p

1 p

 

t1(x) w 1  p 
Kan visa: för motsvarande parametrar, (p1, p2, …, pk) i
multinomialfdl är (x1, x2, …, xk) minimalt tillräcklig
statistika
25
Negativ binomial
 x  1 r
xr
 p 1  p  , x  r , r  1, ...
P  X  x p   
 r  1
 x  1 r
r
x
 p 1  p  1  p 
 
 r  1
 x  1 r
r
 p 1  p  exp  x log 1  p 
 
 r  1
• Alternativt x-r som minimalt tillräcklig
26
• Om definitionsmängden för x (supporten)
beror av parametern är det ingen
exponentialfördelning (CB s. 113-114)
• T.ex. Cauchy, logistisk fdl ej expontial
27
Sufficiency principle
• Tillräcklighetsprincipen: om
T x    T  y  
så ska samma slutsats om  dras (om vi tror på
modellen)
28
Ancillära och kompletta
statistikor
• En statistika S(X) vars fdl inte beror
funktionellt av  kallas ancillär
(m.a.p. på )
• Antag att T(X) är en statistika för  i
modellfamiljen M. T(X) är komplett om det är
ett nödvändigt villkor för
E g T ( X )   0 för alla  att g T  X   0 i princip
överallt där g   är definierad
29
• Basus teorem:
Om T(X) är både komplett och tillräcklig, är den
oberoende av varje ancillär statistika
• CB teorem 6.2.28:
Om det finns en minimalt tillräcklig statistika, är
varje komplett statistika också minimalt tillräcklig
• ti(x) i exponentialfamilj komplett i de flesta fall
(CB teorem 6.2.25)
• Betingningsprincipen, lite slarvigt uttryckt: man
ska betinga på ancillära statistikor (dvs behandla
deras utfall som icke-slumpmässigt)
30
Likelihoodprincipen
• Likelihood: sannolikhet/täthetsfunktion där det
som varierar är parametern, inte x
• Tolkning: Vad tror vi om parametern för ett visst
urval (urvalet behandlas som fixt)
• Inte: ”vad är sh att p = 2 nu när vi observerat X =
x?”
• Weak likelihood principle: om L  x   C  x , y L  y 
konstant
så ska samma slutsats om  dras. Likelihood L i
samma typ av experiment
31
CB: ex 6.3.5-6.37
• Kastar x ggr, tills vi får r ”lyckade”; x är
inte bestämt i förväg
 x  1 r
xr
 p 1  p  , x  r , r  1, ...
P  X  x p   
 r  1
• Kastar x ggr och får r ”lyckade”; r är inte
bestämt i förväg
n r
nr
P  X  r p     p 1  p  , r  0 , 1, ... n
r
32
• Om det blir så att vi i båda fallen kastar 20 kast
och får 7 lyckade? – Är det samma sak?
• I det andra fallet är det inte nödvändigt att det 7:e
lyckade inträffade i det 20:e kastet
• CB: det är ”samma sak” (=> samma slutsats om p)
• Om x=20 och n=20 är likelihooden densamma så
när som
på
 x  1


 r  1
och
n
 
r
, som inte innehåller
parametern (dvs konstanter m.a.p. p)
• Strong likelihood principle; två likelihooder i två
olika typer av experiment
33
Likelihood i urval från ändliga
populationer
• Det som är slumpmässigt i designbaserad
inferens är vilket urval man får
• Likelihood kan inte användas då. Ex: vi drar
20 företag med OSU i en bransch med
1000 företag, och vi ser att 7 gått i konkurs
• Typisk fråga: hur många av de 1000 har gått
i konkurs? p  7 20
 1000 
• Sh att vi drog just de 20 är p  s   1 

 20 
34
• Vad är likelihooden att vi dragit just de 20
företagen, givet att vi dragit just de 20
företagen?
• Frågan ser dum ut, men så blir det med
likelihood i designbaserad inferens
• Även i modellbaserad inferens hänvisas
relativt sällan till likelihood
35
Två kontroversiella principer
• The strong likelihood principle
• Variant på betingningsprincipen: man ska
bara ta hänsyn till det utfall man faktiskt
fick, inte utfall som man skulle kunna få
men inte fick
• Kritik mot design-baserad inferens: strider
mot betingningsprincipen
36