Transcript Waarschijnlijkheidsrekening en Statistiek

UNIVERSITEIT
GENT
Faculteit van de Wetenschappen
Vakgroep Toegepaste Wiskunde en Informatica
Waarschijnlijkheidsrekening
en
Statistiek
Prof. Dr. H. De Meyer
Nota’s bij het opleidingsonderdeel “Waarschijnlijkheidsrekening en statistiek”
tweede bachelor informatica
Academiejaar 2006–2007
Inhoudsopgave
1 Het kansbegrip en elementaire kansrekening
1.1 Toevalsgebeurtenissen . . . . . . . . . .
1.2 Het begrip kans . . . . . . . . . . . . . .
1.3 De uitkomstenruimte . . . . . . . . . . .
1.4 De klassieke definitie van kans . . . . . .
1.5 Eigenschappen van de kansfunctie P . . .
1.6 Voorbeelden van kansberekening . . . . .
1.7 Meetkundige kans . . . . . . . . . . . . .
1.8 Relatieve frequentie en kans . . . . . . .
2
3
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
3
4
5
10
12
12
16
19
Axioma’s van de kanstheorie en het begrip voorwaardelijke kans
2.1 Axiomatische definitie van kans . . . . . . . . . . . . . . . .
2.1.1 De uitkomstenruimte Ω . . . . . . . . . . . . . . . .
2.1.2 De σ-algebra van gebeurtenissen . . . . . . . . . . . .
2.1.3 De kansmaat . . . . . . . . . . . . . . . . . . . . . .
2.2 Probabilistische modellen . . . . . . . . . . . . . . . . . . .
2.3 Voorwaardelijke kans . . . . . . . . . . . . . . . . . . . . . .
2.4 De vermenigvuldigingsregel . . . . . . . . . . . . . . . . . .
2.5 Totale kans . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6 De regel van Bayes . . . . . . . . . . . . . . . . . . . . . . .
2.7 Onafhankelijkheid van twee gebeurtenissen . . . . . . . . . .
2.8 Voorwaardelijke onafhankelijkheid van twee gebeurtenissen .
2.9 Onafhankelijkheid van een stel gebeurtenissen . . . . . . . . .
2.10 Betrouwbaarheid van netwerken . . . . . . . . . . . . . . . .
2.11 De inclusie-exclusie-formule . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
23
23
23
24
25
26
28
31
34
36
37
39
40
42
43
Rijen toevalsexperimenten en Markov-ketens
3.1 Onafhankelijke toevalsexperimenten . . . . . . .
3.2 Binomiale kansen . . . . . . . . . . . . . . . . .
3.3 De lokale limietstelling van DeMoivre-Laplace .
3.4 De integrale limietstelling van DeMoivre-Laplace
3.5 De limietstelling van Poisson . . . . . . . . . . .
3.6 Markov-ketens . . . . . . . . . . . . . . . . . .
3.7 De n-stap transitiematrix . . . . . . . . . . . . .
3.8 Langetermijngedrag van een Markov-keten . . .
3.9 Geboorte-doodprocessen . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
47
47
49
50
52
56
58
61
63
65
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
iv
Inhoudsopgave
3.10 Limietstellingen voor Markov-ketens met k = 2 . . . . . . . . . . . . . . . . . 68
3.11 Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4 Toevalsveranderlijken
4.1 Basisbegrippen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2 Kansmassafunctie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3 Bijzondere discrete toevalsveranderlijken . . . . . . . . . . . . . . . . . . .
4.3.1 Bernoulli-verdeelde veranderlijke . . . . . . . . . . . . . . . . . . .
4.3.2 Binomiaal verdeelde toevalsveranderlijke . . . . . . . . . . . . . . .
4.3.3 Geometrisch verdeelde toevalsveranderlijke . . . . . . . . . . . . . .
4.3.4 Poisson-verdeelde toevalsveranderlijke . . . . . . . . . . . . . . . .
4.4 Functies van een discrete toevalsveranderlijke . . . . . . . . . . . . . . . . .
4.5 Verwachtingswaarde en variantie . . . . . . . . . . . . . . . . . . . . . . . .
4.5.1 Verwachtingswaarde . . . . . . . . . . . . . . . . . . . . . . . . . .
4.5.2 Momenten en variantie . . . . . . . . . . . . . . . . . . . . . . . . .
4.5.3 Eigenschappen van de verwachtingswaarde en variantie . . . . . . .
4.5.4 Verwachtingswaarde en variantie van bijzondere toevalsveranderlijken
4.5.5 Beslissen op grond van verwachtingswaarden . . . . . . . . . . . . .
4.6 Continue toevalsveranderlijken . . . . . . . . . . . . . . . . . . . . . . . . .
4.7 Verwachtingswaarde en variantie van continue toevalsveranderlijken . . . . .
4.8 Bijzondere continue verdelingen . . . . . . . . . . . . . . . . . . . . . . . .
4.8.1 Exponentieel verdeelde toevalsveranderlijken . . . . . . . . . . . . .
4.8.2 Gamma-verdeelde toevalsveranderlijken . . . . . . . . . . . . . . . .
4.8.3 Beta-verdeelde toevalsveranderlijken . . . . . . . . . . . . . . . . .
4.9 Cumulatieve verdelingsfuncties . . . . . . . . . . . . . . . . . . . . . . . . .
4.10 Normale toevalsveranderlijken . . . . . . . . . . . . . . . . . . . . . . . . .
4.11 Centrale momenten, scheefheid en kurtosis . . . . . . . . . . . . . . . . . .
4.12 Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
77
77
78
79
79
80
81
82
83
83
84
85
87
88
90
91
94
96
96
97
98
99
101
104
107
5 Gezamenlijke en voorwaardelijke kansverdelingen
5.1 Gezamenlijke kansmassafunctie . . . . . . . . . . .
5.2 Gezamenlijke continue toevalsveranderlijken . . . .
5.3 Gezamenlijke cumulatieve verdelingsfunctie . . . . .
5.4 Covariantie en correlatie . . . . . . . . . . . . . . .
5.5 Voorwaardelijke verdelingen . . . . . . . . . . . . .
5.5.1 Conditionering door een gebeurtenis . . . . .
5.5.2 Conditionering door een toevalsveranderlijke
5.6 Voorwaardelijke verwachting . . . . . . . . . . . . .
5.7 Onafhankelijke toevalsveranderlijken . . . . . . . . .
5.8 Steekproeven . . . . . . . . . . . . . . . . . . . . .
5.9 Appendix . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
109
109
114
117
120
122
122
125
127
129
132
134
6 Functies van toevalsveranderlijken
6.1 Afgeleide verdelingen . . . . . . . . . . . . . .
6.1.1 Lineaire functies . . . . . . . . . . . .
6.1.2 Monotone functies . . . . . . . . . . .
6.1.3 Functies van twee toevalsveranderlijken
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
137
137
138
140
141
.
.
.
.
.
.
.
.
.
.
.
.
Inhoudsopgave
6.2
6.3
6.4
6.5
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
142
147
150
155
155
156
158
159
163
167
169
Wet van de grote aantallen en centrale limietstelling
7.1 Convergentie in verdeling . . . . . . . . . . . . .
7.2 Convergentie in kans . . . . . . . . . . . . . . .
7.3 De ongelijkheden van Markov en Chebyshev . .
7.4 De zwakke wet van de grote aantallen . . . . . .
7.5 De empirische cumulatieve verdelingsfunctie . .
7.6 Centrale limietstelling . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
171
171
173
175
178
181
183
.
.
.
.
.
.
.
.
.
.
.
.
189
189
190
194
197
199
202
204
207
208
209
212
214
6.6
6.7
6.8
7
8
De momentgenererende functie . . . . . .
Convolutie . . . . . . . . . . . . . . . . .
Randomgeneratoren . . . . . . . . . . . .
Statistieken . . . . . . . . . . . . . . . .
6.5.1 Het steekproefgemiddelde . . . .
6.5.2 De steekproefvariantie . . . . . .
6.5.3 De steekproefmomenten . . . . .
Ordestatistieken . . . . . . . . . . . . . .
Grafische voorstelling van een steekproef
Appendix . . . . . . . . . . . . . . . . .
6.8.1 Bewijs van Eigenschap 6.51 . . .
v
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Schatten, schatters en betrouwbaarheidsintervallen
8.1 Statistische inferentie . . . . . . . . . . . . . . . . . . . . . .
8.2 A priori en a posteriori verdeling van een parameter . . . . .
8.3 Geconjungeerde verdelingen . . . . . . . . . . . . . . . . . .
8.4 Bayes schatters . . . . . . . . . . . . . . . . . . . . . . . . .
8.5 Meest aannemelijke schatter . . . . . . . . . . . . . . . . . .
8.6 De momentenmethode . . . . . . . . . . . . . . . . . . . . .
8.7 De kwaliteit van schatters . . . . . . . . . . . . . . . . . . . .
8.8 Betrouwbaarheidsintervallen . . . . . . . . . . . . . . . . . .
8.9 Betrouwbaarheidsintervallen bij gegeven variantie . . . . . . .
8.9.1 Betrouwbaarheidsinterval voor de verwachtingswaarde
8.9.2 Betrouwbaarheidsinterval voor relatieve frequenties . .
8.10 Betrouwbaarheidsintervallen voor de variantie . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Inhoudsopgave
1
Historisch overzicht
Hoewel kansspelen bijzonder in trek waren in het antieke Griekenland en Rome, bleven ze voor
wetenschappelijke exploratie een onontgonnen domein, vermoedelijk omdat het Griekse talstelsel niet zo geschikt was voor het uitvoeren van algebraı̈sche bewerkingen. Pas toen de door
de Hindoes en Arabieren ontwikkelde moderne rekenkunde in de Westerse wereld was doorgedrongen en de wetenschappelijke onderzoeksmethode tijdens de renaissance een explosieve
bloei beleefde, was de tijd rijp voor de wetenschappelijke benadering van het kansbegrip. Het
was met name de Italiaanse wiskundige Girolamo Cardano (1501–1576) die in de 16de eeuw
voor het eerst een boek publiceerde waarin correcte methodes werden beschreven om winstkansen bij kaart- en dobbelspelen te berekenen.
In het midden van de 17de eeuw hielden Blaise Pascal (1623–1662) en Pierre de Fermat
(1601–1665) een uitgebreide briefwisseling over problemen in verband met kansspelen, waarin
verscheidene fundamentele concepten uit de kansrekening stilaan vaste vorm kregen. Overigens vormden kansspelen geruime tijd de enige concrete grondslag voor de ontwikkeling van de
probabiliteitstheorie, wat zich eveneens manifesteerde in de aard van de formele hulpmiddelen
die werden aangewend om probabilistische problemen op te lossen, nl. elementaire rekenkunde
en combinatorische technieken. Men mag stellen dat die klassieke concepten en methoden ook
heden nog altijd waardevol zijn.
Vanaf de 18de eeuw groeide de belangstelling voor probabilistische methoden vooral vanuit de natuurwetenschappen (voornamelijk in de context van de theorie van waarnemingsfouten, ballistische problemen en statistisch bevolkingsonderzoek). Jacob Bernoulli (1654–
1705) bestudeerde herhalingsexperimenten (zoals het herhaaldelijk opgooien van een muntstuk)
en introduceerde een eerste versie van de zgn. wet van de grote aantallen, die een brug slaat
tussen theoretische concepten en empirische feiten. Verscheidene wiskundigen, zoals Daniel
Bernoulli (1700–1782), Gottfried Wilhelm Leibnitz (1646–1715), Thomas Bayes (1702–1761)
en Joseph-Louis Lagrange (1736–1813) leverden belangrijke bijdragen tot de verdere ontwikkeling van de probabiliteitstheorie. Abraham de Moivre (1667-1754) introduceerde de
normale kansverdeling en bewees een eerste vorm van wat later de centrale limietstelling is
genoemd.
Bij het begin van de 19de eeuw publiceerde Pierre-Simon Laplace (1749–1827) een belangrijk werk over voornamelijk kwantitatieve aspecten van de kansrekening. Hij formuleerde
onder andere ook een gegeneraliseerde versie van de centrale limietstelling. Adrien-Marie
Legendre (1752–1833) en Carl Friedrich Gauss (1777–1855) pasten, gesteund op de methode
van de kleinste kwadraten, kansrekening toe om astronomische voorspellingen te maken en zodoende baanden ze de weg voor een heel nieuw type van toepassing. Siméon-Denis Poisson
(1781–1840) bracht een invloedrijk boek uit met verschillende nieuwe bijdragen, waaronder de
naar hem genoemde kansverdeling. Vanaf het midden van de 19de eeuw was er een belangrijke inbreng vanwege de Russische school, onder andere vertegenwoordigd door de wiskundige
Pafnoeti Lvovitsj Tsjebysjev (1821–1894) – ook geschreven als Chebyshev (Engelse transliteratie), Chebyshov of Tchebycheff – en zijn leerlingen Andrei Andreevich Markov (1856–1922)
en Aleksandr Mikhailovich Lyapunov (1857–1918). Ze diepten op streng wiskundige wijze het
concept van toevalsveranderlijke of stochastische veranderlijke uit. Daarenboven hadden zij
oog voor toepassingen van de probabiliteitstheorie in de statistiek, meer bepaald in het verzekeringswezen en in demografisch onderzoek.
2
Inhoudsopgave
Bij de aanvang van de 20ste eeuw brak, naar analogie met andere wiskundige disciplines,
ook in de probabiliteitstheorie de tendens tot strengere formalisering door, wat evenwel niet
verhinderde dat tegelijk het aantal toepassingsgebieden van deze theorie bleef toenemen. Het
is de wiskundige Serge Natanovich Bernstein (1880–1968) die als eerste in 1917 een axiomatische constructie van de probabiliteitstheorie voorstelde. Hij werd hierin gevolgd door Andrej
Nikolajevitsj Kolmogorov (1903-1987) wiens axiomastelsel tot op heden wellicht het meest
gangbare is. Enkele jaren voordien had de Franse wiskundige Émile Borel (1871–1956) al een
verband opgemerkt tussen de probabiliteitstheorie en maattheoretische aspecten van functies
van een reële veranderlijke. Zijn ideeën werden verder uitgewerkt door onder meer Aleksandr
Yakovlevich Khinchin (1894–1959), Kolmogorov en Paul Lévy (1886–1971). De maattheorie en later ook de functionaalanalyse hebben alleszins tot een essentiële verdieping van de
probabiliteitstheorie geleid.
In de dertiger jaren van de 20ste eeuw werd de theorie van toevalsprocessen of stochastische processen ontwikkeld, een deelgebied van de probabiliteitstheorie waarin heden nog heel
wat onderzoek wordt verricht. Eigenlijk had Henri Poincaré (1854–1912) reeds een aantal suggesties omtrent toevalsprocessen gedaan, maar het waren niettemin Kolmogorov en Khinchin
die er de mathematische grondslag van uittekenden. De theorie van stochastische processen
kent heel veel toepassingen, niet alleen in de natuurwetenschappen maar bijvoorbeeld ook in
de risicotheorie, de financiële wiskunde, de communicatietheorie en de informatica (bv. de
wachtlijnentheorie).
Hoofdstuk 1
Het kansbegrip en elementaire
kansrekening
1.1 Toevalsgebeurtenissen
In wetenschappen formuleert men op grond van waarnemingen en experimenten wetmatigheden waaraan de bestudeerde fenomenen voldoen. Het eenvoudigste type van wetmatigheid is
als volgt te formuleren:
(1) Telkens aan een gegeven stel voorwaarden C is voldaan, doet de gebeurtenis A zich voor.
Voorbeeld 1.1 Als water bij een druk van 1 atmosfeer tot 100◦ C wordt opgewarmd (de voorwaarden C), gaat de vloeistof in damp over (de gebeurtenis A).
2
Definitie 1.2 Wetmatigheden van het type (1) worden deterministisch genoemd omdat de
gebeurtenis onafwendbaar is wanneer de voorwaarden C gerealiseerd worden. Men noemt
de gebeurtenis een zekere gebeurtenis (certain event, sure event). Als een gebeurtenis zich
nooit voordoet telkens een bepaald stel voorwaarden C verwezenlijkt wordt, spreekt men van
een onmogelijke gebeurtenis (impossible event).
Voorbeeld 1.3 De gebeurtenis om met twee onvervalste dobbelstenen 13 te gooien, is een
onmogelijke gebeurtenis.
2
Definitie 1.4 Een gebeurtenis die, telkens een gegeven stel voorwaarden C gerealiseerd
wordt, zich al of niet voordoet, noemt men een toevalsgebeurtenis (random event) of kortweg, gebeurtenis.
Voorbeeld 1.5 Het gooien van een even aantal ogen met twee dobbelstenen is een toevalsgebeurtenis.
2
Er bestaan (fysische) fenomenen waarvoor, als dezelfde voorwaarden C ofwel bij herhaling
(sequentieel) ofwel massaal (parallel) gerealiseerd worden, de relatieve frequentie van een
toevalsgebeurtenis A slechts uitzonderlijk significant afwijkt van een welbepaalde constante
waarde. Die waarde die men de kans, probabiliteit of waarschijnlijkheid van de gebeurtenis
noemt, is een kwantitatief kenmerk van het bestudeerde fenomeen en men kan bijgevolg een
wetmatigheid van het volgende type formuleren:
4
Het kansbegrip en elementaire kansrekening
(2) De kans dat een gebeurtenis A zich voordoet telkens aan een gegeven stel voorwaarden
C wordt voldaan, is gelijk aan p.
Definitie 1.6 Wetmatigheden van het type (2) worden probabilistische of stochastische wetmatigheden genoemd.
Voorbeeld 1.7 Men kan van een onder vaste fysische omgevingsvoorwaarden bewaard radioactief atoom niet voorspellen of het in een gegeven tijdsinterval al of niet zal vervallen.
Op grond van experimentele gegevens kan men echter wel de kans inschatten dat de toevalsgebeurtenis, nl. het verval van het atoom in het gegeven tijdsinterval, zich voordoet.
2
De idee dat de kans van een toevalsgebeurtenis A door een numerieke waarde
p = P(A)
kan weergegeven worden, werd in de 17de eeuw voor het eerst op systematische wijze ontwikkeld in de werken van Fermat, Pascal en J. Bernoulli. Hun onderzoek lag hiermede aan
de basis van de probabiliteitstheorie die van dan af snel tot een volwaardige mathematische
discipline uitgroeide.
De hierboven gegeven definitie van een toevalsgebeurtenis is een negatieve definitie: A is
een toevalsgebeurtenis als ze, noch een zekere, noch een onmogelijke gebeurtenis is. Hieruit
volgt echter geenszins dat het altijd zinvol is te spreken van de kans als ware het een welbepaald, zij het eventueel onbekend getal. De hypothese van het bestaan van een mathematische kans dient in een wisselende context steeds opnieuw verantwoord en getoetst te worden.
Voorbeeld 1.8 Een fysicus die een nieuw radioactief element ontdekt, zal a priori aannemen
dat een ongeperturbeerd atoom van dit element (d.w.z. een atoom dat niet is blootgesteld aan
extreme externe invloeden) met een welbepaalde kans in een vooropgegeven tijdsinterval vervalt. Het aldus gepostuleerde objectief verband tussen enerzijds de kans van verval van het
atoom en anderzijds de gecrëeerde fysische omstandigheden wordt dan vertolkt in een wetmatigheid van het type (2). Een inschatting van de kans p zal worden gemaakt op grond van
experimentele gegevens die tevens moeten bevestigen of het wel zinvol is om aan aan het
bestudeerde verschijnsel een mathematische kans toe te kennen.
2
Voorbeeld 1.9 Voor een onvervalste dobbelsteen gaat men uit van de hypothese dat bijvoorbeeld een 4 gooien, een toevalsgebeurtenis A is waaraan een kans kan gehecht worden. Op
grond van symmetrie kan men bovendien stellen dat de kans p van A gelijk is aan 1/6. Ook
hier gaat men er dus van uit dat er een objectief verband bestaat tussen de dobbelsteen en de
kans van het bestudeerde verschijnsel.
2
1.2 Het begrip kans
Er bestaan zeer uiteenlopende definities van het begrip kans, die elk welbepaalde aspecten van
een specifiek cognitief proces beklemtonen. Dat cognitieve proces is er namelijk op gericht
voor ieder particulier verschijnsel dat bestudeerd wordt een praktische definitie van kans te
vinden, zij het bijvoorbeeld de kans om ten minste eenmaal een 6 te gooien met vier dobbelstenen, de kans dat een radioactief atoom vervalt in een gegeven tijdsinterval of de kans om een
vooropgesteld doel te bereiken.
Deze voorbeelden illustreren meteen de drie voornaamste klassen waarin men de verschillende definities van kans kan opdelen.
1.3 De uitkomstenruimte
5
• Definities die het kansbegrip reduceren tot een meer elementaire notie van gelijke aannemelijkheid (equal likelihood). Tot deze klasse behoort de zogenaamd klassieke definitie van kans (classical probability).
• Definities gebaseerd op de relatieve frequentie waarmee een gebeurtenis zich voordoet
in een groot aantal experimenten uitgevoerd onder dezelfde randvoorwaarden (trials).
Tot deze klasse behoort de zogenaamd frequentistische of statistische definitie van kans
(statistical probability).
• Definities waarbij de kans een kwantitatieve maat is voor de graad van zekerheid van
de waarnemer. In dit geval spreekt men van subjectieve kans (subjective probability).
In de exacte wetenschappen worden bij het opstellen van probabilistische modellen bijna
uitsluitend de klassieke en de statistische definitie van kans aangewend. De subjectieve definitie daarentegen houdt in dat aan bepaalde (meestal eenvoudige) gebeurtenissen een kans wordt
toegekend in overeenstemming met de persoonlijke verwachting of waardering van de waarnemer, mogelijks beı̈nvloed door persoonlijke kennis en ervaring. Zakenlieden of beleidsmensen
kennen bijvoorbeeld een subjectieve kans toe aan het optreden van financiële of economische
marktverschijnselen en -evoluties en stemmen daar hun acties vaak rechtstreeks op af.
Bij een objectieve interpretatie van kans moet men hoe dan ook afstand nemen van het
dagelijkse taalgebruik waarin uitspraken zoals ‘het is zeer waarschijnlijk dat . . .’, ‘er is een
kleine kans dat . . .’, ‘het is goed mogelijk dat . . .’, ... alleen de attitude weergeven van de
spreker in kwestie t.o.v. het waar zijn van een stelling betreffende een uniek feit of een eenmalige gebeurtenis.
Vanuit mathematisch oogpunt is het begrijpelijk dat men deze verschillende definities van
kans met elkaar wou verzoenen en dus op zoek ging naar een eenduidige formele definitie
van kans die los staat van particuliere aspecten van de bestudeerde toevalsgebeurtenissen. Dit
zoeken naar een logisch consistente axiomatische formulering van het het kansbegrip ving
pas aan bij het begin van de 20ste eeuw, nadat voldoende ervaring was opgebouwd met het
toekennen van kansen aan toevalsgebeurtenissen, met de elementaire kansrekening en met het
aanwenden van probabilistische resultaten in praktische problemen.
Vooraleer in het vervolg van dit hoofdstuk nader in te gaan op zowel de klassieke als
de frequentistische definitie van kans, wordt vooreerst het begrip toevalsgebeurtenis verder
uitgediept. Toevalsgebeurtenissen vormen immers de fundamentele objecten waaraan een kans
dient toegekend te worden en het ligt bijgevolg voor de hand de ruimte van deze objecten te
structureren, door onder andere relaties tussen en bewerkingen op gebeurtenissen te definiëren.
In dit hoofdstuk zullen tussendoor ook de eerste stappen gezet worden in het leren berekenen van kansen van toevalsgebeurtenissen, voornamelijk op grond van de klassieke definitie.
Daarmee wordt ook min of meer de historische ontwikkeling van de kansrekening gevolgd.
Meer bepaald wordt duidelijk hoe paradoxen die optraden bij het toepassen van de kansrekening op meetkundige problemen, de beperking van de klassieke definitie illustreerden en
aanleiding waren om begrippen uit de maattheorie te introduceren als een tussentijdse stap
naar de volledige axiomatisering van de probabiliteitstheorie.
1.3 De uitkomstenruimte
Beschouw een stel voorwaarden C en een aantal toevalsgebeurtenissen die met de realisatie van
die voorwaarden geassocieerd worden.
6
Het kansbegrip en elementaire kansrekening
Voorbeeld 1.10 Twee onvervalste dobbelsteen worden simultaan opgegooid (de voorwaarden). Enkele voorbeelden van toevalsgebeurtenissen geassocieerd met dit experiment zijn: ‘een
3 en een 4 gooien’, ‘een totaal van 7 ogen gooien’, ‘een oneven (totaal) aantal ogen gooien’,
enz.
2
De toevalsgebeurtenissen A, B, C, . . ., die kortweg met een hoofdletter worden benoemd,
vormen samen een familie F van gebeurtenissen. Telkens het stel voorwaarden C gerealiseerd
wordt, zullen sommige van die gebeurtenissen zich voordoen, andere niet. Tussen de gebeurtenissen van een familie F kunnen nochtans verbanden bestaan, in de zin dat het zich voordoen
van een gebeurtenis niet los kan gezien worden van het zich al of niet voordoen van andere
gebeurtenissen.
Definitie 1.11 Als bij de realisatie van C, telkens A zich voordoet ook B zich voordoet, zegt
men dat de gebeurtenis A de gebeurtenis B impliceert, en men noteert de implicatie als
A ⊂ B.
Voorbeeld 1.12 de gebeurtenis om met twee dobbelstenen 12 ogen te gooien impliceert de
gebeurtenis om een even aantal ogen te gooien.
2
Definitie 1.13 Als A ⊂ B en B ⊂ A, dan doen bij elke realisatie van C de gebeurtenissen A en B zich ofwel beide ofwel geen van beide voor. Men noemt A en B equivalente
gebeurtenissen en noteert dit als A = B.
Voorbeeld 1.14 De gebeurtenis om 2 te gooien met twee dobbelstenen is equivalent met de
gebeurtenis dat beide dobbelstenen een 1 tonen.
2
In kansrekening mag een gebeurtenis steeds door een equivalente gebeurtenis vervangen
worden. Daarom noemt men equivalente gebeurtenissen ook identieke gebeurtenissen.
Definitie 1.15 Het zich tegelijk voordoen van twee gebeurtenissen A en B is een gebeurtenis
die de doorsnede (intersection) van A en B wordt genoemd, A ∩ B genoteerd. Het zich
voordoen van ten minste één van de gebeurtenissen A en B is een gebeurtenis die de unie
(union) van de gebeurtenissen A en B wordt genoemd, A ∪ B genoteerd.
Voorbeeld 1.16 De doorsnede van de gebeurtenissen om met twee dobbelstenen respectievelijk
een even aantal ogen en een veelvoud van 5 te gooien, is de gebeurtenis om 10 te gooien. De
gebeurtenis om meer dan 1 te gooien met één dobbelsteen is de unie van de gebeurtenissen om
respectievelijk een even aantal ogen en een priem aantal ogen te gooien.
2
Definitie 1.17 Een zekere gebeurtenis (sure event, certain event) is een gebeurtenis die
zich altijd voordoet wanneer het stel voorwaarden C gerealiseerd wordt. Een onmogelijke gebeurtenis (impossible event) is een gebeurtenis die zich nooit voordoet wanneer het stel
voorwaarden C gerealiseerd wordt.
Voorbeeld 1.18 De gebeurtenis om minder dan 13 te gooien met twee dobbelstenen is een
zekere gebeurtenis; de gebeurtenis om minder dan 2 te gooien met twee dobbelstenen is een
onmogelijke gebeurtenis.
2
1.3 De uitkomstenruimte
7
Alle zekere gebeurtenissen geassocieerd met het stel voorwaarden C zijn equivalent, zoals
ook alle onmogelijke gebeurtenissen equivalent zijn. Daarom wordt elke zekere gebeurtenis
voorgesteld door hetzelfde symbool Ω en elke onmogelijke gebeurtenis door hetzelfde symbool ∅.
Definitie 1.19 Twee gebeurtenissen A en Ac zijn complementair als en slechts als
A ∪ Ac = Ω en A ∩ Ac = ∅.
Voorbeeld 1.20 De gebeurtenissen om met drie dobbelstenen respectievelijk een even en een
oneven aantal ogen te gooien, zijn complementair.
2
Definitie 1.21 Twee gebeurtenissen A en B sluiten elkaar uit (are mutually exclusive)
of zijn disjunct (disjoint) als en slechts als A ∩ B = ∅. Een stel gebeurtenissen
{B1 , B2 , . . . , Bn } heet disjunct als de gebeurtenissen twee aan twee disjunct zijn, d.i. ∀i 6= j
geldt dat Bi ∩ Bj = ∅.
In het bijzonder zijn elke twee complementaire gebeurtenissen A en Ac disjunct.
Definitie 1.22 Een gebeurtenis A is ontbindbaar (decomposable) in een disjunct stel
gebeurtenissen {B1 , B2 , . . . , Bn } als A = B1 ∪ B2 ∪ · · · ∪ Bn . Als de zekere gebeurtenis Ω ontbindbaar is in een disjunct stel gebeurtenissen {B1 , B2 , . . . , Bn }, dan noemt men
B1 , B2 , . . . , Bn elementaire gebeurtenissen; samen vormen ze een basis van Ω, i.e.:
∪nk=1 Bk = Ω
en Bi ∩ Bj = ∅ ∀i 6= j .
Voorbeeld 1.23 Noteer de gebeurtenissen om met één dobbelsteen respectievelijk 1, 2, 3, 4,
5, 6 te gooien als E1 , E2 , E3 , E4 , E5 , E6 . De gebeurtenis A om met één dobbelsteen een
even aantal ogen te gooien, is ontbindbaar in het disjunct stel gebeurtenissen {E2 , E4 , E6 }.
Aangezien bij elke realisatie van het stel voorwaarden C (elke gooi) juist één van deze gebeurtenissen E1 , E2 , E3 , E4 , E5 , E6 zich voordoet (de gebeurtenissen zijn disjunct en hun unie is
Ω), zijn dit zes elementaire gebeurtenissen die samen een basis van Ω vormen.
2
Elk probleem in de probabiliteitstheorie heeft te maken met een stel voorwaarden C en één
of meer toevalsgebeurtenissen die behoren tot een familie F. Het is gebruikelijk aangaande
die familie de volgende onderstellingen te maken:
(a) Als de gebeurtenis A tot de familie F behoort, dan behoort ook de complementaire
gebeurtenis Ac daartoe, d.i. ∀A ∈ F : Ac ∈ F.
(b) Als A en B behoren tot de familie F, dan behoren ook hun doorsnede en unie daartoe,
d.i. ∀A, B ∈ F : A ∪ B ∈ F en A ∩ B ∈ F.
Merk op dat (a) en (b) impliceren dat de zekere en de onmogelijke gebeurtenis beide tot de
familie F behoren. Immers, is A ∈ F dan is wegens (a) Ac ∈ F en zijn wegens (b) A ∩ Ac =
Ω ∈ F en A ∪ Ac = ∅ ∈ F.
Eens de familie F is vastgelegd, wenst men over het algemeen een aangepast probabilistisch model op te stellen. In de eerste plaats tracht men daartoe een basis van Ω te construeren
zodanig dat elke toevalsgebeurtenis A ∈ F ontbindbaar is in de elementaire gebeurtenissen
van de basis. Merk op dat de keuze van basis over het algemeen niet uniek is.
8
Het kansbegrip en elementaire kansrekening
Voorbeeld 1.24 Stel dat men de gebeurtenis A wil bestuderen om met één dobbelsteen een
even aantal ogen te gooien. De hiermee geassocieerde familie van gebeurtenissen is F =
{A, Ac , Ω, ∅}. Een geschikte keuze van basis is {E1 , E2 , E3 , E4 , E5 , E6 } aangezien alle gebeurtenissen uit F ontbindbaar zijn in deze zes elementaire gebeurtenissen. Maar een even geschikte
keuze is de basis {A, Ac } die slechts uit twee elementaire gebeurtenissen, A en Ac , bestaat. 2
Met de keuze van basis legt men de disjuncte elementaire gebeurtenissen vast die samen Ω
vormen. Bovendien kan Ω opgevat worden als de verzameling van elementaire gebeurtenissen
en deze laatste zijn dan ook interpreteerbaar als de elementen van Ω. In die hoedanigheid worden ze voortaan ω1 , ω2 , . . . , ωn genoteerd. Met elke realisatie van het stel voorwaarden C doet
zich juist één elementaire gebeurtenis voor, m.a.w. wordt één element ωi uit Ω geselecteerd.
Definitie 1.25 Als verzameling van de elementaire gebeurtenissen ω1 , ω2 , . . . , ωn wordt Ω
de uitkomstenruimte (sample space) van het probabilistisch model genoemd.
De identificatie van Ω met de verzameling van elementaire gebeurtenissen impliceert een
belangrijke eigenschap van de gebeurtenissen uit de familie F. Immers, aangezien zo een
gebeurtenis op unieke wijze ontbindbaar is in elementaire gebeurtenissen, kan ze geı̈dentificeerd worden met juist één deelverzameling van Ω.
Eigenschap 1.26 Voor elke gebeurtenis A ∈ F geldt dat A ⊂ Ω.
Merk op dat het omgekeerde niet noodzakelijk waar is. Wordt in Voorbeeld 1.24 de basis
{ω1 , . . . , ω6 } gekozen met {ωi } = Ei , dan is bijvoorbeeld de deelverzameling {ω1 , ω4 , ω5 }
wel de voorstelling van een gebeurtenis maar niet van een gebeurtenis uit de familie F.
Het feit dat toevalsgebeurtenissen op eenduidige manier met deelverzamelingen van de
uitkomstenruimte verbonden worden, verklaart waarom voor relaties tussen en bewerkingen
op gebeurtenissen notaties uit de verzamelingenleer werden geleend. Immers, de implicatie
A ⊂ B tussen twee gebeurtenissen A en B, betekent dat telkens A zich voordoet, ook B zich
voordoet, m.a.w. dat ieder element van de deelverzameling geassocieerd met A ook behoort
tot de deelverzameling geassocieerd met B, m.a.w. de verzameling geassocieerd met A is een
deelverzameling van de verzameling geassocieerd met B. Op analoge wijze wordt gemakkelijk
aangetoond dat de unie (doorsnede) van twee gebeurtenissen A en B de gebeurtenis is waarvan
de geassocieerde verzameling de unie (doorsnede) is van de verzamelingen geassocieerd met
A en B. En de verzameling geassocieerd met de complementaire gebeurtenis Ac van A is
de complementaire verzameling in Ω van de verzameling geassocieerd met A. In wiskundige
termen betekent dit dat de algebra op een familie van toevalsgebeurtenissen een Boole-algebra
is.
Voorbeeld 1.27 Beschouw het experiment waarbij twee dobbelstenen worden gegooid en stel
door het koppel (i, j) met 1 ≤ i, j ≤ 6, de uitslag voor waarbij de eerste dobbelsteen i ogen en
de tweede j ogen toont. De uitkomstenruimte Ω kan als volgt gekozen worden :


(1, 1), (1, 2), (1, 3), (1, 4), (1, 5), (1, 6) 







(2,
1),
(2,
2),
(2,
3),
(2,
4),
(2,
5),
(2,
6)






(3, 1), (3, 2), (3, 3), (3, 4), (3, 5), (3, 6)
Ω=
.
(4, 1), (4, 2), (4, 3), (4, 4), (4, 5), (4, 6) 








(5, 1), (5, 2), (5, 3), (5, 4), (5, 5), (5, 6) 




(6, 1), (6, 2), (6, 3), (6, 4), (6, 5), (6, 6)
1.3 De uitkomstenruimte
9
De gebeurtenis A: ‘de som van de ogen is 7’, wordt voorgesteld door de deelverzameling
A = {(1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1)}. De gebeurtenis B: ’geen van de dobbelstenen
vertoont een 1’, wordt voorgesteld door de deelverzameling

(2, 2), (2, 3), (2, 4), (2, 5), (2, 6)




 (3, 2), (3, 3), (3, 4), (3, 5), (3, 6)
(4, 2), (4, 3), (4, 4), (4, 5), (4, 6)
B=


(5, 2), (5, 3), (5, 4), (5, 5), (5, 6)



(6, 2), (6, 3), (6, 4), (6, 5), (6, 6)






.





De gebeurtenis A ∩ B: ’de som der ogen is zeven en geen van beide dobbelstenen toont een 1’,
wordt voorgesteld door de deelverzameling A ∩ B = {(2, 5),(3, 4),(4, 3),(5, 2)}. In Figuur 1.1
wordt de uitkomstenruimte Ω getoond alsook de gebeurtenissen A en B en hun doorsnede
A ∩ B.
Ω
A
(1,1)
(1,2)
(1,3)
(1,4)
(1,5)
(1,6)
(2,1)
(2,2)
(2,3)
(2,4)
(2,5)
(2,6)
(3,1)
(3,2)
(3,3)
(3,4)
(3,5)
(3,6)
(4,1)
(4,2)
(4,3)
(4,4)
(4,5)
(4,6)
(5,1)
(5,2)
(5,3)
(5,4)
(5,5)
(5,6)
(6,1)
(6,2)
(6,3)
(6,4)
(6,5)
(6,6)
B
Figuur 1.1: Illustratie van een uitkomstenruimte, de voorstelling van gebeurtenissen en bewerkingen
op gebeurtenissen.
2
10
Het kansbegrip en elementaire kansrekening
Voor gebeurtenissen gelden de volgende eigenschappen die onmiddellijk volgen uit de
eigenschappen van bewerkingen op verzamelingen.
Eigenschap 1.28
• commutativiteit
∀A, B ∈ F : A ∪ B = B ∪ A en A ∩ B = B ∩ A .
• associativiteit
∀A, B, C ∈ F : A ∪ (B ∪ C) = (A ∪ B) ∪ C en A ∩ (B ∩ C) = (A ∩ B) ∩ C .
• distributiviteit
∀A, B, C ∈ F : A∩(B∪C) = (A∩B)∪(A∩C) en A∪(B∩C) = (A∪B)∩(A∪C) .
• idempotentie
∀A ∈ F : A ∪ A = A en A ∩ A = A .
• wetten van De Morgan
∀A, B, C ∈ F : (A ∩ B)c = Ac ∪ B c en (A ∪ B)c = Ac ∩ B c .
Behalve het kiezen van een geschikte uitkomstenruimte Ω voor een gegeven familie F
van gebeurtenissen, moet het probabilistisch model bovendien uitgerust worden met een kansfunctie P die met elke gebeurtenis A ∈ F een niet-negatief getal P(A), de kans van A, laat
overeenstemmen.
Een eenvoudige manier om onder bepaalde voorwaarden de functie P op consistente wijze
vast te leggen, leidt tot de klassieke definitie van kans.
1.4 De klassieke definitie van kans
De klassieke definitie van kans steunt op het concept van gelijke aannemelijkheid (equal
likelihood) van gebeurtenissen dat meestal op grond van een symmetrieargument kan aanvaard
worden. Met een perfecte homogene kubus als dobbelsteen, bijvoorbeeld, hebben bij correct
opgooien de gebeurtenissen om respectievelijk 1,2,3,4,5,6 ogen te gooien een gelijke waarschijnlijkheid of kans van optreden, aangezien omwille van de ruimtelijke symmetrie geen van
de zijvlakken van een kubus een objectief voordeel geniet t.o.v. de andere zijvlakken.
Algemeen, als men er in slaagt voor een probabilistisch probleem een probabilistisch model
te creëren waarbij de uitkomstenruimte Ω eindig is – in alle voorbeelden tot hiertoe was dat
impliciet het geval – en de elementaire gebeurtenissen (de elementen van Ω) even waarschijnlijk zijn, dan zijn alle voorwaarden vervuld om de klassieke definitie van de kansfunctie P aan
te wenden.
1.4 De klassieke definitie van kans
11
Definitie 1.29 klassieke definitie van kans
Als een gebeurtenis A ∈ F ontbindbaar is in m elementaire gebeurtenissen behorend tot een
basis van n even waarschijnlijke elementaire gebeurtenissen, dan is de kans P(A) gegeven
door
m
aantal elementen van A
P(A) =
=
.
n
aantal elementen van Ω
Voorbeeld 1.30 Zij A de gebeurtenis om met één dobbelsteen een even aantal ogen te gooien.
Wordt als basis van Ω het stel van de zes elementaire gebeurtenissen Ei = {ωi }, 1 ≤ i ≤ 6,
gekozen, dan geldt wegens het even waarschijnlijk zijn van de zes uitkomsten (symmetrie):
P(A) =
aantal elementen van {ω2 , ω4 , ω6 }
3
1
= = .
aantal elementen van Ω
6
2
2
Voorbeeld 1.31 Met twee onvervalste dobbelstenen kan men 62 = 36 verschillende mogelijke
koppels van ogen gooien die op grond van symmetrie alle even waarschijnlijk zijn. Bijgevolg
is de kans om met twee dobbelstenen 12 ogen te gooien gelijk aan 1/36. Elf ogen kunnen op
twee manieren bekomen worden, nl. door de combinaties (5, 6) en (6, 5), en de kans van de
gebeurtenis om met twee dobbelstenen 11 te gooien is dus 2/36 = 1/18. Op dezelfde manier
kan men gemakkelijk alle kansen uit Tabel 1.1 narekenen.
aantal ogen
2
3
4
5
6
7
8
9
10
11
12
kans
1
36
1
18
1
12
1
9
5
36
1
6
5
36
1
9
1
12
1
18
1
36
Tabel 1.1: De kans om met twee dobbelstenen k ogen te gooien (k = 2, 3, . . . , 12).
2
Niet zelden is een bron van fouten bij kansberekening het feit dat veronachtzaamd werd
om expliciet na te gaan of de gekozen elementaire gebeurtenissen disjunct zijn, en vooral of zij
wel als even waarschijnlijk mogen beschouwd worden.
Voorbeeld 1.32 Zij A de gebeurtenis om met twee onvervalste dobbelstenen een viervoud te
gooien. Kiest men als basis de 36 even waarschijnlijke koppels van uitkomsten, dan bemerkt
men dat er 3 koppels zijn die 4 ogen opleveren, 5 koppels die 8 ogen opleveren en 1 koppel
dat 12 ogen oplevert, zodat P(A) = (3 + 5 + 1)/36 = 1/4. Kiest men echter als basis
het onafhankelijk stel van de 11 elementaire gebeurtenissen S2 , S3 , . . . , S12 , waarbij Sk de
gebeurtenis is om met twee dobbelstenen k ogen te gooien, dan is A = S4 ∪ S8 ∪ S12 en
leidt een naiëve toepassing van de klassieke definitie van kans tot P(A) = 3/11. Dit laatste
resultaat is fout omdat de 11 elementaire gebeurtenissen van de basis niet even waarschijnlijk
zijn, zoals onmiddellijk blijkt uit Tabel 1.1.
2
12
Het kansbegrip en elementaire kansrekening
1.5 Eigenschappen van de kansfunctie P
Voor het oplossen van een probabilistisch probleem dient men steeds in de eerste plaats een
probabilistisch model (Ω, F, P) te construeren dat bestaat uit een uitkomstenruimte Ω, een
familie F van gebeurtenissen of deelverzamelingen van Ω en een kansfunctie P, ook de kansmaat genoemd. Als Ω eindig is, wordt vaak de keuze F = D(Ω) gemaakt, met D(Ω) de
delenverzameling van Ω, d.i. de verzameling van alle deelverzamelingen van Ω.
Kiest men de functie P : D(Ω) → R volgens het recept van de klassieke definitie van kans
– het zal later blijken dat deze keuze overeenkomt met de zgn. discrete uniforme kansmaat –
dan heeft deze kansfunctie een aantal interessante eigenschappen, die onmiddellijk volgen uit
de telling van het aantal elementen van verzamelingen en uit de eigenschappen van de bewerkingen op die verzamelingen.
Eigenschap 1.33
• positiviteit
Voor om het even welke toevalsgebeurtenis is de kans dat de gebeurtenis zich voordoet
positief of nul, d.i. ∀A ∈ F : P(A) ≥ 0.
• normalisering
De kans van de zekere gebeurtenis is 1, d.i. P(Ω) = 1.
• onmogelijke gebeurtenis
De onmogelijke gebeurtenis heeft kans 0, d.i. P(∅) = 0.
• additiviteit
De kans van de unie van twee gebeurtenissen is de som van de kansen van die
gebeurtenissen verminderd met de kans van hun doorsnede, d.i.
∀A, B ∈ F : P(A ∪ B) = P(A) + P(B) − P(A ∩ B) .
In het bijzonder, als A ∩ B = ∅, dan is P(A ∪ B) = P(A) + P(B).
• complementering
De kansen van een gebeurtenis en haar complement sommeren tot 1, d.i. ∀A ∈ F :
P(Ac ) = 1 − P(A).
1.6 Voorbeelden van kansberekening
In de volgende voorbeelden worden kansen berekend aan de hand van de klassieke definitie.
De oplossingsmethode is telkens dezelfde: een geschikte uitkomstenruimte kiezen, het principe
van gelijke aannemelijkheid nagaan en het aantal elementen tellen van de uitkomstenruimte en
van de verzameling die met de bestudeerde gebeurtenis geassocieerd is. Telproblemen horen
thuis in de combinatorische wiskunde en hiervoor kan verwezen worden naar de cursus ’Discrete Wiskunde’.
1.6 Voorbeelden van kansberekening
13
Voorbeeld 1.34 Uit een spel van 52 kaarten worden willekeurig (at random) drie kaarten
getrokken. Wat is de kans p dat juist één van de drie kaarten een aas is?
Oplossing
Kies als uitkomstenruimte Ω de verzameling van alle mogelijke en even waarschijnlijke
combinaties van 3 speelkaarten.
Aangezien de volgorde van de kaarten in een combinatie niet
relevant is, zijn er in totaal 52
3 mogelijke combinaties. Het zijn de elementaire gebeurtenissen
die alle even waarschijnlijk zijn – aangezien de trekking volkomen willekeurig geschiedt, is
geen enkele combinatie bevoordeeld. De bestudeerde gebeurtenis behelst de combinaties met
juist 1 aas. Hun aantal
kan als volgt berekend worden. Aangezien er 4 azen in het
spel zijn, kan
een aas kan op 41 manieren gekozen worden; voor elk van die keuzes zijn er 48
2 verschillende
combinaties van nog 2 kaarten
die
geen
aas
zijn.
Het
totaal
aantal
combinaties
van 3 kaarten
4 48
met juist 1 aas is dus 1 2 en de gezochte kans is
4 48
4 48·47
1128
24 · 47
1
1 1·2
p = 522 = 52·51·50
=
≈ 0.2041 .
=
13 · 17 · 25
5525
1·2·3
3
2
Voorbeeld 1.35 Drie kaarten worden at random uit een spel van 52 kaarten getrokken. Wat is
de kans dat ten minste één van de drie kaarten een aas is?
Oplossing
Zij A de gebeurtenis waarvan de kans gezocht wordt. A is ontbindbaar in de volgende drie
paarsgewijs disjuncte gebeurtenissen : A1 : ‘één van de drie kaarten is een aas’; A2 : ‘twee
van de drie kaarten zijn azen’; A3 : ‘de drie kaarten zijn azen’. Een analoge redenering als in
Voorbeeld 1.34 leidt tot:
4 48
24 · 47
1
2 =
≈ 0.2041 ,
P(A1 ) =
52
13 · 17 · 25
3
4 48
3 · 24
2
1 =
P(A2 ) =
≈ 0.0130 ,
52
13
·
17
·
25
3 4 48
1
P(A3 ) = 3 520 =
≈ 0.0002 .
13 · 17 · 25
3
Aangezien A = A1 ∪ A2 ∪ A3 en Ai ∩ Aj = ∅, impliceert de herhaalde toepassing van de
additiviteitseigenschap (zie Eigenschap 1.33) dat:
1201
≈ 0.2174 .
13 · 17 · 25
Een kortere oplossingsmethode bestaat er in eerst de complementaire gebeurtenis Ac te
beschouwen,
d.i. de gebeurtenis ‘geen van de 3 getrokken kaarten is een aas’. Aangezien er
48
3 verschillende combinaties zijn van drie kaarten zonder aas, is
48
48 · 47 · 46
c
3
P(A ) = 52 =
≈ 0.7826 ,
52 · 51 · 50
3
p = P(A) = P(A1 ) + P(A2 ) + P(A3 ) =
en wegens de complementeringseigenschap (zie Eigenschap 1.33) is de gezochte kans:
p = P(A) = 1 − P(Ac ) ≈ 0.2174 .
2
14
Het kansbegrip en elementaire kansrekening
Voorbeeld 1.36 Een spel van 52 kaarten wordt at random verdeeld in twee stapels van 26
kaarten. Wat is de kans p dat elke stapel evenveel rode als zwarte kaarten bevat? At random
betekent hier dat alle mogelijke verdelingen in twee stapels even waarschijnlijk zijn.
Oplossing
De gevraagde kans is de kans dat bij willekeurige trekking van 26 kaarten uit een spel van
52 kaarten, 13 rode en 13
zwarte kaarten uitkomen. Het aantal verschillende combinaties van
52
26 kaarten uit 52 is 26 . Voor de oplossing van het vraagstuk moet geteld worden hoeveel
van die combinaties juist 13 zwarte en 13 rode kaarten bevatten. Er zijn 26
13 manieren om 13
zwarte kaarten
uit de beschikbare 26 zwarte kaarten te selecteren. Voor elke selectie zijn er dan
nog 26
manieren
om ze met een combinatie van 13 rode kaarten aan te vullen. De gezochte
13
kans is bijgevolg
26 26
(26!)4
13 13
.
=
p=
52
52!(13!)4
26
Met een zakrekenmachine is het niet zo eenvoudig om deze kans (die afgerond 0.2181 is)
voldoende nauwkeurig in decimale vorm te vinden. Een goede decimale benadering wordt
gevonden met de formule van Stirling
n! ∼
√
2πn nn e−n .
De notatie f (n) ∼ g(n) betekent dat limn→∞ f (n)/g(n) = 1. Toepassing van deze formule
geeft
√
( 52π 2626 e−26 )4
√
,
p≈ √
104π 5252 e−52 ( 26π 1313 e−13 )4
of na vereenvoudiging
p≈ √
2
= 0.2213 .
26π
2
Voorbeeld 1.37 Veronderstel dat een jaar 365 dagen telt. Wat is in een random groep van 40
personen: (1) de kans p1 dat juist 2 personen op dezelfde dag verjaren en de anderen verjaren
op onderling verschillende dagen; (2) de kans p2 dat tenminste 2 personen op dezelfde dag
verjaren? Met random groep wordt bedoeld dat elke persoon een willekeurige verjaardag heeft,
d.w.z. alle dagen van het jaar hebben gelijke kans om de verjaardag te zijn.
Oplossing
Nummer de dagen van het jaar van 1 t.e.m. 365 en stel een groep van 40 personen voor door
een vector [a1 , a2 , . . . , a40 ] met 40 componenten. Component ai stelt het rangnummer van de
verjaardag van persoon i voor. De uitkomstenruimte is de verzameling van alle mogelijke
dergelijke vectoren die bij onderstelling overigens alle even waarschijnlijk zijn. Er zijn 36540
verschillende vectoren. De vectoren waarvoor de gebeurtenis uit opgave (1) zich voordoet, zijn
de vectoren die juist 39 verschillende dagnummers bevatten. Hun aantal kan als volgt gevonden
worden. Er zijn 40
2 verschillende manieren zijn om twee posities in de vector te selecteren
die hetzelfde dagnummer bevatten, en voor elk van die combinaties van 2 posities zijn er 365
mogelijke dagnummers. Met elke keuze van twee posities en iedere toewijzing van dagnummer
1.6 Voorbeelden van kansberekening
15
aan de twee componenten, zijn er 364 · 363 · · · 328 · 327 = 364!/326! verschillende invullingen
van dagnummers over de resterende 38 posities mogelijk. Bijgevolg is
365 40
2 364!
p1 =
≈ 0.260 .
326! 36540
Beschouw voor de berekening van p2 eerst de complementaire gebeurtenis, d.i. ‘alle personen
verjaren op een verschillende dag’. Hiervoor moeten de vectoren met 40 verschillende componenten geteld worden. Hun aantal is 365 · 364 · · · 327 · 326 = 365!/325! en de gezochte kans
is
365!
≈ 0.891 .
p2 = 1 −
325! 36540
2
Voorbeeld 1.38 Van 2n personen, heeft de helft enkel een biljet van 5 euro op zak, de andere
helft enkel een biljet van 10 euro. De personen stellen zich at random in rij op vóór een kassa
waar toegangstickets van 5 euro worden verkocht (alle permutaties van de 2n personen zijn
even waarschijnlijk). Bij aanvang is geen geld in kassa. Wat is de kans dat geen enkele persoon
op wisselgeld moet wachten?
Oplossing
Men kan de (2n)! permutaties van personen in de rij opvatten als de elementaire gebeurtenissen, maar aangezien de gebeurtenis ‘geen enkele persoon moet op wisselgeld wachten’ alleen
afhangt van de volgorde waarin de biljetten
van 5 en 10 euro in de rij voorkomen, ligt het voor
2n
de hand als uitkomstenruimte de n even waarschijnlijke verschillende volgorden van biljetten te kiezen. Construeer een grafische voorstelling van zo’n volgorde van biljetten door in het
Oxy-vlak op de x-as het rangnummer in de rij en op de y-as het aantal biljetten van 5 euro in
kassa, uit te zetten. Zoals in de grafiek van Figuur 1.2 getoond wordt, correspondeert met elke
volgorde van biljetten een gebroken lijn of pad dat vertrekt in het punt (0, 0) en uitkomt in het
punt (2n, 0), stijgt tussen i − 1 en i wanneer het i-de biljet 5 euro is, en daalt tussen i − 1 en
i wanneer het i-de biljet 10 euro is. Omgekeerd correspondeert met elk pad vertrekkend van
(0, 0) en uitkomend in (2n, 0) juist één ordening van de (2n) biljetten. Bijgevolg zijn er ook
2n
n verschillende dergelijke paden.
Niemand uit de rij moet op wisselgeld wachten als de ordening van de biljetten zodanig is dat
het corresponderende pad geen enkel punt bevat met negatieve ordinaat. Om het aantal paden
met die eigenschap te tellen, wordt elk pad dat ten minste één keer de x-as doorkruist als volgt
door een ander fictief pad vervangen: het gedeelte van het pad tot aan het eerste punt met
ordinaat −1 blijft behouden, het resterend gedeelte wordt gepiegeld om de rechte met vergelijking y = −1. De nieuwe fictieve paden eindigen alle in het punt (2n, −2) omdat de ordinaat
(n − 1) keer verhoogt en n + 1 keer verlaagt. Omgekeerd, correspondeert met elk dergelijk
fictief pad juistéén oorspronkelijk pad dat ten minste één keer de x-as doorsnijdt. Aangezien
2n
fictieve paden kunnen geconstrueerd worden tussen (0, 0) en (2n, −2), zijn er
er precies n+1
2n
2n
n − n+1 oorspronkelijke paden die niet door fictieve paden kunnen vervangen worden en
dus de x-as niet doorkruisen. De gevraagde kans is
2n
2n
1
n
n − n+1
=
.
p=
=1−
2n
n+1
n+1
n
2
16
Het kansbegrip en elementaire kansrekening
y6
0
(2n, 0)
x
-
(2n, −2)
Figuur 1.2: Grafische voorstelling van een rij van biljetten.
1.7 Meetkundige kans
Reeds vanaf het ontstaan van de probabiliteitstheorie was duidelijk dat de klassieke definitie van kans, gesteund op een eindige verzameling van even waarschijnlijke gebeurtenissen,
ontoereikend was om problemen te behandelen waarbij het aantal mogelijke uitkomsten van
een experiment oneindig groot is. Er ontstond nood aan een consistente uitbreiding van het
kansbegrip.
Onderstel bijvoorbeeld dat in het vlak een gebied G en daarin een deelgebied K ⊂ G
afbakend zijn. Wordt at random in G een punt gekozen, dan is de voor de hand liggende
probabilistische vraag: ’wat is de kans dat dit punt tot K behoort?’ De term ‘at random’
betekent intuı̈tief dat alle punten van G gelijkwaardig zijn. Maar aangezien ze oneindig in
aantal zijn, kunnen ze niet allemaal eenzelfde van nul verschillende kans hebben. Het begrip
’random punt’ moet nauwkeuriger omschreven worden en dit gebeurt door een maat te definieren ten opzichte waarvan de bestudeerde gebeurtenis een random gebeurtenis mag genoemd
worden. In het voorbeeld preciseert men dat de kans opdat een random punt van G in om het
even welk vast gekozen deelgebied K van G zou vallen, evenredig is met de oppervlakte van
K. De kans dat een random punt in G tot K behoort is dan:
p=
oppervlakte van K
.
oppervlakte van G
De oppervlakte is een voorbeeld van een (tweedimensionale) afmeting of maat (measure). In het algemeen, als met een gebeurtenis A een (oneindige) deelverzameling van een
(oneindige) uitkomstenruimte Ω geassocieerd is, wordt de kans P(A) dat A zich voordoet,
1.7 Meetkundige kans
17
berekend als
maat van A
,
maat van Ω
waarbij de keuze van de maat overeenstemt met de wijze waarop in een experiment een elementaire gebeurtenis gegenereerd wordt. Een vaak voorkomende maat is de uniforme kansmaat,
die in het eendimensionale geval evenredig is met de lengte van een interval, in twee dimensies
met de oppervlakte van een gesloten gebied, in drie dimensies met de inhoud van een gesloten oppervlak, enz. In het speciaal geval van een eindige uitkomstenruimte Ω is de uniforme
kansmaat de functie die het aantal (even waarschijnlijke) elementen telt en daarom de discrete
uniforme kansmaat genoemd wordt. Het is de maat die overeenkomt met de klassieke definitie
van kans.
P(A) =
Voorbeeld 1.39 ontmoetingsprobleem Twee personen spreken af dat ze onafhankelijk van
elkaar op een willekurig tijdstip tussen 8u en 9u naar een bepaalde plaats zullen komen en dat
de eerst aangekomene ten hoogste 20 minuten op de andere zal wachten. Wat is de kans dat ze
elkaar ontmoeten?
Oplossing
Stel door x en y de aankomsttijden van de twee personen voor zodat in een tweedimensionaal cartesisch assenstelsel (x, y) de coördinaten van een punt voorstellen. Bij onderstelling zijn
alle punten gelegen in het vierkant afgebakend door de rechten x = 8, x = 9, y = 8 en y = 9,
gelijkwaardig, en de geassocieerde kansmaat is derhalve de oppervlakte. Opdat de gebeurtenis
‘de personen ontmoeten elkaar’ zich zou voordoen is het nodig en voldoende
y
9
6
8
8
9
x
Figuur 1.3: Meetkundige voorstelling van het ontmoetingsprobleem.
dat |x − y| ≤ 1/3 (in eenheden van een uur). In Figuur 1.3 zijn de punten die aan deze voorwaarde voldoen de punten van het gearceerde gebied, en de gevraagde kans p is de verhouding
van de oppervlakte van dat gearceerde gebied tot de oppervlakte van het vierkant, i.e.
p=
12 − (2/3)2
5
= .
2
1
9
2
De uitbreiding van het klassieke kansbegrip om onder andere ook meetkundige probabilistische problemen op te lossen, werd aanvankelijk sterk bekritiseerd omwille van de arbitraire
18
Het kansbegrip en elementaire kansrekening
wijze waarop een kansmaat gekozen wordt. Sommigen meenden dat bij een oneindig aantal mogelijke uitkomsten geen objectieve en van de berekeningswijze onafhankelijke definitie van kans kon gegeven worden. Dit scepticisme werd onder meer gedeeld door de Franse
wiskundige Joseph Bertrand (1822–1900), die een aantal problemen bedacht waarbij het resultaat afhangt van de oplossingsmethode. Het volgend voorbeeld is daarvan een illustratie.
Voorbeeld 1.40 paradox van Bertrand In een cirkel met middelpunt o en straal R wordt at
random een koorde ab getrokken. Wat is de kans dat de koorde langer is dan de zijde van een
ingeschreven gelijkzijdige driehoek?
Oplossing 1
Op grond van symmetrieoverwegingen heeft een random koorde geen bevoorrechte richting.
Kies daarom koorden met een vaste richting en beschouw voor zo’n koorde het snijpunt s
met de middellijn van de cirkel loodrecht op die richting. Alleen als s dichter dan R/2 van o
verwijderd is, voldoet de koorde aan de gewenste eigenschap. Aangezien alle punten binnen
de cirkel op die middelloodlijn als snijpunt gelijkwaardig zijn, is de geassocieerde kansmaat de
ééndimensionale continue uniforme maat en de kans is de verhouding van de lengte van twee
intervallen, zodat p = 1/2.
Oplossing 2
Op grond van symmetrieoverwegingen zijn alle punten op de cirkelomtrek gelijkwaardig als
beginpunt a van een willekeurige koorde. Kies daarom koorden met een vast beginpunt a op
de cirkelomtrek. De kleinste hoek gevormd door die koorde en de raaklijn aan de cirkel in a is
begrepen tussen 0 en π/2 en alle hoeken in het interval [0, π/2] zijn gelijkwaardig. Alleen als
die hoek groter of gelijk is aan π/3 voldoet de koorde echter aan de gewenste eigenschap. Op
grond van de (ééndimensionale) uniforme kansmaat is dan p = (π/2 − π/3)/(π/2) = 1/3.
Oplossing 3
Op grond van symmetrieoverwegeingen zijn alle punten binnen de cirkel gelijkwaardig als
middelpunt van een willekeurige koorde. Alleen die punten die binnen de cirkel met zelfde
middelpunt o en straal R/2 vallen zijn middelpunt van een koorde die de gewenste eigenschap
heeft. Op grond van de (tweedimensionale) continue uniforme kansmaat is p de verhouding
van de oppervlaktes van twee cirkels waarvan de stralen zich verhouden als 1 op 2. Bijgevolg
is p = 1/4.
2
Dat telkens een ander resultaat wordt bekomen lijkt paradoxaal maar is dat niet als men
bedenkt dat bij elk van de oplossingsmethodes een andere veronderstelling omtrent de random keuze van een koorde werd gemaakt. Eerst een willekeurige richting kiezen en dan een
willekeurig punt op de orthogonale middellijn kiezen als middelpunt van de koorde, bijvoorbeeld, is niet equivalent met een willekeurig punt binnen de cirkel kiezen als middelpunt van
de koorde. De opgave specifieert niet ondubbelzinnig wat onder random koorde moet verstaan
worden en daarvan is gebruik gemaakt om niet één maar drie essentieel verschillende probabilistische problemen op te lossen.
1.8 Relatieve frequentie en kans
19
R/2
α
a
β
b
s
R/2
o
R/2
R/2
Figuur 1.4: Willekeurige koorde ab in een cirkel met middelpunt o en straal R.
1.8 Relatieve frequentie en kans
Er zijn probabilistische problemen waarbij het mogelijk is een eindige basis van elementaire
gebeurtenissen te construeren, maar waarbij niettemin geen elementaire gebeurtenissen van
gelijke waarschijnlijkheid kunnen aangeduid worden.
Voorbeeld 1.41 Zij A de toevalsgebeurtenis van het verval van een radioactief atoom in een
gegeven tijdsinterval. Ofwel doet A (het atoom vervalt), ofwel Ac zich voor (het atoom vervalt
niet). A en Ac vormen samen een basis voor de uitkomstenruimte, maar het is niet mogelijk in
die ruimte een basis van even waarschijnlijke elementaire gebeurtenissen te definiëren.
2
Het komt voor dat in een groot aantal herhalingen van een experiment onder dezelfde voorwaarden C, het relatieve aantal keren dat een gebeurtenis A zich voordoet, een stabiel gedrag
vertoont. Stelt men door Fn (A) het aantal keren voor dat A optreedt in n onafhankelijke onder
dezelfde voorwaarden uitgevoerde proeven, d.i. de absolute frequentie, dan blijkt veelal dat
voor voldoend grote n de verhouding
Rn (A) =
Fn (A)
,
n
de relatieve frequentie van de gebeurtenis A genoemd, een min of meer constante waarde
aanneemt, in de zin dat significante afwijkingen t.o.v. die constante waarde minder frequent
voorkomen naarmate n toeneemt.
Deze stabiliteit van de relatieve frequentie werd voor het eerst vastgesteld bij demografische
fenomenen. In zijn boek Essai philosophique sur les probabilités schrijft Laplace dat statistische gegevens over het aantal geboorten van jongens en meisjes in Londen, St.-Petersburg,
Berlijn en het totale grondgebied van Frankrijk over een periode van 10 jaar, telkens dezelfde
verhouding van ongeveer 22/43 voor het aantal geboortes van jongens en meisjes opleverden. Uitzondering hierop vormde de stad Parijs met een significant kleinere verhouding van
ongeveer 25/49. Laplace zocht een verklaring voor die afwijking en vond ze in het feit dat in
20
Het kansbegrip en elementaire kansrekening
Parijs vondelingen werden ingeschreven als geboorten. Aangezien bij vondelingen meer meisjes dan jongens voorkwamen, vervalste dit de uitkomst. Na correctie bedroeg ook in Parijs de
verhouding ongeveer 22/43.
Inmiddels had men in een aantal gevallen waar de klassieke definitie van kans van toepassing was, proefondervindelijk vastgesteld dat de fluctuatie van de relatieve frequentie zich voordoet in de omgeving van de klassieke kans p van de bestudeerde gebeurtenis. Zo werden onder
andere proeven gedaan met muntstukkken en dobbelstenen. Tabel 1.2 toont de empirische
resultaten die Georges-Louis Leclerc, Comte de Buffon (1707-1788) en Karl Pearson (1857–
1936) respectievelijk bekwamen door vele keren achtereen een zelfde muntstuk op te gooien.
Buffon
Pearson
Pearson
aantal worpen n
4 040
12 000
24 000
aantal kruis Fn (A)
2 048
6 019
12 012
Rn (A) = Fn (A)/n
0.5080
0.5016
0.5005
Tabel 1.2: Relatieve frequentie van het aantal keren kruis bij het n keer opgooien van een onvervalst
muntstuk.
Als de relatieve frequentie van een toevalsgebeurtenis bij menigvuldige herhaling van een
experiment ongeveer constant is, kan men het bestaan van een van de waarnemer onafhankelijke probabilistische wetmatigheid vermoeden. Als in dergelijk geval de klassieke definitie
van toepassing is, blijkt dat de relatieve frequentie bij een toenemend aantal experimenten
nadert tot de klassieke kans. Men kan derhalve onderstellen dat over het algemeen, ook als
de klassieke definitie van kans niet van toepassing is, een zekere constante bestaat waarrond
de relatieve frequentie fluctueert. Aangezien deze constante een objectief numeriek kenmerk
is van de toevalsgebeurtenis, ligt het voor de hand ze eveneens de kans van de gebeurtenis te
noemen.
Definitie 1.42 Statistische definitie van kans
Een gebeurtenis A bezit een kans indien:
(i) het mogelijk is, althans in principe, een onbeperkt aantal onafhankelijke experimenten
onder dezelfde voorwaarden C uit te voeren, waarbij de gebeurtenis A ofwel zich voordoet, ofwel zich niet voordoet;
(ii) bij een voldoend groot aantal experimenten, de relatieve frequentie van de gebeurtenis
A slechts bij uitzondering significant afwijkt van een bepaalde, zij het meestal onbekende constante.
Als benadering van de waarde van deze constante neemt men ofwel de relatieve frequentie
van de gebeurtenis in een vast aantal experimenten n, ofwel een waarde die daar dicht bij
ligt. De gekozen waarde wordt de statistische kans (statistical probability) van de toevalsgebeurtenis genoemd.
1.8 Relatieve frequentie en kans
21
Merk op dat de relatieve frequentie Rn (A) de volgende eigenschappen bezit:
Eigenschap 1.43
• positiviteit
De relatieve frequentie van een gebeurtenis is positief of nul, d.i. ∀n ∈ N0 en ∀A ∈ F
geldt dat Rn (A) ≥ 0.
• normalisering
De relatieve frequentie van de zekere gebeurtenis is 1, d.i. ∀n ∈ N0 geldt dat Rn (Ω) =
1.
• onmogelijke gebeurtenis
De onmogelijke gebeurtenis heeft relatieve frequentie 0, d.i. ∀n ∈ N0 geldt dat
Rn (∅) = 0.
• additiviteit
De relatieve frequentie van de unie van twee gebeurtenissen is de som van hun relatieve
frequenties verminderd met de relatieve frequentie van hun doorsnede , d.i. ∀n ∈ N0
en ∀A, B ∈ F geldt dat
Rn (A ∪ B) = Rn (A) + Rn (B) − Rn (A ∩ B) .
• complementering
De relatieve frequenties van een gebeurtenis en haar complement sommeren tot 1, d.i.
∀n ∈ N0 en ∀A ∈ F geldt Rn (Ac ) = 1 − Rn (A).
Niet toevallig komen deze eigenschappen van de relatieve frequentie perfect overeen met
de eigenschappen van de klassieke kans die in Eigenschap 1.33 opgesomd werden. Met andere
woorden, kiest men als de statistische kans van toevalsgebeurtenissen de relatieve frequentie
van die gebeurtenssen bij een groot maar vast aantal experimenten, d.i. ∀A : P (A) = Rn (A)
met n vast en voldoende groot, dan voldoet de statistische kans aan dezelfde eigenschappen
als de klassieke kans. Kiest men daarentegen als statistische kansen waarden die de gemeten
relatieve frequenties benaderen, dan ligt het voor de hand te eisen dat die keuze zodanig is dat
de statistische kans dezelfde eigenschappen bezit als de klassieke kans.
De statistische definitie beklemtoont de fundamentele rol van experimenten: ze stellen ons
namelijk in staat theoretische stochastische wetmatigheden in de natuur waar te nemen, ze
laten toe de onbekende kans van de bestudeerde gebeurtenissen in te schatten en ze bieden de
mogelijkheid om de correctheid van de gemaakte theoretische vooronderstellingen na te gaan.
Dit laatste verdient enige verduidelijking. Veronderstel dat bepaalde theoretische argumenten
hebben geleid tot het toekennen van de kans p aan een gebeurtenis A. Als dan in verscheidene
reeksen van onafhankelijke experimenten blijkt dat in een relevant aantal daarvan de relatieve
frequentie gevoelig afwijkt van p, moet men de juistheid van de onderstellingen in twijfel
trekken.
Bij het begin van de 20ste eeuw stelde Richard von Mises (1883–1953) voor om de kans van
een toevalsgebeurtenis te definiëren als de limiet van een oneindige rij van relatieve frequenties
22
Het kansbegrip en elementaire kansrekening
geassocieerd met een theoretisch oneindige herhaling van een experiment, nl.:
P(A) = lim Rn (A) ,
n→∞
op voorwaarde dat de limiet bestaat en invariant is voor om het even welke oneindige rij van
experimenten. Die voorwaarden zijn mathematisch moeilijk te vertolken en het is niet gegarandeerd dat de rij altijd een limiet bezit. Het probleem is immers dat de algemene term van de
rij Rn (A) voor een gegeven toevalsgebeurtenis geen vaste grootheid maar zelf een toevalsgrootheid is. De wiskundige fundering van deze theorie geraakte daardoor, in tegenstelling tot
de definitie, uit de belangstelling, te meer omdat in diezelfde periode de axiomatische constructie van de probabiliteitstheorie verwezenlijkt werd.
Hoofdstuk 2
Axioma’s van de kanstheorie en
het begrip voorwaardelijke kans
2.1 Axiomatische definitie van kans
Het feit dat bij verschillende definities van kans dezelfde eigenschappen werden teruggevonden, was een belangrijke stimulans om de kanstheorie te proberen formaliseren. Daarmee
wordt bedoeld dat wordt gezocht naar een zo klein mogelijk stel consistente axioma’s waaruit
alle eigenschappen van kansen kunnen afgeleid worden. Ook moeten in zo’n axiomastelsel de
bestaande kansmodellen (zoals het klassieke en frequentistische model) geı̈ntegreerd kunnen
worden.
De in deze cursus gevolgde axiomatische constructie van de probabiliteitstheorie is in belangrijke mate toe te schrijven aan A. Kolmogorov. Zoals gebruikelijk wordt bij ieder probabilistisch probleem eerst een probabiliteitsruimte (Ω, F, P) gekozen, waarbij Ω de uitkomstenruimte voorstelt, F een familie van toevalsgebeurtenissen is en P een kansmaat is. De axioma’s
hebben betrekking op de kansmaat P, maar de voorwaarden waaraan de uitkomstenruimte en
de familie van gebeurtennissen eventueel moeten voldoen, dienen eveneens vastgelegd te worden.
2.1.1
De uitkomstenruimte Ω
De uitkomstenruimte kan om het even welke verzameling zijn, eindig of oneindig. De aard van
de mogelijke uitkomsten van een experiment speelt in het formeel kader geen rol. De meest
voorkomende uitkomstenruimten kunnen niettemin in een zestal types onderverdeeld worden,
die hieronder aan de hand van voorbeelden worden beschreven.
Voorbeeld 2.1 ( Eindige verzameling ) Een eenvoudig toevalsexperiment zoals het opgooien
van een muntstuk heeft slechts 2 mogelijke uitkomsten. Een wiskundig efficiënte keuze is
Ω = {0, 1}. Meer algemeen kan een toevalsexperiment met n mogelijke uitkomsten gemodelleerd worden m.b.v. een uitkomstenruimte bestaande uit n gehele getallen, in het bijzonder
{0, 1, . . . , n − 1} of {1, 2, . . . , n}.
2
24
Axioma’s van de kanstheorie en het begrip voorwaardelijke kans
Voorbeeld 2.2 ( Aftelbare verzameling ) Als uitkomstenruimte voor een experiment met een
aftelbaar oneindig aantal mogelijke uitkomsten kiest men gewoonlijk de verzameling van de
natuurlijke getallen N of de verzameling van de gehele getallen Z.
2
Voorbeeld 2.3 ( De reële rechte R ) De reële rechte R = ] − ∞, ∞[ is de meest gebruikte
modelruimte voor de beschrijving van niet-discrete fenomenen, zoals bijvoorbeeld meetfouten
in wetenschappelijke experimenten. Ook intervallen in R, zoals het eenheidseenterval [0, 1] en
de positieve halve rechte R+ = [0, ∞[ worden frequent gebruikt.
2
Voorbeeld 2.4 ( Eindig aantal replica ) Beschouwt men het random experiment bestaande
uit de n-voudige herhaling van een zelfde experiment met uitkomstenruimte Ω0 (bijvoorbeeld
{0, 1}, N of R), dan is de uitkomstenruimte van het herhalingsexperiment
Ω = Ωn0 = {ω = (ω1 , . . . , ωn )|ωi ∈ Ω0 } .
2
Voorbeeld 2.5 ( Oneindig aantal replica ) Als een experiment (principieel) een oneindig aantal keren herhaald wordt, dan is de uitkomstenruimte Ω = ΩN
0 de verzameling van alle oneindige
rijen ω = (ω1 , ω2 , . . .) met ωi ∈ Ω0 . Dergelijke ruimten komen onder andere voor bij de
beschrijving van random wandelingen (random walks).
2
Voorbeeld 2.6 ( Functies ) In sommige toevalsexperimenten is de uitkomst een pad dat door
een systeem gevolgd wordt gedurende een tijdsinterval. Uitkomsten zijn dan functies. Als bijvoorbeeld van een stochastisch systeem dat over het (tijds)interval [0, 1] geobserveerd wordt,
het pad continu is , dan kiest men Ω = C[0, 1], d.i. de vectorruimte van de continue reële functies over het eenheidsinterval [0, 1]. Probabiliteitsmodellen voor dergelijke systemen noemt
men algemeen stochastische processen (stochastic processes).
2
2.1.2
De σ-algebra van gebeurtenissen
Benevens de uitkomstenruimte Ω wordt voorts een familie F van deelverzamelingen van Ω
beschouwd. De elementen van deze familie worden (toevals)gebeurtenissen genoemd. De
structuur van de familie dient evenwel aan een aantal voorwaarden te voldoen.
Definitie 2.7 Een σ-algebra over Ω is een familie G van deelverzamelingen van Ω die gesloten is voor de aftelbare unie, de aftelbare doorsnede en het complement, d.i.
(i) Ω ∈ G ,
(ii) ∀A ∈ G : Ac ∈ G,
(iii) voor alle rijen A1 , A2 , . . . met Ai ∈ G, geldt dat
∞
∪∞
i=1 Ai ∈ G en ∩i=1 Ai ∈ G.
De kleinste σ-algebra die een gegeven familie F van gebeurtenissen opspant, wordt de σalgebra voortgebracht door F genoemd en genoteerd als σ(F).
Merk op dat σ(F) bekomen wordt door F minimaal te sluiten onder de drie hierboven
genoemde bewerkingen.
2.1 Axiomatische definitie van kans
25
Voorbeeld 2.8 Een toevalsexperiment bestaat uit het opgooien van één dobbelsteen. De verzameling Ω = {1, 2, 3, 4, 5, 6} heeft zes elementen, respectievelijk geassocieerd met het aantal
ogen dat kan gegooid worden. De σ-algebra voortgebracht door F = {{1}, {2}, {3},{4}, {5},
{6}} is σ(F) = D(Ω), de verzameling van alle deelverzamelingen van Ω. De σ-algebra voortgebracht door G = {{1, 3, 5}} is σ(G) = {∅, {1, 3, 5}, {2, 4, 6}, Ω}.
2
Definitie 2.9 De Borel σ-algebra B(R) over R is de σ-algebra voortgebracht door de familie van alle half-open intervallen ] − ∞, x] met x ∈ R. De elementen van B(R) worden
Borel-verzamelingen genoemd.
In het bijzonder zijn alle gesloten intervallen, alle open intervallen, alle eindige en alle
aftelbare deelverzamelingen van R Borel-verzamelingen. Nochtans is B(R) 6= D(R), d.w.z.
er bestaan deelverzamelingen van R die geen Borel-verzameling zijn. Bovenstaande definitie
wordt gemakkelijk uitgebreid van R tot Rd en nog algemener tot om het even welke deelverzameling van Rd .
Voorbeeld 2.10 Beschouw het ontmoetingsprobleem uit Voorbeeld 1.39. De uitkomstenruimte
is Ω = {(x, y)|8 ≤ x ≤ 9, 8 ≤ y ≤ 9}. F is de Borel σ-algebra over Ω, d.i. de restrictie van
B(R2 ) tot Ω. Het gesloten deelgebied |x − y| ≤ 1/3 is een Borel-deelverzameling van Ω, dus
een gebeurtenis waarvan de kans berekenbaar is.
2
2.1.3
De kansmaat
Alle ingrediënten zijn nu voorhanden om het kansbegrip axiomatisch vast te leggen.
Axioma’s van Kolmogorov 2.11 Zij gegeven een uitkomstenruimte Ω en een σ-algebra F
van gebeurtenissen. Een kansmaat of kortweg kans op (Ω, F) is een functie P : F → R,
zodanig dat:
Axioma 1 P(A) ≥ 0 voor alle A ∈ F,
Axioma 2 P(Ω) = 1,
Axioma 3 Als A1 , A2 , . . . paarsgewijs disjuncte gebeurtenissen in F zijn, dan is
P(
∞
[
k=1
Ak ) =
∞
X
k=1
P(Ak ) .
Het triplet (Ω, F, P) noemt men een kansruimte of probabiliteitsruimte (probability
space).
Axioma 1 komt overeen met de positiviteitseigenschap en Axioma 2 met de normaliseringseigenschap van de klassieke en statistische kans. Axioma 3 wordt het axioma van aftelbare
additiviteit genoemd en is een onmiddellijke uitbreiding van de additiviteitseigenschap van
de klassieke en statistische kans toegepast op disjuncte gebeurtenissen. Het is merkwaardig
dat deze drie axioma’s volstaan om de probabiliteitstheorie te karakteriseren. In het bijzonder
moeten de andere reeds bekende eigenschappen als stellingen uit de axioma’s kunnen bewezen
worden. De volgende stelling is hiervan een voorbeeld.
26
Axioma’s van de kanstheorie en het begrip voorwaardelijke kans
Stelling 2.12
• onmogelijke gebeurtenis
P(∅) = 0 .
Bewijs
P
De keuze A1 = A2 = · · · = ∅ in Axioma 3 geeft P(∅) = ∞
k=1 P(∅) en deze gelijkheid
kan alleen opgaan als P(∅) = 0.
2
Ook de eigenschappen van additiviteit en complementering uit Eigenschap 1.33 zijn gemakkelijk te bewijzen aan de hand van de drie axioma’s. Als toemaat worden nog twee niet eerder
vermelde eigenschappen afgeleid.
Stelling 2.13
• monotoniteit
Als A ⊆ B, dan is P(A) ≤ P(B).
• ongelijkheid van Boole
Voor een willekeurige rij gebeurtenissen A1 , A2 , . . . geldt dat
P(
∞
[
k=1
Ak ) ≤
∞
X
k=1
P(Ak ) .
Bewijs
Als A ⊆ B, dan is B = A ∪ (B ∩ Ac ) met A ∩ (B ∩ Ac ) = ∅. Uit Axioma 3 volgt dat
P(B) = P(A) + P(B ∩ Ac ) zodat wegens Axioma 1 P(B) ≥ P(A).
Gegeven de willekeurige rij gebeurtenissen A1 , A2 , . . ., definieer B1 = A1 en voor alle
k−1
k = 2, 3, . . . de gebeurtenissen Bk = Ak ∩ (∪i=1
Ai )c . De gebeurtenissen Bk zijn paarsgewijs
∞
disjunct, d.i. Bi ∩ Bj = ∅ ∀i 6= j. Bovendien is ∪∞
k=1 Ak = ∪k=1 Bk en geldt voor iedere k
dat Bk ⊂ Ak . Op grond van Axioma 3 en van de monotoniteit van P is
P(
∞
[
k=1
Ak ) = P(
∞
[
Bk ) =
k=1
∞
X
k=1
P(Bk ) ≤
∞
X
k=1
P(Ak ) .
2
2.2 Probabilistische modellen
Het axiomastelsel van Kolmogorov is consistent aangezien er niet-triviale modellen bestaan
die er aan voldoen. Inderdaad, zij Ω = {ω1 , ω2 , . . . , ωn } een willekeurige eindige verzameling
en F = D(Ω) een familie van gebeurtenissen in Ω (d.i. een σ-algebra), dan is aan de drie
axioma’s voldaan mits de volgende keuzes worden gemaakt:
P({ωi }) = pi
(i = 1, 2, . . . , n) ,
en
P({ωi1 , ωi2 , . . . , ωik }) = pi1 + pi2 + · · · pik ,
2.2 Probabilistische modellen
27
waarbij p1 , p2 . . . , pn arbitraire niet-negatieve getallen zijn zodanig dat
p1 + p2 + · · · + pn = 1 .
Als men voorts pi = 1/n stelt voor alle i, dan bekomt men het klassieke kansmodel
aangezien alle elementaire gebeurtenissen even waarschijnlijk zijn. In dit geval is de kansmaat
de discrete uniforme kansmaat, discreet omdat de uitkomstenruimte Ω eindig is en uniform
omdat alle elementaire gebeurtenissen dezelfde kans hebben.
Dat evenwel niet alle pi noodzakelijk dezelfde waarde hebben, illustreert dat het axiomastelsel van Kolmogorov incompleet is. Voor gegeven Ω en F is de kansmaat P immers niet
uniek. Dit impliceert dat voor ieder probabilistisch probleem dus ook een specifieke kansmaat
moet gekozen worden. Die keuze gebeurt in overeenstemming met de beschrijving van het
experiment en in het bijzonder met de nauwkeurige beschrijving van het ‘random zijn’ van de
beschouwde gebeurtenissen.
Voorbeeld 2.14 Voor een onvervalste dobbelsteen die eenmaal wordt gegooid is het gebruikelijk
1
P({ω1 }) = P({ω2 }) = · · · = P({ω6 }) =
6
te kiezen, m.a.w. P is de discrete uniforme kansmaat. Voor een vervalste dobbelsteen zou het
kunnen dat op grond van fysische gegevens van de dobbelsteen of van statistische gegevens (de
relatieve frequenties bekomen aan de hand van een groot aantal experimenten) bijvoorbeeld de
keuze
P({ω1 }) = P({ω2 }) = P({ω3 }) =
gemaakt wordt.
1
,
4
P({ω4 }) = P({ω5 }) = P({ω6 }) =
1
,
12
2
Beschouw nogmaals het voorbeeld van het ontmoetingsprobleem. Elk punt (x, y) is een
Borel-verzameling geassocieerd met de gebeurtenis ‘de eerste persoon komt aan op tijdstip
x en de tweede persoon komt aan op tijdstip y’. Wordt omwille van het symmetrieargument
dat alle aankomsttijdstippen tussen 8 en 9 uur gelijkwaardig zijn en dus alle punten in het
overeenkomstige vierkant gelijkwaardig zijn, aan alle Borel-verzamelingen die bestaan uit één
geı̈soleerd punt dezelfde kans toegekend, dan volgt onmiddellijk uit Axioma’s 2 en 3 dat deze
kans niet anders dan 0 kan zijn. Nochtans is zo’n gebeurtenis geen onmogelijke gebeurtenis.
Bij iedere uitvoering van het experiment doet zich een gebeurtenis voor die evenwel kans 0
heeft.
Definitie 2.15 Een gebeurtenis met kans 0 noemt men een nulgebeurtenis (null event) en
een gebeurtenis met kans 1 noemt men een bijna zekere of quasi zekere gebeurtenis (almost
sure event).
De onmogelijke gebeurtenis is bijgevolg een bijzondere nulgebeurtenis. Als Ω bijvoorbeeld
een oneindige niet-aftelbare uitkomstenruimte is, dan is de onmogelijk gebeurtenis niet de
enige gebeurtenis met kans 0, net zo min als de zekere gebeurtenis de enige gebeurtenis met
kans 1 is.
28
Axioma’s van de kanstheorie en het begrip voorwaardelijke kans
2.3 Voorwaardelijke kans
Een gebeurtenis is geassocieerd met bepaalde voorwaarden C die gerealiseerd worden telkens
het toevalsexperiment wordt uitgevoerd. Aangezien het basisvoorwaarden betreft zonder welke
de gebeurtenis niet definieerbaar is, noemt men de kans van de gebeurtenis niettemin de onvoorwaardelijke kans (unconditional probability). De reden daartoe is dat in sommige omstandigheden de kans van een gebeurtenis bepaald wordt door rekening te houden met aanvullende partiële informatie over de uitslag van het experiment. Het concept van voorwaardelijke
kans ( conditional probability) biedt de gelegenheid om die partiële informatie in het kansbegrip te integreren.
Voorbeeld 2.16 De volgende voorbeelden zijn illustraties van situaties waarbij extra informatie gegeven is.
• Het tweemaal opgooien van een dobbelsteen heeft een som van 9 ogen opgeleverd. Wat
is de kans dat de eerste keer een 6 werd gegooid?
• Wat is de kans dat een persoon die voor een ziektetest negatief test toch de ziekte heeft?
• Op het radarscherm verschijnt een lichtvlek. Wat is de kans dat er zich in het door de
radar afgetatste gebied een vliegtuig bevindt?
2
In meer formele termen, stel dat bij de uitvoering van een toevalsexperiment met geassocieerde uitkomstenruimte Ω en kansfunctie P, geweten is dat de uitkomst ω de gebeurtenis
B ⊂ Ω impliceert, m.a.w. dat B zich bij de uitvoering van het experiment heeft voorgedaan.
Met die kennis wordt de kans dat zich in het experiment een andere gebeurtenis A voordoet, de voorwaardelijke kans (conditional probability) van A, gegeven dat B zich heeft
voorgedaan, ook kortweg de kans van A gegeven B ( probability of A given B) genoemd.
Deze voorwaardelijke kans wordt voorgesteld door P(A|B). Men noemt B ook de conditionerende gebeurtenis (conditioning event).
Definitie 2.17 De voorwaardelijke kans P(A|B) van A gegeven B is de kans dat de
gebeurtenis A zich voordoet als geweten is dat de gebeurtenis B zich heeft voorgedaan.
Voorbeeld 2.18 Wat is de kans dat met twee dobbelstenen 8 ogen ( = gebeurtenis A) is gegooid
als geweten is dat een even aantal ogen (= conditionerende gebeurtenis B) is gegooid? Deze
partiële informatie zou bijvoorbeeld door een toeschouwer kunnen meegedeeld zijn.
Oplossing
Er zijn 36 koppels ogen die de 36 mogelijke uitkomsten weergeven (zie Figuur 1.1). Daaronder zijn er 5 koppels die een som van 8 ogen geven, zodat P(A) = 5/36. Indien B zich
heeft voorgedaan, dan heeft zich één van de 18 mogelijke even waarschijnlijke elementaire
gebeurtenissen voorgedaan waarvoor de som van de ogen even is. Bijgevolg is P(A|B) =
5/18.
2
2.3 Voorwaardelijke kans
29
Voorbeeld 2.19 Uit een spel kaarten worden achtereenvolgens twee kaarten getrokken. Bereken
(a) de onvoorwaardelijke kans pa dat de tweede kaart een aas is, (b) de voorwaardelijke kans
pb dat de tweede kaart een aas is als de eerste kaart een aas is.
Oplossing
Zij A de gebeurtenis dat de tweede kaart een aas is en B de gebeurtenis dat de eerste kaart
een aas is. Beschouw enkel de trekking van de tweede kaart. Op grond van symmetrie hebben
alle kaarten even veel kans om als tweede kaart getrokken te worden en dus is pa = P(A) =
4/52 = 1/13. Bemerk dat op grond van dezelfde argumentatie ook P(B) = 1/13.
Als echter geweten is dat de eerst getrokken kaart een aas is, dan blijven na die trekking in
het spel 51 kaarten over waaronder 3 azen, zodat pb = P(A|B) = 3/51 = 1/17.
2
De berekeningswijze van een voorwaardelijke kans is in de context van de klassieke definitie van kans heel eenvoudig. Inderdaad, zij n het aantal elementaire gebeurtenissen in Ω, nA
het aantal in A, nB het aantal in B en nA∩B het aantal in A ∩ B. Het optreden van B impliceert
dat één van de nB elementaire gebeurtenissen in B zich heeft voorgedaan en daaronder zijn er
nA∩B die het optreden van A impliceren. Dus is
P(A|B) =
nA∩B
P(A ∩ B)
.
=
nB
P(B)
Deze eigenschap van klassieke kansen wordt gebruikt als algemene definitie van voorwaardelijke kans.
Definitie 2.20 Zijn A, B twee gebeurtenissen en is P(B) > 0, dan is de voorwaardelijke
kans van A gegeven B, gedefinieerd door
P(A|B) =
P(A ∩ B)
.
P(B)
Is P(B) = 0, dan is de voorwaardelijke kans onbepaald.
Onder een vast gehouden conditionerende gebeurtenis bezit de voorwaardelijke kans alle
eigenschappen van een kansmaat.
Stelling 2.21 Zij gegeven een probabiliteitsruimte (Ω, F, P) en een gebeurtenis B ∈ F
waarvoor P(B) > 0. De functie P(· |B) : F → R gedefinieerd door
∀A ∈ F : P(A|B) =
P(A ∩ B)
,
P(B)
is een kansmaat.
Bewijs
Er moet aangetoond worden dat P(·|B) aan de drie axioma’s van Kolmogorov voldoet.
Aan Axioma 1 is voldaan aangezien P(A ∩ B) ≥ 0 voor alle A ∈ F en P(B) > 0. Voorts is
P(Ω|B) =
P(Ω ∩ B)
P(B)
=
= 1,
P(B)
P(B)
zodat ook aan Axioma 2 voldaan is. Ten slotte, zij A1 , A2 , . . . een rij van twee aan twee
disjuncte gebeurtenissen uit F, dan is
30
Axioma’s van de kanstheorie en het begrip voorwaardelijke kans
P
∞
[
k=1
Ak |B
!
=
=
=
1
P
P(B)
1
P
P(B)
(
∞
[
k=1
∞
[
Ak ) ∩ B
!
!
(Ak ∩ B)
k=1
∞
1 X
P(Ak ∩ B)
P(B)
k=1
=
∞
X
k=1
P(Ak |B) ,
waarmee ook aan Axioma 3 is voldaan.
2
Merk op dat bijgevolg alle eigenschappen van onvoorwaardelijke kansen onmiddellijk kunnen getransponeerd worden naar analoge eigenschappen van voorwaardelijke kansen. De
eigenschap P(A ∪ B) = P(A) + P(B) − P(A ∩ B) bijvoorbeeld, wordt onmiddellijk omgezet
naar de eigenschap
P(A ∪ B|C) = P(A|C) + P(B|C) − P(A ∩ B|C) ,
die geldt voor alle A, B en C waarvoor P(C) > 0.
Voorbeeld 2.22 Herneem opgave (b) uit Voorbeeld 2.19 en bereken de voorwaardelijke kans
P(A|B) met behulp van de algemene formule. P(A ∩ B) beduidt de kans dat zowel
Aals
52
4
B zich voordoen, d.i. de kans dat beide kaarten een aas zijn en dus P(A ∩ B) = 2 / 2 =
1/(13 · 17). Anderzijds is de onvoorwaardelijke kans P(B) = 1/13, zodat pb = P(A|B) =
P(A ∩ B)/P(B) = 1/17 is, wat het eerder bekomen resultaat bevestigt.
2
Voorbeeld 2.23 Aan twee studiebureaus, Alfa en Beta, wordt de opdracht gegeven om binnen
een maand een ontwerp voor een nieuw product te maken. Uit vroegere ervaring is bekend dat:
(a) de kans dat Alfa in het opzet slaagt 2/3 is;
(b) de kans dat Beta in het opzet slaagt 1/2 is;
(c) de kans dat ten minste één van beide studiebureaus in het opzet slaagt 3/4 is.
Als juist één van beide studiebureaus in het opzet slaagt, wat is de kans dat het Beta is?
Oplossing
Er zijn 4 mogelijke elkaar uitsluitende uitkomsten in dit experiment die corresponderen
met de 4 combinaties van slagen of falen van Alfa en Beta. Noteer SS: ‘Alfa en Beta slagen’,
SF : ‘Alfa slaagt en Beta faalt’, F S: ‘Alfa faalt en Beta slaagt’, F F : ‘Alfa en Beta falen’. De
kansen van deze gebeurtenissen voldoen aan:
P(SS) + P(SF ) =
2
,
3
P(SS) + P(F S) =
1
,
2
P(SS) + P(SF ) + P(F S) =
3
.
4
2.4 De vermenigvuldigingsregel
31
Samen met de normaliseringsvoorwaarde
P(SS) + P(SF ) + P(F S) + P(F F ) = 1 ,
leiden de 4 lineaire vergelijkingen tot de unieke oplossing:
P(SS) =
5
,
12
P(SF ) =
1
,
4
P(F S) =
1
,
12
P(F F ) =
1
.
4
Merk op dat {SS, SF, F S, F F } weliswaar een basis van Ω vormt maar dat de elementaire
gebeurtenissen niet even waarschijnlijk zijn, zodat de klassieke definitie van kans niet van
toepassing is en dus ook de gevraagde voorwaardelijke kans P(F S|SF ∪ F S) niet door een
simpele telling van elementen kan berekend worden. Toepassing van de algemene formule van
voorwaardelijke kans leidt evenwel onmiddellijk tot:
P(F S|SF ∪ F S) =
P(F S ∩ (SF ∪ F S))
P(F S)
1/12
1
=
=
= .
P(SF ∪ F S)
P(SF ) + P(F S)
1/4 + 1/12
4
2
2.4 De vermenigvuldigingsregel
In probabilistische modellen voor toevalsexperimenten die een sequentieel karakter hebben, is
het vaak aangewezen eerst de voorwaardelijke kansen te specifiëren en die vervolgens aan te
wenden bij de berekening van onvoorwaardelijke kansen. De regel
P(A ∩ B) = P(B) P(A|B) ,
die een herformulering is van de algemene definitie van voorwaardelijke kans, wordt hierbij
frequent toegepast.
Voorbeeld 2.24 De aanwezigheid van een vliegtuig in een welbepaald deel van het luchtruim
wordt door een radar met kans 0.99 correct geregistreerd. Indien er geen vliegtuig is, toont de
radar met kans 0.1 valselijk een lichtstip op het scherm. Als met kans 0.05 een vliegtuig in het
gebied aanwezig is, wat is de kans op een vals alarm, d.w.z. de detectie van een niet-aanwezig
vliegtuig, en wat is de kans op een gemiste detectie, d.w.z. de niet-detectie van een aanwezig
vliegtuig?
Oplossing
Een sequentiële ontbinding van het toevalsexperiment is hier aangewezen. Beschouw de
twee gebeurtenissen A: ‘een vliegtuig is aanwezig’ en B: ‘de radar detecteert een vliegtuig’.
Met de sequentie van deze gebeurtenissen en hun complement wordt een boom geconstrueerd
zoals getoond in Figuur 2.1.
De gegeven kansen zijn aangeduid langs de bogen van de boom. Elke mogelijke uitkomst
komt overeen met een blad van de boom en de corresponderende kans is gelijk aan het product
van de kansen geassocieerd met de bogen in het pad van de wortel tot het beschouwde blad.
De kans op een vals alarm is
P(vals alarm) = P(Ac ∩ B) = P(Ac ) P(B|Ac ) = 0.95 · 0.10 = 0.095 ,
32
Axioma’s van de kanstheorie en het begrip voorwaardelijke kans
P(Ac ) = 0.95
P(A) = 0.05
vliegtuig aanwezig
vliegtuig afwezig
P(B c |A) = 0.01
P(B|A) = 0.99
P(B c |Ac ) = 0.90
P(B|Ac ) = 0.10
gemiste detectie
vals alarm
Figuur 2.1: Boom-gebaseerde sequentiële beschrijving van het radardetectieprobleem.
en de kans op een gemiste detectie
P(gemiste detectie) = P(A ∩ B c ) = P(A) P(B c |A) = 0.05 · 0.01 = 0.0005 .
2
Het voorgaande voorbeeld kan worden uitgebreid tot een algemene regel om de verschillende kansen te berekenen van gebeurtenissen geassocieerd met een boom-gebaseerde sequentiële beschrijving van een toevalsexperiment. In het bijzonder worden de volgende rekenstappen uitgevoerd.
• Men construeert een boom zodanig dat de beschouwde gebeurtenis overeenstemt met
een blad van de boom. Het optreden van de gebeurtenis wordt gezien als een sequentie
van stappen, namelijk het achtereenvolgens doorlopen van de bogen van de boom van de
wortel tot het blad.
• Aan de bogen van de boom worden kansen gehecht.
• De kans van optreden van een gebeurtenis (blad) is het product van de kansen geassocieerd met de bogen in het pad van de wortel tot het blad.
In wiskundige termen betekent dit dat men een gebeurtenis A beschouwt die zich enkel
voordoet als elk van een gegeven stel gebeurtenissen {A1 , A2 , . . . , An } zich voordoet, d.i.
A = A1 ∩ A2 ∩ · · · ∩ An . Het optreden van A wordt evenwel ook gezien als het optreden van
A1 gevolgd door het optreden van A2 , dan van A3 , enz., wat een boom-gebaseerde sequentiele voorstelling toelaat. De berekening van de kans van A gebeurt dan volgens de hierboven
uiteengezette vermenigvuldigingsregel (multiplication rule).
Eigenschap 2.25 vermenigvuldigingsregel
In de veronderstelling dat alle optredende conditionerende gebeurtenissen een strikt positieve
kans hebben, is
n−1
P(∩ni=1 Ai ) = P(A1 ) P(A2 |A1 ) P(A3 |A1 ∩ A2 ) · · · P(An | ∩i=1
Ai ) .
2.4 De vermenigvuldigingsregel
33
Bewijs
De vermenigvuldigingsregel is een rechtstreeks gevolg van de identiteit
P(∩ni=1 Ai ) = P(A1 ) ·
P(A1 ∩ A2 ) P(A1 ∩ A2 ∩ A3 )
P(∩ni=1 Ai )
·
···
n−1
P(A1 )
P(A1 ∩ A2 )
P(∩i=1
Ai )
en de definitie van voorwaardelijke kans.
2
Voorbeeld 2.26 Een klas bestaande uit 4 master- en 12 bachelorstudenten wordt at random
verdeeld in 4 groepen van 4 studenten. Wat is de kans dat elke groep één masterstudent bevat.
Oplossing
Nummer de masterstudenten van 1 tot 4 en beschouw de volgende gebeurtenissen:
A1 : ‘student 1 en student 2 behoren tot verschillende groepen’,
A2 : ‘studenten 1, 2 en 3 behoren tot verschillende groepen’,
A3 : ‘studenten 1, 2, 3 en 4 behoren tot verschillende groepen’.
Om P(A3 ) te berekenen, merk op dat A3 = A1 ∩ A2 ∩ A3 ) aangezien A3 ⊂ A2 ⊂ A1 .
Toepassing van de vermenigvuldigingsregel geeft:
P(A3 ) = P(A1 ∩ A2 ∩ A3 ) = P(A1 ) P(A2 |A1 ) P(A3 |A1 ∩ A2 ) .
Om P(A1 ) te vinden, volstaat het in te zien dat de groep van student 1 aangevuld wordt met 3
studenten at random te kiezen uit de overige 15 studenten, maardat A1 enkel optreedt wanneer
15
student 2 niet geselecteerd wordt. Bijgevolg is P(A1 ) = 14
3 / 3 = 12/15. Als geweten
is dat student 1 en student 2 reeds tot verschillende groepen behoren, dan worden zowel de
groep van student 1 als die van student 2 aangevuld met telkens 3 studenten at random te
kiezen uit de overige 14 studenten, maar
A2 treedt
14
enkel op als in geen daarvan student 3
10
11
voorkomt. Dus is P(A2 |A1 ) = 13
/
3
3
3
3 = 8/14. Een analoge redenering toont aan
dat P(A3 |A1 ∩ A2 ) = P(A3 |A2 ) = 4/13. Aldus bekomt men:
P(A3 ) =
12 8 4
64
·
·
=
.
15 14 13
455
2
Voorbeeld 2.27 Monty Hall probleem De naam Monty Hall verwijst naar een oud Amerikaans tv-spelprogramma. Een kandidaat krijgt te horen dat achter één van drie gesloten deuren
met gelijke kans zich een prijs bevindt. De kandidaat stelt zich op bij een deur naar keuze,
waarna de spelleider – die weet welke deur de prijs verbergt – een deur opent waarachter
zich geen prijs prijs bevindt (en verschillend is van de door de kandidaat gekozen deur). De
kandidaat mag nu beslissen te blijven staan ofwel zich voor de andere nog gesloten deur op
te stellen. Hij wint de prijs als die zich achter de finaal gekozen deur bevindt. Wat is voor de
kandidaat de beste strategie, blijven staan of van deur veranderen?
34
Axioma’s van de kanstheorie en het begrip voorwaardelijke kans
Oplossing
Indien de kandidaat blijft staan, bepaalt zijn initiële keuze de winstkans en die is gelijk aan
1/3 omdat de prijs zich met gelijke kans achter één van de 3 deuren bevindt. Indien de kandidaat
van deur verandert en de prijs bevindt zich (met kans 1/3) achter de initieel gekozen deur, wint
hij niet. Verandert de kandidaat van deur en bevindt de prijs zich niet achter de initieel gekozen
deur (met kans 2/3), dan wint hij de prijs aangezien de spelleider de deur zonder prijs opent.
De strategie om van deur te veranderen levert een winstkans van 2/3 en is dus (statistisch) te
prefereren boven de strategie om te blijven staan.
Als bovenstaande redenering je niet overtuigt en je meent dat beide strategieën gelijkwaardig zijn (met winstkans = 1/3), bedenk dan wat je zelf zou doen indien je mag meespelen
in de variant van het spel waarbij er 100 deuren zijn en de spelleider na je eerste keuze 98
deuren opent. Zou je niet van deur veranderen?
2
2.5 Totale kans
De vaststelling dat voor iedere partitie A1 , A2 , . . . , An van de verzameling Ω en een willekeurige deelverzameling B van Ω, de doorsnede van B met elk van de delen van de partitie, een
partitie van B definieert, (zie Figuur 2.2), leidt onmiddellijk tot de zogenaamde totalekansformule.
Eigenschap 2.28 totalekansformule
Zij A1 , A2 , . . . , An disjuncte gebeurtenissen die een partitie vormen van de uitkomstenruimte
Ω met P(Ai ) > 0 voor alle i. Voor een willekeurige gebeurtenis B geldt dat
P(B) = P(A1 ∩ B) + P(A2 ∩ B) + · · · + P(An ∩ B)
= P(A1 ) P(B|A1 ) + P(A2 ) P(B|A2 ) + · · · + P(An )P(B|An ) .
Bewijs
De partitie in Figuur 2.2 veralgemenend tot een partitie met n delen, is het onmiddellijk
duidelijk dat B = (A1 ∩ B) ∪ · · · ∪ (An ∩ B) met (Ai ∩ B) ∩ (Aj ∩ B) = ∅ voor alle i 6= j.
Op grond van Axioma 3 is dan P(B) = P(A1 ∩ B) + · · · + P(An ∩ B). Gelet op de definitie
van voorwaardelijke kans volgt hieruit dat P(B) = P(A1 )P(B|A1 ) + · · · P(An )P(B|An ).2
Voorbeeld 2.29 In een schaaktoernooi is je winstkans 0.3 tegen de helft van de tegenspelers
(noem ze spelers van type 1), 0.4 tegen een kwart van de spelers (noem ze spelers van type 2) en
0.5 tegen het resterend kwart van de spelers (noem ze spelers van type 3). Wat is je winstkans
tegen een at random geselecteerde tegenspeler?
Oplossing
Stel door Ai de gebeurtenis ‘de tegenspeler is van type i’ voor. Dan is P(A1 ) = 0.5, P(A2 )
= 0.25 en P(A3 ) = 0.25. Stel vervolgens door B de gebeurtenis ‘je wint de partij’ voor.
De gegevens van het vraagstuk zijn: P(B|A1 ) = 0.3, P(B|A2 ) = 0.4 en P(B|A3 ) = 0.5.
Toepassing van de totalekansformule geeft:
2.5 Totale kans
35
Ω
A1
B
A3
A2
Figuur 2.2: Visualisatie van de totalekansformule.
P(B) = P(A1 )P(B|A1 ) + P(A2 )P(B|A2 ) + P(A3 )P(B|A3 )
= 0.5 · 0.3 + 0.25 · 0.4 + 0.25 · 0.5 = 0.375 .
2
De totalekansformule kan ook worden gebruikt om de kansen te berekenen in toevalsexperimenten die van sequentiële aard zijn, zoals in volgend voorbeeld wordt geı̈llustreerd.
Voorbeeld 2.30 Veerle volgt de cursus ’Waarschijnlijkheidsrekening en Statistiek’. Op het
einde van elke week is ze mee met of is ze achter op de leerstof. Als ze mee is dan is de kans
dat ze de week daarop nog mee is 0.8. Is ze achter met de leerstof, dan is er 0.4 kans dat ze
de week daarop nog steeds achter is. Wat is de kans dat ze na drie weken nog mee is met de
leerstof?
Oplossing Zij Mi en Ai de gebeurtenissen dat Veerle na i weken respectievelijk mee of achter
is met de leerstof. Gelet op de totalekansformule is de gevraagde kans P(M3 ) te schrijven als:
P(M3 ) = P(M2 )P(M3 |M2 ) + P(A2 )P(M3 |A2 ) = P(M2 ) · 0.8 + P(A2 ) · 0.6 ,
waarbij in de laatste overgang gebruikt gemaakt is van P(M3 |A2 ) = 1 − P(A3 |A2 ) = 1 −
0.4. De kansen P(M2 ) en P(A2 ) kunnen op hun beurt met behulp van de totalekansformule
berekend worden, nl.:
P(M2 ) = P(M1 )P(M2 |M1 ) + P(A1 )P(M2 |A1 ) = P(M1 ) · 0.8 + P(A1 ) · 0.6 ,
en
P(A2 ) = P(M1 )P(A2 |M1 ) + P(A1 )P(A2 |A1 ) = P(M1 ) · 0.2 + P(A1 ) · 0.4 .
Aangezien Veerle sowieso bij de start mee was, is de kans P(M1 ) dat ze na de eerste week de
leerstof verwerkt heeft 0.8 en de kans P(A1 ) dat ze reeds na de eerste week achter ligt 0.2. De
tussenresultaten samenvoegend, bekomt men achtereenvolgens P(M2 ) = 0.8 · 0.8 + 0.2 · 0.6 =
36
Axioma’s van de kanstheorie en het begrip voorwaardelijke kans
0.76, P(A2 ) = 0.8 · 0.2 + 0.2 · 0.4 = 0.24 en P(M3 ) = 0.76 · 0.8 + 0.24 · 0.6 = 0.752.
Merk op dat de kans P(A2 ) ook als het resultaat van de bewerking 1 − P(M2 ) te vinden is.
Merk eveneens op dat in dit particulier geval het vraagstuk even gemakkelijk kan opgelost
worden aan de hand van een boom-gebaseerde sequentiële voorstelling en de geassocieerde
vermenigvuldigingsregel. Een voordeel van de hier besproken oplossingsmethode is dat de
generieke recursiebetrekkingen
P(Mi+1 ) = P(Mi ) · 0.b + P(Ai ) · 0.4 ,
P(Ai+1 ) = P(Mi ) · 0.2 + P(Ai ) · 0.4 ,
samen met de beginvoorwaarden P(M1 ) = 0.8, P(A1 ) = 0.2 heel eenvoudig te programmeren
zijn.
2
2.6 De regel van Bayes
De totalekansformule wordt vaak gebruik in samenhang met de volgende belangrijke eigenschap die een verband legt tussen voorwaardelijke kansen van de vorm P(A|B) en voorwaardelijke kansen van de vorm P(B|A) waarin de gebeurtenis en de conditionerende gebeurtenis verwisseld zijn.
Eigenschap 2.31 regel van Bayes
Zij A1 , A2 , . . . , An disjuncte toevalsverschijnselen die een partitie vormen van de resultatenruimte Ω met P(Ai ) > 0 voor alle i. Voor een willekeurig toevalsverschijnsel B met
P(B) > 0 geldt dat
P(Ai |B) =
P(Ai ) P(B|Ai )
P(Ai ) P(B|Ai )
=
.
P(B)
P(A1 ) P(B|A1 ) + · · · + P(An ) P(B|An )
Bewijs
Merk op dat P(Ai ) P(B|Ai ) en P(Ai |B) P(B) gelijk zijn aangezien beide uitdrukkingen
gelijk zijn aan P(Ai ∩B). Hieruit volgt onmiddellijk de eerste gelijkheid. De tweede gelijkheid
volgt uit de eerste na toepassing van de totalekansformule op de kans P(B).
2
De regel van Bayes wordt meestal aangewend voor inferentie (inference). Men kent
een aantal mogelijke gebeurtenissen die tot een bepaald ‘effect’ aanleiding kunnen geven.
Het effect wordt geobserveerd en men wenst probabilistische conclusies te trekken betreffende de mogelijke oorzaken. Men zegt dat men de oorzaak ‘infereert’. De gebeurtenissen
A1 , A2 , . . . , An worden met de mogelijke oorzaken geassocieerd en de gebeurtenis B stelt het
effect voor. De kans P(B|Ai ) dat het effect waargenomen wordt als de oorzaak Ai aanwezig
is, leidt tot een probabilistisch model van de oorzaak-effect-relatie.
Voorbeeld 2.32 Beschouw opnieuw het schaakvraagstuk uit Voorbeeld 1.29. Hier is Ai de
gebeurtenis om een opponent van type i te hebben en er is gegeven dat P(A1 ) = 0.5, P(A2 ) =
0.25 en P(A3 ) = 0.25. Bovendien, als B de gebeurtenis ‘je wint de partij’ voorstelt, dan is
bekend dat P(B|A1 ) = 0.3, P(B|A2 ) = 0.4 en P(B|A3 ) = 0.5. Veronderstel dat je de partij
wint. Wat is de kans P(A1 |B) dat je tegenspeler van type 1 was? Toepassing van de regel van
Bayes leidt tot:
2.7 Onafhankelijkheid van twee gebeurtenissen
P(A1 |B) =
=
37
P(A1 ) P(B|A1 )
P(A1 ) P(B|A1 ) + P(A2 ) P(B|A2 ) + P(A3 ) P(B|A3 )
0.5 · 0.3
= 0.4 .
0.5 · 0.3 + 0.25 · 0.4 + 0.25 · 0.5
2
Voorbeeld 2.33 Van een test voor een bepaalde zeldzame ziekte wordt aangenomen dat hij in
95% van de gevallen correct is: indien een persoon de ziekte heeft, is het testresultaat met 0.95
kans positief, en als de persoon de ziekte niet heeft, is het testresultaat met 0.95 kans negatief.
Een random persoon uit een bepaalde populatie heeft 0.001 kans om de ziekte te hebben. Wat
is de kans dat een persoon uit de populatie die positief test, de ziekte heeft?
Oplossing
Zij A de gebeurtenis dat de persoon de ziekte heeft en B de gebeurtenis dat het testresultaat
positief is. De gevraagde kans is P(A|B) en toepassing van de regel van Bayes geeft:
P(A|B) =
P(A) P(B|A)
0.001 · 0.95
=
= 0.0187 .
c
c
P(A) P(B|A) + P(A ) P(B|A )
0.001 · 0.95 + 0.999 · 0.05
Merk op dat een persoon die positief test, ondanks de hoge accuraatheid van de test, minder
dan 2% kans heeft om de ziekte te hebben. Dit resultaat gaat in tegen de intuı̈tie en wordt
daarom ook soms de ’vals-positief’-paradox genoemd.
2
2.7 Onafhankelijkheid van twee gebeurtenissen
Het begrip voorwaardelijke kans P(A|B) werd gedefinieerd om aan te geven in welke mate
een gebeurtenis B informatie oplevert ten aanzien van een gebeurtenis A. Een interessant en
belangrijk speciaal geval is dat waarbij B geen informatie oplevert en bijgevolg geen invloed
heeft op de kans waarmee A optreedt, d.i. P(A|B) = P(A).
Definitie 2.34 Een gebeurtenis A is stochastisch onafhankelijk, of kortweg onafhankelijk
van een gebeurtenis B, als
P(A|B) = P(A) ,
of nog, als
P(A ∩ B) = P(A) P(B) .
De eerste gelijkheid heeft alleen betekenis wanneer P(B) > 0, en in dat geval is ze equivalent met de tweede gelijkheid, vermits per definitie P(A ∩ B) = P(B) P(A|B) als P(B) > 0.
De tweede gelijkheid heeft ook betekenis als P(B) = 0 en is daarom een algemener bruikbare
definitie om na te gaan of een gebeurtenis A onafhankelijk is van een gebeurtenis B. Bovendien is de tweede gelijkheid symmetrisch in de twee gebeurtenissen wat meteen de volgende
eigenschap bewijst.
38
Axioma’s van de kanstheorie en het begrip voorwaardelijke kans
Eigenschap 2.35 Als A onafhankelijk is van B, dan is B onafhankelijk van A. Men zegt dat
A en B onafhankelijke gebeurtenissen zijn, of kortweg, onafhankelijk zijn.
De onafhankelijkheid van twee gebeurtenissen strekt zich uit tot hun complement.
Eigenschap 2.36 Als A en B onafhankelijk zijn, dan zijn A en B c alsook Ac en B c onafhankelijk.
Bewijs
A is de unie van de disjuncte gebeurtenissen A ∩ B en A ∩ B c . Wegens Axioma 3 en de
onafhankelijkheid van A en B is
P(A) = P(A ∩ B) + P(A ∩ B c ) = P(A) P(B) + P(A ∩ B c ) .
Hieruit volgt dat
P(A ∩ B c ) = P(A) (1 − P(B)) = P(A) P(B c ) ,
wat aantoont dat A en B c onafhankelijk zijn. Past men de regel nogmaals toe, met B c in de rol
van A en A in de rol van B, dan volgt meteen dat Ac en B c onafhankelijk zijn.
2
Onafhankelijkheid van twee gebeurtenissen is intuı̈tief vaak gemakkelijk te vatten. Wanneer, bijvoorbeeld, twee gebeurtenissen voortgebracht worden door verschillende niet-interagerende fysische processen – denk bijvoorbeeld aan het gooien van twee dobbelstenen die
op geen enkele manier met elkaar verbonden zijn, aan het tweemaal achtereen gooien van
een munt, enz... – dan zijn die gebeurtenissen onafhankelijk. Anderzijds is de onafhankelijkheid van twee gebeurtenissen niet eenvoudig te visualiseren in termen van een eigenschap
van deelverzamelingen in de uitkomstenruimte. Men kan in eerste instantie geneigd zijn te
denken dat twee gebeurtenissen onafhankelijk zijn als ze disjunct zijn, maar het tegendeel is
waar: twee disjuncte gebeurtenissen A en B waarvoor P(A) > 0 en P(B) > 0 zijn nooit
onafhankelijk, aangezien hun doorsnede A ∩ B leeg is en dus kans 0 heeft.
Voorbeeld 2.37 Beschouw het toevalsexperiment bestaande uit het tweemaal achtereen gooien
van een hypothetische dobbelsteen met vier gelijkwaardige zijvlakken (met resp. 1, 2, 3 en 4
ogen) zodanig dat de 16 mogelijke uitkomsten even waarschijnlijk zijn.
(a) Zijn de gebeurtenissen Ai : ‘de eerste beurt toont i ogen’ en Bj : ‘de tweede beurt toont
j ogen’, onafhankelijk? Er geldt P(Ai ∩ Bj ) = 1/16,
P(Ai ) =
aantal elementen van Ai
4
=
,
aantal elementen van Ω
16
P(Bj ) =
aantal elementen van Bj
4
=
.
aantal elementen van Ω
16
Men ziet dat P(A ∩ B) = P(A) P(B), zodat Ai en Bj inderdaad onafhankelijk zijn.
(b) Zijn de gebeurtenissen A: ‘de eerste beurt toont 1 oog’ en B: ‘de som van de ogen is 5’,
onafhankelijk? Het antwoord op die vraag is niet evident. Berekening toont niettemin
aan dat
1
,
P(A ∩ B) = P(er is (1, 4) gegooid =
16
en
aantal elementen van A
4
P(A) =
=
.
aantal elementen van Ω
16
2.8 Voorwaardelijke onafhankelijkheid van twee gebeurtenissen
39
De gebeurtenis B bestaat uit de elementen (1,4), (2,3), (3,2) en (4,1), zodat
P(B) =
aantal elementen van B
4
=
.
aantal elementen van Ω
16
Aangezien P(A ∩ B) = P(A) P(B) zijn A en B onafhankelijk.
(c) Zijn de gebeurtenissen A: ‘het hoogste gegooid is 2’ en B: ‘het laagste gegooid is
2’, onafhankelijk? Intuı̈tief is het antwoord neen, aangezien het minimum van de twee
beurten partiële informatie geeft over het maximum. Is dat minimum bijvoorbeeld 2,
dan kan het maximum niet 1 zijn. Om te verifiëren dat A en B niet onafhankelijk zijn,
bereken
1
,
P(A ∩ B) = P(er is (2, 2) gegooid) =
16
P(A) =
aantal elementen van A
3
=
,
aantal elementen van Ω
16
P(B) =
aantal elementen van B
5
=
,
aantal elementen van Ω
16
en stel vast dat P(A ∩ B) 6= P(A) P(B).
2
2.8 Voorwaardelijke onafhankelijkheid van twee gebeurtenissen
Er is eerder al aangetoond dat voorwaardelijke kansen, geconditioneerd door een particuliere
gebeurtenis, een kansmaat vormen. Bijgevolg kan men ook ten aanzien van een voorwaardelijke kansmaat de onafhankelijkheid van twee gebeurtenissen definiëren.
Definitie 2.38 Zij gegeven een conditionerende gebeurtenis C. De gebeurtenissen A en B
zijn voorwaardelijk onafhankelijk (conditionally independent) als
P(A ∩ B|C) = P(A|C) P(B|C) .
Een alternatieve karakterisering van voorwaardelijke onafhankelijkheid wordt bekomen
aan de hand van de definitie van voorwaardelijke kans en de toepassing van de vermenigvuldigingsregel:
P(A ∩ B|C) =
P(A ∩ B ∩ C)
P(C) P(B|C) P(A|B ∩ C)
=
= P(B|C) P(A|B ∩ C) .
P(C)
P(C)
Gelijkstelling van de rechterleden en het schrappen van de gemeenschappelijke factor P(B|C)
die verschillend van nul verondersteld wordt, levert:
P(A|B ∩ C) = P(A|C) .
Indien bekend is dat C zich heeft voorgedaan, beı̈nvloedt het weten dat B zich heeft voorgedaan
de kans van A niet.
Het is enigszins merkwaardig dat de onafhankelijkheid van twee gebeurtenissen A en
B t.o.v. de onvoorwaardelijke niet hun voorwaardelijke onafhankelijkheid impliceert en vice
versa, zoals door volgende voorbeelden wordt geı̈llustreerd.
40
Axioma’s van de kanstheorie en het begrip voorwaardelijke kans
Voorbeeld 2.39 Beschouw twee onafhankelijke worpen van een muntstuk, waarbij de 4 mogelijke uitkomsten alle even waarschijnlijk zijn. Zij K1 : ‘kruis bij de eerste ‘worp’, K2 : kruis
bij de tweede worp’, en V : ‘de twee worpen tonen een verschillend resultaat’. De gebeurtenissen K1 en K2 zijn (onvoorwaardelijk) onafhankelijk. Maar P(K1 |V ) = 1/2, P(K2 |V ) = 1/2
en P(K1 ∩ K2 |V ) = 0, zodat K1 en K2 niet voorwaardelijk onafhankelijk zijn.
2
Voorbeeld 2.40 Van een blauw en een rood muntstuk wordt er één at random gekozen en
tweemaal achtereen opgegooid. De muntstukken zijn vervalst: de kans op kruis is bij het
blauwe munstuk 0.99 en bij het rode 0.01. Zij B de gebeurtenis ‘het blauwe munstuk is geselecteerd’ en K1 , K2 de gebeurtenissen om respectievelijk in de eerste en tweede beurt kruis te
gooien. Gegeven de keuze van muntstuk zijn K1 en K2 onafhankelijk, d.i.
P(K1 ∩ K2 |B) = P(K1 |B) P(K2 |B) = 0.99 · 0.99 .
Anderzijds zijn de gebeurtenissen K1 en K2 niet onvoorwaardelijk onafhankelijk. Als bekend
is dat de eerste gooi resulteerde in kruis, neemt het vermoeden toe dat het blauwe muntstuk
geselecteerd werd, in welk geval de tweede gooi ook kruis oplevert. De mathematische bevestiging start met de toepassing van de totalekansformule bij de berekening van
P(K1 ) = P(B) P(K1 |B) + P(B c ) P(K1 |B c ) = 0.5 · 0.99 + 0.5 · 0.01 = 0.5 .
Analoog is P(K2 ) = 0.5, op grond van symmetrie een evident resultaat. Voorts is
P(K1 ∩K2 ) = P(B) P(K1 ∩K2 |B)+P(B c ) P(K1 ∩K2 |B c ) = 0.5·0.992 +0.5·0.012 6= 0.5 .
Hoewel voorwaardelijk onafhankelijk, zijn de gebeurtenissen K1 en K2 dus afhankelijk.
2
2.9 Onafhankelijkheid van een stel gebeurtenissen
De definitie van onafhankelijkheid van twee toevalsverschijnselen wordt als volgt veralgemeend voor het geval van meer dan twee toevalsverschijnselen.
Definitie 2.41 De gebeurtenissen A1 , A2 , . . . , An zijn (onderling) onafhankelijk als
!
Y
\
P
P(Ai )
∀S ⊂ {1, 2, . . . , n} .
Ai =
i∈S
i∈S
Drie gebeurtenissen A, B, C, bijvoorbeeld, zijn onafhankelijk als aan ‘de volgende vier
voorwaarden voldaan is:
P(A1 ∩ A2 ) = P(A1 ) P(A2 ) ,
P(A1 ∩ A3 ) = P(A1 ) P(A3 ) ,
P(A2 ∩ A3 ) = P(A2 ) P(A3 ) ,
P(A1 ∩ A2 ∩ A3 ) = P(A1 ) P(A2 ) P(A3 ) .
2.9 Onafhankelijkheid van een stel gebeurtenissen
41
De eerste drie voorwaarden drukken uit dat de gebeurtenissen twee aan twee onafhankelijk zijn, een eigenschap die paarsgewijze onafhankelijkheid (pairwise independence) wordt
genoemd. De vierde voorwaarde is eveneens belangrijk en volgt niet uit de andere drie.
Omgekeerd, impliceert de vierde voorwaarde geen van de overige drie. Dat paarsgewijze
onafhankelijkheid niet de onderlinge onafhankelijkheid impliceert, wordt geı̈llustreerd door
volgend voorbeeld.
Voorbeeld 2.42 Beschouw twee onafhankelijke worpen van een onvervalst muntstuk en de
volgende gebeurtenissen: K1 : ‘kruis bij de eerste worp’, K2 : ‘kruis bij de tweede worp’, en V :
‘de twee worpen tonen een verschillend resultaat’. Per definitie zijn K1 en K2 onafhankelijk.
Om na te gaan dat K1 en V onafhankelijk zijn, noteer dat
P(V |K1 ) =
P(K1 ∩ V )
1/4
1
=
= = P(V ) .
P(K1 )
1/2
2
Ook K2 en V zijn onafhankelijk. Anderzijds is
1 1 1
· · = P(K1 ) P(K2 ) P(V ) ,
2 2 2
zodat de drie gebeurtenissen niet (onderling) onafhankelijk zijn.
P(K1 ∩ K2 ∩ V ) = 0 6=
2
Het volgend voorbeeld verduidelijkt dat het niet volstaat dat aan de gelijkheid P(A1 ∩ A2 ∩
A3 ) = P(A1 ) P(A2 ) P(A3 ) voldaan is, opdat de drie gebeurtenissen A1 , A2 , A3 onderling
onafhankelijk zouden zijn.
Voorbeeld 2.43 Beschouw twee onafhankelijke worpen van een onvervalste dobbelsteen en
de volgende gebeurtenissen: A: ‘in de eerste beurt wordt 1,2 of 3 gegooid’, B: ‘in de eerste
beurt wordt 3, 4 of 5 gegooid’, en C: ‘in twee beurten wordt een som van 9 ogen gegooid’. Er
geldt
1 1
1
6= · = P(A)P(B) ,
6
2 2
1
1 4
P(A ∩ C) =
6= ·
= P(A)P(C) ,
36
2 36
1
1 4
P(B ∩ C) =
6= ·
= P(B)P(C) .
12
2 36
P(A ∩ B) =
De drie gebeurtenissen zijn niet paarsgewijs onafhankelijk en dus ook niet onderling onafhankelijk. Nochtans geldt wel dat
P(A ∩ B ∩ C) =
1
1 1 4
= · ·
= P(A) P(B) P(C) .
36
2 2 36
2
Onafhankelijkheid van een stel gebeurtenissen betekent dat het zich al of niet voordoen van
om het even welke gebeurtenissen uit het stel geen informatie over de overige gebeurtenissen
verschaft. Zijn de gebeurtenissen A1 , A2 , A3 , A4 onderling onafhankelijk, dan is bijvoorbeeld
voldaan aan gelijkheden van het type
P(A1 ∪ A2 |A3 ∩ A4 ) = P(A1 ∪ A2 ) .
42
Axioma’s van de kanstheorie en het begrip voorwaardelijke kans
2.10 Betrouwbaarheid van netwerken
In probabilistische modellen van complexe systemen met verschillende componenten, wordt
vaak verondersteld dat het gedrag van een component of de betrouwbaarheid van een wisselwerking tussen componenten niet beı̈nvloed wordt door het gedrag van de andere componenten
of de andere wisselwerkingen in het complex systeeem. Die veronderstelling van onafhankelijkheid vereenvoudigt meestal significant de berekeningen alsook de analyse van het systeem.
Voorbeeld 2.44 connectiviteit van een netwerk Een computernetwerk verbindt twee knopen
A en B via intermediaire knopen C, D, E, F , zoals getoond in Figuur 2.3. Voor elk paar rechtstreeks verbonden knopen i en j is de kans pij gegeven dat de schakel van i naar j werkzaam is.
Er wordt verondersteld dat onderbrekingen in schakels onafhankelijk van elkaar voorkomen.
Wat is de kans dat er een pad van A naar B bestaat waarvan alle schakels werkzaam zijn.?
:
0.8
>
E
C
0.9
0.95
s
0.9
F
0.85
A
w
z B
1
0.75
j
0.95
D
Figuur 2.3: Graaf van een computernetwerk. De getallen bij de gerichte bogen geven de kans weer dat
de overeenkomstige schakel werkzaam is.
Dit is een voorbeeld van een betrouwbaarheidsonderzoek van een netwerk waarvan de individuele schakels onafhankelijk van elkaar gebreken kunnen vertonen. Een dergelijk systeem
kan meestal onderverdeeld worden in subsystemen, waarbij elk subsysteem bestaat uit een
aantal componenten die ofwel alle in serie ofwel alle in parallel geschakeld zijn.
Algemeen, zijn de schakels 1, 2, . . . , m in serie verbonden en stelt pi de kans voor dat
schakel i werkzaam is, dan is de kans dat de serieschakeling werkzaam is gegeven door:
P(serieschakeling is werkzaam) = p1 p2 · · · pm .
Dit volgt onmiddellijk uit het feit dat een serieschakeling werkzaam is als en slechts als alle
schakels werkzaam zijn. Anderzijds, is een parallel systeem werkzaam zodra één van de
schakels werkzaam is, m.a.w. een parallelschakeling faalt als alle schakels falen, zodat:
P(parallelschakeling is werkzaam) = 1 − (1 − p1 )(1 − p2 ) · · · (1 − pm ) .
Toegepast op het netwerk van Figuur 2.3, worden achtereenvolgens de betrouwbaarheidskansen van verschillende subsystemen aangewend om de betrouwbaarheidskans van het totale
systeem op te bouwen. De hierna gebruikte notatie X → Y stelt de gebeurtenis voor dat er een
werkzame, eventueel onrechtstreekse verbinding is van X naar Y . Men bekomt:
2.11 De inclusie-exclusie-formule
43
P(C → B) = 1 − [1 − P((C → E) ∩ (E → B))][1 − P((C → F ) ∩ (F → B))]
= 1 − [1 − P(C → E) P(E → B)][1 − P(C → F ) P(F → B)]
= 1 − (1 − 0.8 · 0.9)(1 − 0.95 · 0.85) = 0.946 .
P((A → C) ∩ (C → B)) = P(A → C) P(C → B) = 0.9 · 0.946 = 0.851 ,
P((A → D) ∩ (D → B)) = P(A → D) P(D → B) = 0.75 · 0.95 = 0.712 ,
en ten slotte
P(A → B) = 1 − [1 − P((A → C) ∩ (C → B))(1 − P((A → D) ∩ D → B))]
= 1 − (1 − 0.851)(1 − 0.712) = 0.957 .
2
2.11 De inclusie-exclusie-formule
De formule P(A ∪ B) = P(A) + P(B) − P(A ∩ B) is eenvoudig veralgemeenbaar tot het
geval van drie of meer gebeurtenissen.
Eigenschap 2.45
(a) Voor drie gebeurtenissen A, B en C geldt:
P(A∪B ∪C) = P(A)+P(B)+P(C)−P(A∩B)−P(A∩C)−P(B ∩C)+P(A∩B ∩C) .
(b) inclusie-exclusie-formule Zij A1 , A2 , . . . , An een stel gebeurtenissen en noteer S1 =
{i|1 ≤ i ≤ n}, S2 = {(i1 , i2 )|1 ≤ i1 < i2 ≤ n}, en algemeen Sm = {(i1 , i2 , . . . , im )|1 ≤
i1 < i2 < · · · < im ≤ n}. Er geldt dat
P(∪nk=1 Ak ) =
X
i∈S1
+
P(Ai ) −
X
(i1 ,i2 ,i3 )∈S3
X
(i1 ,i2 )∈S2
P(Ai1 ∩ Ai2 )
P(Ai1 ∩ Ai2 ∩ Ai3 ) − · · · + (−1)n P(∩n+1
k=1 Ak ) .
44
Axioma’s van de kanstheorie en het begrip voorwaardelijke kans
Bewijs
(a). Maak gebruik van de formules P(X ∪ Y ) = P(X) + P(Y ) − P(X ∩ Y ) en (A ∪ B) ∩ C =
(A ∩ C) ∪ (B ∩ C) om achtereenvolgens te bekomen dat
P(A ∪ B ∪ C) = P(A ∪ B) + P(C) − P((A ∪ B) ∩ C)
= P(A ∪ B) + P(C) − P((A ∩ C) ∪ (B ∩ C))
= P(A ∪ B) + P(C) − P(A ∩ C) − P(B ∩ C) + P(A ∩ B ∩ C)
= P(A) + P(B) − P(A ∩ B) + P(C) − P(A ∩ C) − P(B ∩ C)
+P(A ∩ B ∩ C)
= P(A) + P(B) + P(C) − P(A ∩ B) − P(B ∩ C) − P(A ∩ C)
+P(A ∩ B ∩ C) .
(b) Gebruik inductie waarbij het bewijs van de algemene inductiestap verloopt zoals onder (a).
2
De benaming inclusie-exclusie refereert aan het afwisselend bijtellen en aftrekken van
kansen van doorsnedeverzamelingen in de formule. De inclusie-exclusie-formule is bijvoorbeeld geschikt om het zogenaamde incidentievraagstuk (matching problem) op te lossen.
Voorbeeld 2.46 incidentievraagstuk N kaarten genummerd van 1 t.e.m. N worden at random verdeeld over N plaatsen, eveneens genummerd van 1 t.e.m. N , zodanig dat op elke plaats
juist één kaart terechtkomt. Men zegt dat zich een incidentie op plaats i voordoet als kaart i
op plaats i terechtkomt. (a) Wat is de kans pa dat er zich ten minste 1 incidentie voordoet? (b)
Wat is de kans pb dat er zich juist k incidenties voordoen met 1 ≤ k ≤ N ?
Oplossing
Definieer Ai : ‘op plaats i doet zich een incidentie voor’. De resultatenruimte Ω bestaat
uit de N ! even waarschijnlijke ordeningen van de N kaarten. Aangezien de gebeurtenis Ai1 ∩
Ai2 . . . Aim zich voordoet als en slechts als er tenminste incidenties zijn op de plaatsen i1 , i2 ,
. . . im , is
P(Ai ) =
(N − 1)!
,
N!
P(Ai1 ∩ Ai2 ) =
(N − 2)!
,
N!
..
.
P(Ai1 ∩ Ai2 · · · ∩ AiN −1 ) =
P(A1 ∩ A2 ∩ · · · ∩ AN ) =
1!
,
N!
0!
1
=
.
N!
N!
De kans pa op ten minste één incidentie is P(A1 ∪ A2 ∪ · · · ∪ AN ), zodat m.b.v. de inclusieexclusie-formule bekomen wordt dat:
2.11 De inclusie-exclusie-formule
45
N (N − 1)!
N (N − 2)!
N (N − 3)!
pa = P(A1 ∪ · · · ∪ AN ) =
−
+
− ···
1
2
3
N!
N!
N!
= 1−
1
1
1
+ + · · · + (−1)N +1
.
2! 3!
N!
Merk op dat pa nadert tot 1 − 1/e als N onbeperkt toeneemt.
Noteer voor verder gebruik qN de kans om in een random verdeling van N kaarten over N
plaatsen geen enkele incidentie te hebben. Er geldt:
qN =
1
1
1
− + · · · + (−1)N
2! 3!
N!
(N ≥ 2) ,
q1 = 0 ,
q0 = 1 .
Van de N ! mogelijke verdelingen van N kaarten over N plaatsen zijn er N ! qN verdelingen
zonder incidentie. Het aantal verdelingen met juist k incidenties is het aantal combinaties van
k plaatsen uit N plaatsen, de plaatsen waar zich een incidentie voordoet, vermenigvuldigd
met het aantal incidentievrije verdelingen van de overige N − k kaarten over N − k plaatsen.
Bijgevolg is
N
· (N − k)!qN −k
qN −k
pk = k
=
.
N!
k!
Merk op dat, zoals verwacht, de kans op juist N − 1 incidenties nul is.
2
Hoofdstuk 3
Rijen toevalsexperimenten en
Markov-ketens
3.1 Onafhankelijke toevalsexperimenten
Een toevalsexperiment (trial) is de verwezenlijking van een stel voorwaarden C ten gevolge
waarvan zich een elementaire gebeurtenis Ai voordoet, die behoort tot een uitkomstenruimte
Ω = A1 ∪ A2 ∪ · · · Ak met Ai ∩ Aj voor alle i 6= j. Indien zo een experiment onder steeds
dezelfde voorwaarden C een eindig aantal n keren herhaald wordt, kan de rij van n experimenten opgevat worden als één enkel experiment. De verzameling van alle mogelijke rijen van
n uitkomsten, d.i. de verzameling
Ωn = {(A(1) , A(2) , . . . , A(n) ) | A(i) ∈ {A1 , A2 , . . . , Ak }} ,
is een geschikte uitkomstenruimte voor de rij van n toevalsexperimenten. De component A(i)
stelt de uitslag van het i-de experiment voor.
Voorbeeld 3.1 In een toevalsexperiment beschouwt men de som van de ogen bij een gooi
van twee dobbelstenen. Stelt Aj de uitkomst ‘j ogen’ voor, dan is de uitkomstenruimte de
verzameling van 11 verschillende elkaar uitsluitende gebeurtenissen, nl. Ω = A2 ∪ A3 ∪ · · · ∪
A12 . Aangezien dit experiment 3 keer herhaald wordt, is n = 3 en de uitkomstenruimte van het
herhaald experiment is de verzameling van de 113 rijen (A(1) , A(2) , A(3) ) met A(i) de uitkomst
bij de i-de gooi.
Voorbeeld 3.2 Uit een urne die N rode en M zwarte ballen bevat, wordt at random een bal
getrokken en een bal van de andere kleur teruggeplaatst. De elementaire gebeurtenissen zijn
R: ‘er wordt een rode bal getrokken’ en Z: ‘er wordt een zwarte bal getrokken’. De trekking
wordt n keer herhaald. De uitkomstenruimte van het herhaald experiment bestaat uit de 2n
geordende rijen van lengte n met componenten R of Z.
2
Het is duidelijk dat in het herhaald experiment met 2 dobbelstenen uit Voorbeeld 3.1 de
kans om j ogen te gooien in elke beurt dezelfde is, ongeacht wat in de beurten daarvoor werd
gegooid. De herhaalde experimenten zijn intuı̈tief onafhankelijk van elkaar. In het geval van de
trekkingen uit Voorbeeld 3.2 daarentegen, is de kans om een rode bal te trekken niet constant
48
Rijen toevalsexperimenten en Markov-ketens
over de verschillende trekbeurten heen en wordt ze daarenboven beı̈nvloed door de uitkomsten
van de vorige trekkingen. De experimenten in de rij zijn niet onafhankelijk.
Definitie 3.3 Een toevalsexperiment geassocieerd met een uitkomstenruimte Ω die ontbindbaar is in k elkaar uitsluitende gebeurtenissen A1 , A2 , . . . Ak , wordt n keer herhaald. Zij
(i)
Aj de elementaire gebeurtenis dat in de i-de uitvoering van het experiment de gebeurtenis
(i)
(i)
Aj zich voordoet. Stel pj = P(Aj ). De experimenten in de rij zijn onafhankelijk als en
slechts als voor alle i1 , i2 , . . . , in waarvoor 1 ≤ i1 , i2 , . . . , in ≤ k, geldt dat
(1)
(2)
(n)
(1) (2)
(n)
P(Ai1 ∩ Ai2 ∩ · · · ∩ Ain ) = pi1 pi2 . . . pin .
Merk op dat de onafhankelijkheid betrekking heeft op de opeenvolgende experimenten, niet
op de mogelijke uitkomsten van elk experiment. De elementaire gebeurtenissen A1 , A2 , . . . , Ak
zijn immers nooit onafhankelijk van elkaar aangezien het zich voordoen van één gebeurtenis
het zich voordoen van alle andere uitsluit. Onafhankelijkheid betekent dat de kans dat in het
i-de experiment de gebeurtenis Aj zich voordoet, geenszins wordt beı̈nvloed door het zich al
of niet voordoen van om het even welke gebeurtenis in de overige experimenten.
Eigenschap 3.4 Voor een rij van n onafhankelijke experimenten geldt dat
(i)
(i )
(i )
(i )
(i)
P(Aj |Aj11 ∩ Aj22 ∩ · · · ∩ Ajmm ) = P(Aj ) ,
voor alle m waarvoor 1 ≤ m ≤ n, alle onderling verschillende i, i1 , . . . , im waarvoor
1 ≤ i, i1 , . . . , im ≤ n en alle j1 , . . . , jm waarvoor 1 ≤ j1 , . . . , jm ≤ k.
Hoewel in principe de kans dat een specifieke gebeurtenis Aj zich voordoet, van experiment
tot experiment kan verschillen, wordt in het vervolg enkel nog de situatie beschouwd waarbij
(i)
P(Aj ) = pj
∀i = 1, 2, . . . , n .
Aangezien de elementaire gebeurtenissen A1 , A2 , . . ., Ak een basis van Ω vormen, is
k
X
pj = 1 .
j=1
Rijen van onafhankelijke toevalsexperimenten werden voor het eerst bestudeerd door J. Bernoulli voor het geval k = 2.
Definitie 3.5 Een rij onafhankelijke Bernoulli experimenten (Bernoulli trials) is een rij van
onafhankelijke toevalsexperimenten waarbij in elk experiment een gebeurtenis A, succes genoemd, zich met kans p voordoet en de complementaire gebeurtenis Ac , faling genoemd, zich
met kans q = 1 − p voordoet.
Er zijn ontelbare voorbeelden van rijen Bernoulli-experimenten, namelijk telkens het beschouwde toevalsexperiment betrekking heeft op het zich al of niet voordoen van één specifieke gebeurtenis en de achtereenvolgende uitkomsten van het herhaalde experiment of de
uitkomsten van simultane gelijkwaardige experimenten onderling onafhankelijk zijn. Het standaardvoorbeeld van een rij Bernoulli-experimenten is het herhaald opgooien van een (eventueel
vervalst) muntstuk.
3.2 Binomiale kansen
49
3.2 Binomiale kansen
Beschouw als model een experiment bestaande uit n onafhankelijke worpen van een muntstuk
met p de kans om kruis (de gebeurtenis A ofwel succes) en q = 1 − p de kans om munt (de
gebeurtenis Ac ofwel faling) te werpen. Een interessant vraagstuk aangaande dit experiment is
de bepaling van de kans dat in de rij van n Bernoulli-experimenten m keer kruis en n − m keer
munt optreedt, d.i de kans op m successen en n−m falingen, of nog, de kans dat de gebeurtenis
A zich m keer wel en n − m keer niet voordoet. Stel door Sn de toevalsgrootheid voor die
het aantal successen telt in de rij van n Bernoulli-experimenten. Sn is een toevalsgrootheid,
aangezien bij elke herhaling van de n Bernoulli-experimenten Sn een toevallige waarde tussen
0 en n aanneemt.
Eigenschap 3.6 Zij p de kans dat in een toevalsexperiment de gebeurtenis A zich voordoet
en stel q = 1 − p. De kans pn (m) dat A zich m keer voordoet, of nog, de kans dat het aantal
successen Sn in n onafhankelijke uitvoeringen van het experiment gelijk is aan m, is
n m n−m
p q
.
pn (m) = P(Sn = m) =
m
Bewijs
Gebruik als model het n keer gooien van een muntstuk. Kies willekeurig m experimenten
onder de n experimenten. Uit de vermenigvuldigingsregel toegepast op een sequentie onafhankelijke gebeurtenissen, volgt dat de kans dat A zich voordoet in die m experimenten
en zich
niet voordoet in de overige n − m experimenten gelijk is aan pm q n−m . Aangezien
n
er m
manieren
zijn om uit n experimenten at random m experimenten te selecteren, is
n m n−m
pn (m) = m
p q
.
2
Merk op dat de uitdrukking Sn = m een alternatieve wijze is om de gebeurtenis te beschrijven dat A zich m keer voordoet in n experimenten .
n
Definitie 3.7 De getallen m
worden binomiaalcoëfficiënten en de kansen pn (m) binomiaalkansen genoemd. Alle binomiaalkansen behorend bij een zelfde rij van n-Bernoulliexperimenten sommeren tot 1, d.i.:
n
X
m=0
n X
n m n−m
pn (m) =
p q
= (p + q)n = 1n = 1 .
m
m=0
De binomiaalkans pn (m) is de coëfficiënt van xm in de binomiale ontwikkeling van (px+q)n .
De verzameling binomiaalkansen {pn (m)|m = 0, 1, . . . , n} wordt een binomiale verdeling
(binomial distribution) genoemd.
Voorbeeld 3.8 graad van dienstverlening Een internetserviceprovider beschikt over c modems om een populatie van n klanten te bedienen. Er wordt geschat dat op elk ogenblik iedere
klant onafhankelijk van de andere klanten met kans p een connectie met de provider wil tot
stand brengen. Wat is de kans dat meer dan c klanten simultaan een verbinding met de provider
willen?
50
Rijen toevalsexperimenten en Markov-ketens
Oplossing
De kans dat meer dan c klanten simultaan een verbinding willen, is
n
X
pn (m) ,
m=c+1
met pn (m), m = 0, 1, . . . , n, de binomiaalkansen behorend bij een rij van n onafhankelijke
Bernoulli-experimenten. Voor n = 100, p = 0.1 en c = 15, bijvoorbeeld, is de gevraagde kans
0.0399. Dit voorbeeld staat model voor problemen waarbij het de bedoeling is een servicecapaciteit zodanig aan te passen dat een voorafbepaalde graad van dienstverlening (grade of
service) kan bereikt worden, d.i. de kans dat aan geen enkele klant de dienstverlening wordt
ontzegd.
2
Voorbeeld 3.9 In een bepaald productieproces is p = 0.005 de kans dat een geproduceerd
stuk defect is. Wat is voor 10 000 at random geselecteerde stukken (a) de kans pa dat juist 40
stukken defect zijn, (b) de kans pb dat ten hoogste 70 stukken defect zijn?
Oplossing
Het random selecteren van geproduceerde stukken is op te vatten als een rij van n = 10 000
onafhankelijke Bernoulli-experimenten met als succesgebeurtenis ‘een stuk is defect’ en p =
0.005, zodat:
10 000
pa = p10 000 (40) =
(0.995)9960 (0.005)40 .
40
De kans dat ten hoogste 70 stukken defect zijn, is de som van de kansen om respectievelijk
0, 1, . . . , 70 defecte stukken te hebben, zodat:
pb =
70
X
m=0
70 X
10 000
(0.995)10 000−m (0.005)m .
p10 000 (m) =
m
m=0
2
Met opzet is in Voorbeeld 3.8 de decimale vorm van de kansen pa en pb onvermeld gelaten.
Om zonder specifieke computersoftware deze waarden met voldoende nauwkeurigheid te berekenen, zijn immers bijzondere inspanningen vereist.
3.3 De lokale limietstelling van DeMoivre-Laplace
Om de binomiale kansen pn (m) behorend bij een rij van n Bernoulli-experimenten voor grote
waarden van n en m te benaderen, kan onder bepaalde voorwaarden van een asymptotische
formule gebruik worden gemaakt. Deze formule werd het eerst afgeleid door De Moivre in
1730 voor het speciale geval van een rij Bernoulli-experimenten met p = q = 1/2. Ze werd
later door Laplace veralgemeend voor het geval van willekeurige p met 0 < p < 1. Deze
formule wordt de lokale limietstelling (local limit theorem) van DeMoivre-Laplace genoemd.
3.3 De lokale limietstelling van DeMoivre-Laplace
51
Stelling 3.10 lokale limietstelling van DeMoivre-Laplace
Zij 0 < p < 1 de kans dat de gebeurtenis A zich in een toevalsexperiment voordoet en
pn (m) de binomiale kans dat A zich juist m keer voordoet in een rij van n onafhankelijke
herhalingen van het experiment. Definieer
m − np
z= √
.
npq
Als z begrensd blijft wanneer n onbeperkt toeneemt, d.i. als limn→∞ z < ∞, dan is
p
2
lim
2πnpq ez /2 pn (m) = 1 ,
n→∞
hetgeen ook genoteerd wordt als
pn (m) ∼ √
1
2
e−z /2 .
2πnpq
Voor twee functies f (x) en g(x) van een zelfde reële of discrete veranderlijke x gebruikt
men de notatie f (x) ∼ g(x) om uit te drukken dat limx→+∞ f (x)/g(x) = 1. Men zegt dat
de functies asymptotisch tot elkaar naderen. In de praktijk maakt men van die eigenschap
gebruik om voor grote waarden van x de ene functie door de andere te benaderen, wetend dat
die asymptotische benadering (relatief) nauwkeuriger wordt naarmate x toeneemt.
Voorbeeld 3.11 Herneem de opgave uit Voorbeeld 3.8 en pas de lokale limietstelling van
DeMoivre-Laplace toe om de kans pa te benaderen. Met n = 10 000, m = 40, p = 0.005
en q = 0.995, bekomt men:
pa ≈ √
√
1
1
2
2
e−(−10/ 49.75) /2 = √
e−1.42 /2 = 0.0206 .
2π · 49.75
2π · 49.75
In dit geval is de exacte waarde 0.0197 (bijvoorbeeld te vinden met MAPLE of MATHEMATICA)
wat aantoont dat de bekomen benadering tot op drie beduidende decimale cijfers correct is. 2
Het is niet altijd zo dat benaderingen gevonden door toepassing van de lokale limietstelling van DeMoivre-Laplace een zo hoge graad van nauwkeurigheid vertonen als in bovenstaand
voorbeeld. Er bestaan formules die toelaten in functie van n, m en p een schatting te maken van
de graad van nauwkeurigheid, maar die worden hier buiten beschouwing gelaten. Algemeen
kan men stellen dat de nauwkeurigheid toeneemt naarmate de in Stelling 3.10 gedefinieerde
grootheid z in absolute waarde kleiner wordt. Aangezien z een breuk is, verkleint haar absolute waarde als de teller (in absolute waarde) verkleint en/of de noemer (in absolute waarde)
vergroot. Bij vaste n impliceert dit dat de beste benaderingen bekomen worden als m niet al te
zeer afwijkt van np en als p en q niet te dicht bij 0 liggen, m.a.w. als p niet te dicht bij 0 of bij
1 ligt. Wanneer p of q dicht bij 0 liggen, kan men beter beroep doen op de limietstelling van
Poisson (zie Sectie 3.5) om goede benaderingen van de binomiale kansen te vinden.
Een interessante toepassing van de lokale limietstelling van DeMoivre-Laplace vindt men
bij de modellering van fysische diffusieverschijnselen aan de hand van random wandelingen.
52
Rijen toevalsexperimenten en Markov-ketens
Voorbeeld 3.12 random wandeling (random walk) Beschouw een wandelaar die zich op een
rechte verplaatst, vanuit het punt x = 0 vertrekt en na een vaste afstand afgelegd te hebben (die
als eenheid van lengte gekozen wordt) met gelijke kans 1/2 zijn weg in de positieve of negatieve
x-richting vervolgt. Als de wandelaar een afstand van n lengteeenheden heeft afgelegd, wat is
de kans pm dat hij zich bevindt in het punt op de x-as met coördinaat m, waarbij −n ≤ m ≤ n?
Oplossing
Dit is een voorbeeld van een rij Bernoulli-experimenten met als elementaire gebeurtenis
A: ‘de weg wordt in de positieve x-richting voortgezet’ en met p = q = 1/2. Stel dat de
wandelaar na n verplaatsingen in het punt m is gekomen door a eenheden in positieve en b
eenheden in negatieve zin gewandeld te hebben. Dan zijn n = a + b en m = a − b, zodat
a=
m+n
2
en
b=
n−m
.
2
De kans dat de wandelaar zich in een punt met coördinaat m bevindt, is de kans dat op n
verplaatsingen (n experimenten) er juist (m + n)/2 verplaatsingen in de positieve x-richting
gebeuren (juist (m + n)/2 keer A zich voordoet). De gevraagde kans pm is dus de binomiale
kans pn ((m + n)/2) geassocieerd met een rij van n Bernoulli-experimenten, of
 n
1
n


als − n ≤ m ≤ n ,
m+n
(m + n)/2
2
pm = pn
=

2
 0
als |m| > n .
Voor grote waarden van n volgt uit de lokale limietstelling van DeMoivre-Laplace dat
r
2 −m2 /2n
e
.
pm ∼
πn
Zet men voor vaste n en variërende m deze kans in een grafiek uit, dan liggen de grafiekpunten
op een klokvormige kromme symmetrisch gelegen rond x = 0, wat betekent dat de wandelaar grotere kans heeft om dicht bij het vertrekpunt uit te komen. Als men bovendien n laat
toenemen, dan strekt de kromme zich steeds verder in beide richtingen uit maar vlakt ze tegelijkertijd steeds verder af, wat betekent dat de kans om in de buurt van het vertrekpunt uit te
komen, verkleint wanneer n → ∞.
2
3.4 De integrale limietstelling van DeMoivre-Laplace
De lokale limietstelling van DeMoivre-Laplace is uitermate geschikt om de binomiale kansen
pn (m) te benaderen en dus onder andere de kans pa uit Voorbeeld 3.8 voldoende nauwkeurig in
te schatten. Anderzijds is ze van weinig praktisch nut om in datzelfde voorbeeld de kans pb te
benaderen. Elke term pn (m) voor m van 0 tot 70 kan weliswaar vrij nauwkeurig met de lokale
limietstelling benaderd worden, maar het is niet uitgesloten dat de benaderingen ofwel systematisch te groot ofwel systematisch te klein zijn, zodat de individuele fouten zich opstapelen
en aanleiding geven tot een volkomen onbetrouwbaar resultaat.
De idee om een benaderingsformule te vinden voor de som van een mogelijks heel groot
aantal binomiale kansen lag aan de grondslag van de integrale limietstelling van DeMoivreLaplace.
3.4 De integrale limietstelling van DeMoivre-Laplace
53
Stelling 3.13 integrale limietstelling van DeMoivre-Laplace
Zij Sn het aantal keer dat in een rij van n onafhankelijke Bernoulli-experimenten een
gebeurtenis A zich voordoet. Als de kans dat A zich voordoet in elk experiment gelijk is
aan p met 0 < p < 1, dan geldt voor alle a < b ∈ R ∪ {−∞, +∞} dat
Z b
z2
Sn − np
1
lim P a ≤ √
e− 2 dz .
≤b = √
n→∞
npq
2π a
Merk op dat het rechterlid in bovenstaande gelijkheid onafhankelijk is van n. Onder de
voorwaarden van de stelling kan de gelijkheid ook geschreven worden als
Z b
z2
1
Sn − np
≤b ∼ √
P a≤ √
e− 2 dz ,
npq
2π a
waaruit volgt dat het zinvol is, op voorwaarde dat n voldoende groot is, de kans uit het linkerlid
te benaderen door de waarde van de n-onafhankelijke uitdrukking in het rechterlid, wetend dat
deze asymptotische benadering des te accurater wordt naarmate n toeneemt.
Een belangrijke toepassing van de integrale limietstelling is de benadering van de kans dat
de ongelijkheid
Sn
n − p < ǫ ,
voor om het even welke constante ǫ > 0 opgaat.
Stelling 3.14 stelling van Bernoulli
Voor om het even welke ǫ > 0 nadert de kans P(|Sn /n − p| ≤ ǫ) tot 1 als n → ∞. Men
noteert
Sn p
→ p
n
en zegt dat Sn /n stochastisch convergeeert naar p als n → ∞.
Bewijs
Er geldt dat
r
r Sn
n
n
Sn − np
P − p ≤ ǫ = P −ǫ
≤ √
≤ǫ
n
pq
npq
pq
en ten gevolge van de integrale limietstelling van DeMoivre-Laplace is
Z +∞
Sn
1
2
√
lim P − p ≤ ǫ =
e−z /2 dz = 1 .
n→∞
n
2π −∞
2
De stelling van Bernoulli is een bijzonder geval van een wet van de grote aantallen. Deze
wetten zijn belangrijk omdat ze de toegangssleutel vormen tot praktische toepassingen van
de probabiliteitstheorie onder meer in de statistiek. In een verder hoofdstuk zal hierop nader
worden ingegaan.
54
Rijen toevalsexperimenten en Markov-ketens
Merk op dat de wet van de grote aantallen geformuleerd in de stelling van Bernoulli analogie vertoont met von Mises’ statistische definitie van kans. Inderdaad, Sn /n is niets anders dan
de relatieve frequentie Rn (A) van de gebeurtenis A in n onafhankelijke proeven. Waar evenwel von Mises’ definitie vereist dat iedere oneindige rij van relatieve frequenties convergeert
naar de statistische kans p, geeft de stelling van Bernoulli aan dat het volstaat dat de relatieve
frequentie de grootheid p stochastisch benadert, d.w.z. dat de oneindige rij van de kansen
dat deze relatieve frequenties minder dan een gegeven positieve waarde ǫ, hoe klein ook, van p
afwijken, convergeert naar 1, d.i. voor alle ǫ > 0 geldt
lim P(|Rn (A) − p| ≤ ǫ) = 1 .
n→∞
Voorbeeld 3.15 In elk van n onafhankelijke experimenten is p de kans dat de gebeurtenis A
zich voordoet. Wat is bij benadering de kans dat de relatieve frequentie Rn (A) ten hoogste α
afwijkt van p ?
Oplossing
Deze kans is
r
r Sn
n
n
Sn − np
P = P −α
− p ≤ α
≤ √
≤α
n
pq
npq
pq
∼
1
√
2π
Z α√n/pq
−α
√
e−z
2 /2
dz .
n/pq
2
Voorbeeld 3.16 Wat is het kleinst aantal experimenten dat men moet uitvoeren opdat met kans
ten minste β de relatieve frequentie ten hoogste een waarde α van p zou afwijken?
Oplossing
Om deze vraag te beantwoorden moet n opgelost worden uit de ongelijkheid
Sn
− p ≤ α ≥ β .
P n
Vervang de kans in het linkerlid door haar asymptotische benadering, zodat n moet opgelost
worden uit de ongelijkheid
Z α√n/pq
1
2
√
e−z /2 dz ≥ β ,
√
2π − α n/pq
of nog, uit de ongelijkheid
2
√
2π
Z α√n/pq
0
e−z
2 /2
dz ≥ β .
2
De numerieke oplossing van bovenstaande problemen vereist de berekening van integralen
van het type
Z b
z2
1
√
e− 2 dz .
2π a
3.4 De integrale limietstelling van DeMoivre-Laplace
Definitie 3.17 De functie
1
Φ(x) = √
2π
Z
x
e−z
2 /2
55
dz ,
−∞
speelt een centrale rol in de probabiliteitstheorie. Aangezien Φ niet uitdrukbaar is in elementaire functies, zijn voor een aantal discrete waarden van de veranderlijke x in het interval
[−4, 4] de functiewaarden Φ(x) getabelleeerd in Tabel I.
Eigenschap 3.18 Er geldt
1
√
2π
Z
b
e−z
2 /2
a
dz = Φ(b) − Φ(a) .
De functie Φ(x) is strikt monotoon stijgend en in het bijzonder zijn:
Φ(−∞) = 0 ,
Φ(0) =
1
,
2
Φ(+∞) = 1 ,
en
Φ(−x) = 1 − Φ(x) .
Bewijs
De eerste gelijkheid volgt uit een eigenschap van integralen, nl.
Z a
Z b
Z b
2
−z 2 /2
−z 2 /2
e−z /2 dz .
e
dz −
e
dz =
a
−∞
−∞
De functie Φ is strikt montooon stijgend in R omdat het integrandum van de definiërende
integraal overal strikt positief is. Als boven- en ondergrens van een bepaalde integraal gelijk
zijn, is de integraal per definitie 0, zodat Φ(−∞) = 0. Voorts is
Z +∞
1
2
Φ(+∞) = √
e−z /2 dz = 1 .
2π −∞
Deze laatste integraal staat bekend als de Laplace-integraal. Een bewijs dat haar waarde gelijk
is aan 1 is te vinden in de appendix bij dit hoofdstuk. Wegens het even zijn van het integrandum
is enerzijds
Z +∞
Z +∞
1 1
1
1
1
2
−z 2 /2
e
dz = √
e−z /2 dz = Φ(+∞) = ,
Φ(0) = √
2 2π −∞
2
2
2π 0
en anderzijds
Z −x
Z +∞
1
1
2
2
e−z /2 dz = √
e−z /2 dz
Φ(−x) = √
2π −∞
2π x
Z +∞
Z x
1
1
2
−z 2 /2
e
dz − √
e−z /2 dz = 1 − Φ(x) .
= √
2π −∞
2π −∞
2
56
Rijen toevalsexperimenten en Markov-ketens
Voorbeeld 3.19 Herneem de opgave uit Voorbeeld 3.15. De gevraagde kans kan beknopt
uitgedrukt worden als
Φ(α
p
n/pq) − Φ(− α
p
n/pq) = 2Φ(α
p
n/pq) − 1 ,
en aangezien α, n, p, q gegevens van het vraagstuk zijn, kan van Tabel I gebruik worden gemaakt
om de numerieke waarde van het rechterlid uit te rekenen.
p
Herneem ook de opgave uit Voorbeeld 3.16. Hier moet n opgelost worden uit 2(Φ(α n/pq)
−Φ(0)) = β. De oplossing is
pq
n= 2
α
−1
Φ
1+β
2
2
,
waarbij Φ−1 de inverse functie van Φ voorstelt die bestaat en eenwaardig is omdat Φ strikt
montoon is. Is β bekend, dan kan met behulp van Tabel I een benadering van Φ((1 + β)/2)
gevonden worden.
2
Voorbeeld 3.20 Herneem de opgave uit Voorbeeld 3.8. Met n = 10 000 en p = 0.005 kan
men als volgt een benadering voor de gevraagde kans pb vinden:
pb = P(0 ≤ Sn ≤ 70) ≈ P(−∞ < Sn < 70.5)
Sn − np
20.5
Sn − np
= P −∞< √
<√
≤ 2.91
= P −∞ < √
npq
npq
49.75
Z 2.91
1
2
e−z /2 dz = Φ(2.91) = 0.9982 .
≈ √
2π −∞
Merk op dat vermits het aantal defecte stukken enkel een gehele waarde kan zijn, in de benadering de bovengrens 70 vervangen is door de grootste reële waarde die in de gegeven gehele
schaal tot 70 wordt afgerond en dat de ondergrens 0 vervangen is door de kleinste reële waarde
die tot 0 wordt afgerond. Deze aanpassing wordt de continuı̈teitscorrectie genoemd.
2
3.5 De limietstelling van Poisson
Er is reeds op gewezen dat de asymptotische benadering van pn (m) = P(Sn = m) bekomen
met de lokale limietstelling van DeMoivre-Laplace, minder nauwkeurig is naarmate de waarde
van p meer afwijkt van 1/2. Nochtans zijn er heel wat problemen waarin het juist van belang is
om pn (m) voor waarden van p heel dicht bij 0 of 1 te kunnen berekenen. In die gevallen doet
men beroep op een benaderingsformule die rechtstreeks volgt uit de limietstelling van Poisson.
3.5 De limietstelling van Poisson
57
Stelling 3.21 limietstelling van Poisson
Zij Sn het aantal keer dat een gebeurtenis A zich voordoet in n onafhankelijke experimenten,
waarbij in elk experiment de kans dat A zich voordoet gelijk is aan pn . Op voorwaarde dat
limn→∞ pn = 0 en limn→∞ npn = λ < ∞, is
lim pn (m) = lim P(Sn = m) =
n→∞
n→∞
wat ook genoteerd wordt als
pn (m) ∼
λm −λ
e ,
m!
(np)m −np
e
.
m!
Definitie 3.22 Voor iedere constante λ > 0 worden de grootheden
p(λ) (m) =
λm −λ
e ,
m!
de Poisson-kansen met parameter λ genoemd. Alle Poisson-kansen met zelfde parameter λ
sommeren tot 1, d.i.:
∞
X
m=0
p
(λ)
∞
∞
X
X
λm −λ
λm
−λ
(m) =
e =e
= e−λ eλ = 1 .
m!
m!
m=0
m=0
De verzameling {pλ (m)|m = 0, 1, 2, . . .} wordt de Poisson-verdeling (Poisson distribution)
met parameter λ genoemd.
Voorbeeld 3.23 Een schutter heeft 0.001 kans om met één projectiel een doel te treffen. Wat
is zijn kans om het doel met ten minste twee projectielen te treffen als hij in totaal 5 000
projectielen afvuurt?
Oplossing
Elk schot kan als een onafhankelijk experiment gezien worden waarbij de gebeurtenis A het
treffen van het doel is. Met n = 5 000 en p = 0.001 is np = 5 en de binomiaalkansen pn (m)
kunnen benaderd worden door Poisson-kansen p(λ) (m) met parameter λ = 5. De gevraagde
kans is bijgevolg
P{Sn ≥ 2} =
5X
000
m=2
p5 000 (m) = 1 − p5 000 (0) − p5 000 (1)
≈ 1 − p(5) (0) − p(5) (1) = 1 −
50 −5
51 −5
e −
e
0!
1!
= 1 − 6 e−5 = 0.9596 .
Exacte berekeningen geven de waarde 0.9597, zodat in dit voorbeeld de relatieve fout gemaakt
door toepassing van de Poisson-benadering van de orde van 0.01% is.
2
58
Rijen toevalsexperimenten en Markov-ketens
3.6 Markov-ketens
Markov-ketens vormen een belangrijke veralgemening van het concept van een rij onafhankelijke experimenten. Ze zijn genoemd naar A. Markov die ze voor het eerst bestudeerde.
Definitie 3.24 Een toevalsexperiment geassocieerd met een uitkomstenruimte die ontbindbaar is in k elkaar uitsluitende gebeurtenissen A1 , A2 , . . . Ak , wordt onbeperkt herhaald. Zij
(i)
Aj de elementaire gebeurtenis dat bij de i-de uitvoering van het experiment de gebeurtenis
(i)
(i)
Aj zich voordoet en de kans ervan pj = P(Aj ). De rij van experimenten is een Markov(i+1)
keten (Markov chain) indien de kans pj
expliciet afhangt van de gebeurtenis die zich in
de i-de uitvoering van het experiment heeft voorgedaan maar niet van de gebeurtenissen die
zich daarvoor hebben voorgedaan, d.i. voor alle 1 ≤ j, j1 , j2 , . . . ji−1 , ji ≤ k geldt dat
(i+1)
P(Aj
(i)
(1)
(i−1)
(i+1)
|Aji ∩ Aji−1 ∩ · · · ∩ Aj1 ) = P(Aj
(i)
|Aji ) .
Als bovendien deze voorwaardelijke kansen onafhankelijk zijn van het rangnummer van het
experiment, d.i. als voor alle i geldt dat
(i)
P(A(i+1)
|Al ) = plm ,
m
dan is de keten een homogene Markov-keten.
In de context van Markov-ketens identificeert men de rij experimenten met een systeem
dat zich in k verschillende mogelijke toestanden kan bevinden. Telkens de gebeurtenis Ai zich
voordoet, bevindt het systeem zich in toestand i en als een systeem zich in toestand i bevindt, is
de kans dat het bij de uitvoering van het volgend experiment naar toestand j overgaat, gegeven
door pij = P(Aj |Ai ).
Definitie 3.25 Een homogene Markov-keten, ook Markov-model of Markov-systeem genoemd, wordt gekarakteriseerd door:
• een verzameling toestanden (states) S = {1, 2, . . . , k},
• een verzameling van mogelijke overgangen (transitions), d.i. de koppels (i, j) waarvoor pij = P( toestand j| toestand i) > 0,
• de numerieke waarden van de strikt positieve pij die de overgangskansen (transition
probabilities) worden genoemd.
Een Markov-model wordt eveneens ondubbelzinnig gekarakteriseerd door zijn matrix van
overgangskansen, ook transitiematrix genoemd, d.i. de matrix


p11 p12 · · · p1k
 p21 p22 · · · p2k 


π1 :=  .
..
..  .
.
 .
.
. 
pk1 pk2 · · · pkk
3.6 Markov-ketens
59
Vaak wordt een Markov-model voorgesteld door middel van een gewogen gerichte graaf
waarin de toppen de verschillende toestanden voorstellen, een gerichte boog van top i naar top
j voorkomt als de overgang van toestand i naar toestand j mogelijk is, en het gewicht van de
boog (i, j) de overgangskans pij is.
Eigenschap 3.26 De overgangskansen pij uit de transitiematrix π1 van een Markov-model
voldoen aan
k
X
pij = 1
∀i ∈ {1, 2, . . . , k} ,
j=1
d.i. alle rijsommen van de transitiematrix π1 zijn gelijk aan 1.
Bewijs
Aangezien in elk experiment juist één van de gebeurtenissen A1 , A2 , . . . , Ak zich voordoet, komt een systeem dat zich in toestand i bevindt noodzakelijk terecht in juist één van de
toestanden 1, 2, . . . , k.
2
Merk op dat de elementen in een kolom van π1 niet noodzakelijk tot 1 sommeren.
Voorbeeld 3.27 De gegevens uit Voorbeeld 2.30 kunnen in een homogene Markov-keten gemodelleerd worden. Is Veerle mee de leerstof dan is de kans dat ze dat de week nadien nog doet
0.8, is ze achter dan heeft ze 0.4 kans dat ze de week daarop nog achter is. Men kan bijgevolg
twee toestanden onderscheiden: toestand 1: ‘Veerle is mee met de leerstof’ en toestand 2:
‘Veerle is achter op de leerstof’. De overgangskansen zijn p11 = 0.8, p12 = 0.2, p21 = 0.6 en
p22 = 0.4 en de transitiematrix is
"
#
0.8 0.2
π1 =
.
0.6 0.4
Figuur 3.1 toont de graaf van dit eenvoudig Markov-model met twee toestanden.
2
0.2
0.8
1
2
0.4
0.6
Figuur 3.1: De graaf van de Markov-keten uit Voorbeeld 3.27.
Voorbeeld 3.28 Een vlieg verplaatst zich op een recht lijnstuk. Per tijdseenheid legt ze een
lengte-eenheid af naar links met kans 0.3, naar rechts met kans 0.3, en blijft ze ter plekke met
kans 0.4, onafhankelijk van haar vorige verplaatsingen. Op de posities 1 en m liggen spinnen
op de loer; komt de vlieg er terecht, dan wordt ze gevangen en stopt het proces. In de veronderstelling dat de vlieg vertrekt vanuit een positie tussen 1 en m kunnen haar verplaatsingen
gemakkelijk met een Markov-model beschreven worden. Associeer met de posities 1, 2, . . . , m
respectievelijk de toestanden 1, 2, . . . , m. De van 0 verschillende overgangskansen zijn
p11 = 1 ,
pmm = 1 ,
60
Rijen toevalsexperimenten en Markov-ketens
pij =
(
0.3
als j = i − 1 of j = i + 1 ,
0.4
als j = i ,
i = 2, 3, . . . , m − 1 .
In Figuur 3.2 worden zowel de graaf als de transitiematrix getoond voor het geval m = 4.
1.0
0.4
1
0.3
1 2
0.3
-
0.3
0
0
2
0
0.4
0.3 0.4 0.3
3
0.3 4
1
0
0
0
0.3 0.4 0.3
0
0
1.0
Figuur 3.2: De graaf van de Markov-keten in Voorbeeld 3.28
Het model uit Voorbeeld 3.28 is een Markov-model van een random wandeling (random walk) op een rechte tussen twee grenzen 1 en m. Als zich, zoals in dit voorbeeld, de
situatie voordoet dat de wandelaar eens in een randpunt aangekomen daar permanent blijft,
d.i. p11 = pmm = 1, dan zegt men dat de Markov-keten een random wandeling met absorberende randen (absorbing boundaries) modelleert. Dit om het onderscheid te maken met
een random wandeling met reflecterende randen (reflecting boundaries) waarbij de wandelaar die in een van de randpunten, 1 of m, terechtkomt, naar zijn vorige positie terugkeert, d.i.
p12 = pm,m−1 = 1.
Voorbeeld 3.29 Een machine werkt of is gedurende een ganse dag defect. Werkte vandaag de
machine dan is er d kans dat ze morgen defect is. Was ze vandaag defect, dan is er w kans
dat ze morgen hersteld is. Het ligt voor de hand om een Markov-keten met twee toestanden te
construeren, nl. met toestand 1: ‘de machine werkt’ en toestand 2: ‘de machine is defect’. De
transitiematrix is
"
#
1-d d
π1 =
.
w 1-w
De modellering met behulp van een Markov-keten is mogelijk omdat de toestand van de machine alleen afhankelijk is van de toestand van de machine één dag voordien. Stel evenwel
dat die toestand afhankelijk zou zijn van wat zich niet één maar gedurende een aantal dagen
daarvoor voordeed. Dan kan men nog steeds een Markov-model bouwen, mits een aantal
toestanden te voorzien die de informatie over die vaste periode weergeven. Veronderstel ter
illustratie dat als de machine l dagen achtereen defect is, de herstellingspoging wordt gestaakt
en een werkende vervangmachine in bedrijf wordt genomen. Om dit proces met een Markovketen te beschrijven, vervangt men toestand 2, die geassocieerd is met een defecte machine,
door verschillende toestanden die weergeven hoeveel dagen de machine defect is. De rangnummers 2, 3, . . . , l + 1 van deze toestanden stellen het aantal dagen voor dat de machine defect is
vermeerderd met 1. In Figuur 3.3 wordt de graaf van de Markov-keten getoond voor l = 4. 2
Voorbeeld 3.29 illustreert dat om een Markov-model te bouwen, het vaak noodzakelijk is
nieuwe toestanden in te voeren die de afhankelijkheid van gebeurtenissen t.o.v. van gebeurtenissen in een min of meer lang verleden modelleren. Meestal is er zelfs enige vrijheid van keuze
3.7 De n-stap transitiematrix
61
-d
1−d
1
1 − w-
2
w
w
3
1 − w-
1 − w-
4
w
5
w
Figuur 3.3: De graaf van de Markov-keten in Voorbeeld 3.29. Een machine die 4 dagen defect is wordt
door een nieuwe machine vervangen.
van toegevoegde toestanden; het is niettemin aanbevelenswaardig hun aantal zo gering mogelijk te houden.
3.7 De n-stap transitiematrix
Voor een gegeven Markov-model kan men heel gemakkelijk de kans berekenen dat zich een
welbepaalde sequentie van toestanden voordoet. De berekeningswijze is volkomen analoog aan
het toepassen van de vermenigvuldigingregel in een boom-gebaseerd sequentieel kansmodel.
Eigenschap 3.30 In een Markov-model gebaseerd op een homogene Markov-keten geldt
voor alle i en n dat
(i+1)
P(Aj1
(i+2)
∩ Aj2
(i+n)
∩ · · · ∩ Ajn
(i)
|Aj0 ) = pj0 j1 pj1 j2 . . . pin−1 in .
Bewijs
Uit de vermenigvuldigingsregel (zie Eigenschap 2.25) en de basiseigenschap van een Markovketen volgt voor willekeurige n dat
(i+1)
P(Aj1
(i+2)
∩ Aj2
(i)
(i+n)
∩ · · · ∩ Ajn
(i+2)
(i+1)
|Aj0 ) P(Aj2
(i+1)
|Aj0 ) P(∩Aj2
= P(Aj1
= P(Aj1
(i)
(i+1)
|Aj1
(i+2)
(i)
|Aj0 )
(i+1)
|Aj1
(i)
(i+n)
∩ Aj0 ) . . . P(Ajn
(i+n)
) . . . P(Ajn
(i+m)
n−1
| ∩m=0
Ajm
(i+n−1)
|Ajn−1
)
).
Aangezien de Markov-keten homogeen is, geldt deze afleiding voor om het even welke i.
2
Voorbeeld 3.31 Herneem de opgave uit Voorbeeld 3.28. De kans dat de vlieg startend vanuit positie 2 in de daaropvolgende tijdseenheden het traject 2234 aflegt, is p22 p22 p23 p34 =
(0.4)2 (0.3)2 .
2
Merk op dat als geen begintoestand gegeven is, er rekening moet gehouden worden met de
kansverdeling van de toestanden die als begintoestand in aanmerking komen.
62
Rijen toevalsexperimenten en Markov-ketens
Veel vraagstukken i.v.m. Markov-ketens vereisen de berekening van de kans dat een welbepaalde gebeurtenis zich op een toekomstig tijdstip voordoet. Daarom wenst men in het algemeen de overgangskansen te kunnen berekenen van één toestand naar een andere toestand in
een gegeven geheel aantal n tijdstappen.
Definitie 3.32 De kans dat in een Markov-model vanuit toestand i in n stappen toestand j
wordt bereikt, noemt men de n-stap overgangskans (n-step transition probability) van i naar
j, genoteerd als
(n)
(n) (0)
pij = P(Aj |Ai ) .
De matrix

(n)
p11
(n)
p12
···
 (n) (n)
 p
p22 · · ·

πn =  21
..
 ..
.
 .
(n)
(n)
pk1 pk2 · · ·
(n)
p1k
(n)
p2k
..
.
(n)
pkk







is de n-stap transitiematrix (n-step transition matrix) van de Markov-keten.
Eigenschap 3.33 vergelijking van Chapman-Kolmogorov
De n-stap overgangskansen worden gegenereerd door de recursieformule
(n)
pij
=
k
X
(m) (n−m)
pir prj
,
r=1
die geldt voor alle n > 1, alle (i, j) ∈ {1, 2, . . . , k}2 en alle m ∈ {1, 2, . . . , n − 1}. In
matrixvorm is de formule te schrijven als
πn = πm πn−m ,
waaruit volgt dat
πn = (π1 )n .
Bewijs
Op grond van de totalekansformule (zie Eigenschap 2.28) toegepast op een voorwaardelijke
kans met vaste conditionerende gebeurtenis, is
(n)
pij
=
(n) (0)
P(Aj |Ai )
=
k
X
r=1
(0)
(n)
(0)
(m)
P(A(m)
∩ Ai )
r |Ai )P(Aj |Ar
De basiseigenschap van een Markov-keten en het homogeen zijn van de keten laten toe het
rechterlid verder te vereenvoudigen tot:
k
X
r=1
(0)
(n) (m)
P(A(m)
r |Ai )P(Aj |Ar )
=
k
X
r=1
(0)
(n−m) (0)
P(A(m)
|Ar )
r |Ai )P(Aj
=
k
X
(m) (n−m)
pir prj
.
r=1
2
3.8 Langetermijngedrag van een Markov-keten
63
3.8 Langetermijngedrag van een Markov-keten
Het ligt voor de hand na te gaan hoe de n-stap transitiematrix zich gedraagt voor grote waarden
(n)
van n en in het bijzonder te onderzoeken of de limiet limn→∞ pij voor alle (i, j) bestaat en
(n)
eindig is en, zo ja, de waarden te berekenen waarnaar de overgangskansen pij convergeren.
6
6
(n)
p11
0.75
0.75
(n)
p21
(n)
p22
0.25
0.25
-
0
n
0
0.75
0.25
0.75
0.25
π∞ =
(n)
p12
n
Figuur 3.4: de n-stap overgangskansen in functie van het aantal stappen n uit Voorbeeld 3.27.
In Figuren 3.4 en 3.5 wordt het asymptotisch gedrag van enkele n-stap overgangskansen
grafisch weergegeven voor de Markov-ketens respectievelijk uit Voorbeelden 3.27 en 3.28. In
(n)
Figuur 3.4 ziet men dat elke pij convergeert en dat de limietwaarden onafhankelijk zijn van
de begintoestand i. Elke toestand wordt met positieve kans ooit bereikt. In Figuur 3.5 bemerkt
(n)
men een ander kwalitatief gedrag: elke pij convergeert, maar de limiet is hier wel afhankelijk
van de begintoestand i en de limiet kan ook 0 zijn. In dit voorbeeld zijn er twee toestanden, 1
en 4, die absorberend zijn, in de zin dat eens die toestand bereikt, geen andere toestand meer
bereikt kan worden. De kans dat een particuliere absorberende toestand bereikt wordt (toestand
1 in Figuur 3.5) hangt bovendien af van ‘hoe dicht’ de initiële toestand bij die absorberende
toestand gelegen is.
6
1
(n)
p11
(n)
2/3
1/3
p21
(n)
p31
(n)
0
p41
π∞ =
-
1.0
0
0
0
2/3
0
0
1/3
1/3
0
0
2/3
0
0
0
1.0
n
Figuur 3.5: n-stap overgangskansen naar eindtoestand 1 uit Voorbeeld 3.28.
In Markov-modellen is men vaak geı̈nteresseerd in de bezettingsgraad van de toestanden
64
Rijen toevalsexperimenten en Markov-ketens
(n)
op heel lange termijn, d.i. in het gedrag van pij als n zeer groot is. In het bijzonder wenst
men na te gaan of soms niet een situatie ontstaat zoals die geı̈llustreerd in Figuur 3.4, waarbij
de n-stap overgangskansen convergeren naar contante waarden die onafhankelijk zijn van de
begintoestand. Men zegt dat het Markov-systeem convergeert naar een stationair regime. Er
bestaan verschillende stellingen waarin voorwaarden worden geformuleerd opdat een Markovsysteem naar een stationair systeem zou evolueren. Ze worden ergodenstellingen (ergodic
theorems) genoemd. De volgende stelling is er een voorbeeld van.
Stelling 3.34 ergodenstelling
(s)
Indien er een s > 0 bestaat zodanig dat alle s-stap overgangskansen pij > 0, dan bestaan
er constanten pj > 0 (j = 1, 2, . . . , k) zodanig dat onafhankelijk van i geldt dat
(n)
lim p
n→∞ ij
= pj
j = 1, 2, . . . , k .
De stationaire kansen pj zijn de unieke oplossing van het stelsel vergelijkingen gevormd
door de evenwichtsvergelijkingen (balance equations)
pj =
k
X
pi pij ,
i=1
en de normaliseringsvergelijking
1=
k
X
pi .
i=1
Het bewijs van deze ergodenstelling is vrij complex en niet in enkele lijnen te schetsen. 2
Definitie 3.35 Als voor een Markov-keten aan de voorwaarden van de ergodenstelling is
voldaan, dan noemt men de verzameling kansen {p1 , p2 , . . . , pk } de stationaire verdeling
(stationary distribution) van de Markov-keten.
Voorbeeld 3.36 Beschouw de Markov-keten uit Voorbeeld 3.27 met 2 toestanden en overgangskansen p11 = 0.8, p12 = 0.2, p21 = 0.6 en p22 = 0.4. De evenwichtsvergelijkingen
zijn
p1 = p1 p11 + p2 p21 ,
p2 = p1 p12 + p2 p22 ,
of
p1 = 0.8 p1 + 0.6 p2 ,
p2 = 0.2 p1 + 0.4 p2 .
Deze twee vergelijkingen zijn lineair afhankelijk, aangezien ze beide equivalent zijn met p1 =
3p2 . Samen met de normaliseringsvoorwaarde p1 + p2 = 1, bekomt men als unieke oplossing:
p1 = 0.75 en p2 = 0.25. Dit is consistent met het limietgedrag geı̈llustreerd in Figuur 3.4. 2
Voorbeeld 3.37 Een verstrooide professor bezit 2 regenschermen die hij aanwendt om van huis
naar het werk en van het werk naar huis te gaan. Als het regent gebruikt hij, indien voorhanden
op de vertrekplaats, een regenscherm. Bij droog weer neemt hij nooit een regenscherm mee.
Als bij elk van zijn verplaatsingen de kans dat het regent gelijk is aan p, wat is dan de stationaire
kans dat hij nat wordt?
3.9 Geboorte-doodprocessen
65
Oplossing
Modelleer dit vraagstuk als een Markov-keten met 3 toestanden, nl. toestand i: ‘op de
vertrekplaats zijn i regenschermen aanwezig’, i = 0, 1, 2. De transitiematrix van deze Markovketen is


0
0
1


1−p p 
π1 =  0
1−p
p
0
en de graaf van de keten is zoals in Figuur 3.6. In die graaf valt op dat alle toestanden uit
elke andere toestand bereikbaar zijn in een eindig aantal stappen. Meer in het bijzonder wordt
vanuit elke toestand om het even welke andere toestand in 4 stappen bereikt met strikt positieve kans – 3 stappen volstaan niet omdat toestand 0 onmogelijk vanuit toestand 0 te bereiken
in een oneven aantal stappen. Deze vaststelling is equivalent met het feit dat de 4-stap overgangsmatrix π4 uitsluitend strikt positieve elementen bezit, hetgeen ook door rechtstreekse
berekening van π14 kan worden geverifieerd. De ergodenstelling is dus van toepassing en de
evenwichtsvergelijkingen zijn
p0 = (1 − p)p2 ,
p1 = (1 − p)p1 + p p2 ,
p2 = p 0 + p p 1 .
Uit de tweede vergelijking volgt dat p1 = p2 , zodat na subsititutie in de eerste vergelijking
gevonden wordt dat p0 = (1 − p)p2 . Met behulp van de normaliseringsvergelijking p0 + p1 +
p2 = 1 vindt men de unieke oplossing
p0 =
1−p
,
3−p
p1 =
1
,
3−p
p2 =
1
.
3−p
De stationaire kans dat de professor vertrekt op een plaats zonder regenscherm is p0 . De stationaire kans dat hij nat wordt is p0 keer de kans p dat het regent, d.i. p0 p.
2
-p
-1
0
2
1
1−p
p
1−p
Figuur 3.6: Graafvoorstelling van de Markov-keten uit Voorbeeld 3.37.
3.9 Geboorte-doodprocessen
Definitie 3.38 Een geboorte-doodproces (birth-death process) is een Markov-keten waarin
de toestanden lineair geordend zijn en enkel overgangen tussen naburige toestanden kunnen
plaatsvinden.
Geboorte-doodprocessen komen frequent voor voornamelijk in de theorie van wachtlijnen
(queueing theory). In Figuur 3.7 wordt de graaf van de generieke vorm van een geboortedoodproces getoond. In het bijzonder stelt
(n+1)
(n)
bi = P(Ai+1 |Ai )
66
Rijen toevalsexperimenten en Markov-ketens
de ‘geboorte’kans (‘birth’ probability) in toestand i en
(n+1)
(n)
di = P(Ai−1 |Ai )
de ‘sterf’kans (‘death’ probability) in toestand i voor.
1 − b0
1 − bm−1 − dm−1
1 − b1 − d 1
-
b0
0
b1
-
bm−2
m
m-1
-
-
1
d1
1 − dm
bm−1
d2
dm−1
dm
Figuur 3.7: Graafvoorstelling van een geboorte-doodproces.
De evenwichtsvergelijkingen laten zich voor een geboorte-doodproces sterk vereenvoudigen.
Eigenschap 3.39 Voor een geboorte-doodproces kunnen de evenwichtsvergelijkingen
vereenvoudigd worden tot de equivalente lokale evenwichtsvergelijkingen (local balance
equations)
pi bi = pi+1 di+1 ,
i = 0, 1, . . . , m − 1 ,
zodat
pi = p0
b0 b1 . . . bi−1
,
d1 d2 . . . di
i = 1, 2, . . . , m .
Bewijs
Voor een toestand i met 0 < i < m is de evenwichtsvergelijking
pi = bi−1 pi−1 + di+1 pi+1 + (1 − bi − di ) pi ,
of nog
(bi pi − di+1 pi+1 ) = (bi−1 pi−1 − di pi ) .
Bovendien is de evenwichtsvergelijking voor toestand 0
p0 = d1 p1 + (1 − b0 ) p0
of nog
b0 p 0 − d 1 p 1 = 0 .
Hieruit volgt onmiddellijk het gestelde.
2
Voorbeeld 3.40 random wandeling met reflecterende randen Een persoon wandelt langs
een rechte en legt per tijdseenheid een eenheid van lengte af, naar rechts met kans b en naar
links met kans 1 − b. De persoon start in één van de posities 1, 2 . . . , m. Zou hij in positie 0 (of
3.9 Geboorte-doodprocessen
67
positie m+1) terechtkomen, dan wordt de laatste stap niet uitgevoerd en blijft hij gedurende de
tijdseenheid in positie 1, (respectievelijk in positie m). Dit systeem kan bijgevolg gemodelleerd
worden door een Markov-keten met m toestanden, genummerd van 1 t.e.m. m en geassocieerd
met de posities op de rechte. De graaf van de keten met overgangskansen wordt in Figuur 3.8
getoond.
1−b
-b
0
b
-
1−b
b
m
m-1
1
1−b
-b
b
-
1−b
1−b
Figuur 3.8: Graafvoorstelling van een random wandeling met reflecterende randen.
De lokale evenwichtsvergelijkingen zijn
b pi = (1 − b) pi+1 ,
i = 1, . . . , m − 1 .
Stel pi+1 = ρ pi met ρ = b/(1 − b). Dan is
pi = ρi−1 p1 ,
i = 1, 2, . . . , m .
Substitutie in de normaliseringsvergelijking levert 1 = p1 (1 + ρ + · · · + ρm−1 ), zodat
pi =
ρi−1
(1 − ρ)ρi−1
=
,
1 + ρ + · · · + ρm−1
1 − ρm
i = 1, . . . , m .
2
Voorbeeld 3.41 wachtlijnmodel De informatiepakketten die in een knoop van een communicatienetwerk aankomen, worden tijdelijk in een buffer opgeslagen vooraleer verder verzonden
te worden. De bewaarcapciteit van de buffer is m pakketten: bevinden zich m pakketten in
de buffer dan gaan inkomende pakketten verloren. De tijd wordt verdeeld in intervallen, voldoende klein om te kunnen aannemen dat zich in elk tijdsinterval ten hoogste één gebeurtenis
kan voordoen die het aantal pakketten in de buffer met ten hoogste één eenheid verhoogt of verlaagt. In het bijzonder veronderstelt men dat zich in elk tijdsinterval juist één van de volgende
situaties voordoet:
(a) er komt een nieuw pakket aan met kans b > 0;
(b) de transmissie van een pakket naar een volgende knoop wordt met kans d > 0 voltooid
zodat een plaats vrijkomt in de buffer;
(c) er komt geen nieuw pakket aan en geen pakket wordt afgewerkt.
Een dergelijk wachtlijnsysteem laat zich modelleren door een Markov-keten met toestanden
genummerd 0, 1, . . . , m, die overeenstemmen met het aantal pakketten in de buffer. De graaf
van de Markov-keten met de overgangskansen wordt getoond in Figuur 3.9.
68
Rijen toevalsexperimenten en Markov-ketens
1−b−d
1−b−d
1−b
-
1−d
b
0
-
-
d
d
d
b
m
m-1
1
d
-b
b
Figuur 3.9: Graaf van de Markov-keten uit Voorbeeld 3.41.
De lokale evenwichtsvergelijkingen zijn
b pi = d pi+1 ,
i = 1, . . . , m − 1 .
Stel ρ = b/d. Dan is
pi = ρi p0 ,
i = 0, 1, . . . , m .
Substitutie in de normaliseringsvergelijking levert 1 = p0 (1 + ρ + · · · + ρm ), zodat
1−ρ
ρi
1 − ρm+ 1
p0 =

1


m+1




als ρ 6= 1 ,
i = 0, 1, . . . , m .
als ρ = 1 ,
2
3.10 Limietstellingen voor Markov-ketens met k = 2
De veralgemening van een rij onafhankelijke Bernoulli-experimenten is een homogene Markovketen met transitiematrix
α 1−α
π1 =
.
β 1−β
Merk op dat als men toestand 1 (toestand 2) associeert met succes (faling), α de kans is op
succes in elk experiment dat volgt op een succesvol experiment, en β de kans op succes in
elk experiment dat volgt op een falend experiment. Zoals bij een rij onafhankelijke Bernoulliexperimenten kan het aantal successen Sn geteld worden in n opeenvolgende uitvoeringen van
het experiment. Stel daarom de kans P(Sn = n) op m succesvolle experimenten in een rij van
n opeenvolgende experimenten opnieuw voor door pn (m).
3.10 Limietstellingen voor Markov-ketens met k = 2
69
Stelling 3.42 lokale limietstelling voor een Markov-keten met k = 2
Zij pn (m) de kans op m keer succes in n opeenvolgende experimenten gemodelleerd door
een homogene Markov-keten met transitiematrix
α 1−α
π1 =
(0 < α, β < 1) .
β 1−β
Stelt men
p=
en
β
,
1−α+β
q = 1 − p,
1−α+β
z = (m − np) p
,
mα(1 − α) + (n − m)β(1 − β)
dan is voor alle m waarvoor z een eindige waarde aanneemt
s
(1 − α + β)
2
e−z /2 .
pn (m) ∼
2πnpq(1 + α − β)
In een rij onafhankelijke Bernoulli-experimenten is de kans op succes onafhankelijk van
de uitslag van het vorig experiment; deze situatie is equivalent met een homogene Markovketen met k = 2 waarvoor α = β = p. Men kan gemakkelijk nagaan dat bovenstaande
limietstelling in de veronderstelling van onafhankelijkheid reduceert tot de lokale limietstelling
van DeMoivre-Laplace.
Stelling 3.43 integrale limietstelling voor een Markov-keten met k = 2
Zij Sn het aantal successen in n opeenvolgende experimenten die door een homogene
Markov-keten met transitiematrix zoals in Stelling 3.42 gemodelleerd worden. Dan geldt
voor elke a ≤ b
s
!
Z b
1−α+β
1
2
√
≤b ∼
e−z /2 dz = Φ(b) − Φ(a) ,
P a ≤ (Sn − np)
npq(1 + α − β)
2π a
waarbij
p=
β
,
1−α+β
q = 1 − p.
Voorbeeld 3.44 Als het vandaag regent, is de kans dat het morgen ook regent 0.6. De kans dat
een regenloze dag door een regenloze dag wordt gevolgd, is 0.8. Wat is bij benadering (a) de
kans pa dat er juist 2 regendagen in een week voorkomen en (b) de kans pb dat meer dan de
helft van een maand (= 30 dagen) regenloze dagen zijn?
Oplossing
Noem succes een regenloze dag, faling een dag met regen. Dan is α = 0.8 en β = 1−0.6 =
0.4. Ter bepaling van pa berekent men met p = β/(1 − α + β) = 0.4/0.6 = 2/3, q = 1/3,
n = 7 en m = 5
0.2
1
1 − 0.8 + 0.4
=√
=√ ,
z = (5 − 14/3) √
5 · 0.8 · 0.2 + 2 · 0.4 · 0.6
0.8 + 0.48
32
70
Rijen toevalsexperimenten en Markov-ketens
zodat
pa = p7 (5) ≈
s
0.4
2 · π · 7 · 32 ·
1
3
· 1.4
−1/64
e
=
r
5.4
e−1/64 = 0.2061 .
39.2 · π
Voorts geldt voor n = 30 en rekening houdend met de continuı̈teitscorrectie dat
)pb = P(16 ≤ Sn ) ≈ P(15.5 < Sn < ∞
=P
r
(15.5 − 20)
s
!
1.8
1−α+β
< (Sn − np)
<∞
28
npq(1 + α − β)
≈ 1 − Φ(−1.14) = Φ(1.14) = 0.8508 .
2
3.11 Appendix
71
3.11 Appendix
Deze appendix bevat bewijzen van de limietstellingen die in dit hoofdstuk aan bod kwamen.
Ze behoren niet tot de standaard leerstof, maar worden hier wel vermeld teneinde de geinteresseerde lezer het inzicht bij te brengen dat de formule van Stirling, voorbeeld van een
asymptotische-reeksontwikkeling, een essentiële rol speelt in de bewijsvoering. Voor het overige volstaan elementaire technieken uit de analyse zoals de berekening van limieten, de convergente (MacLaurin-)reeksontwikkeling van een aantal elementaire functies en de definitie
van de Riemann-integraal.
Bewijs van de lokale limietstelling van DeMoivre-Laplace
Het bewijs maakt gebruik van de formule van Stirling met sluitterm:
s! =
√
2πs ss e−s eθs
met
|θs | ≤
1
.
12s
√
√
Aangezien uit de definitie van z volgt dat m = np + z npq alsook n − m = nq − z npq en vermits
bij onderstelling p 6= 0, q 6= 0 en limn→∞ z < ∞, moeten zowel m als n − m naar oneindig naderen
als n naar oneindig nadert. Door drie keer de formule van Stirling toe te passen, bekomt men:
n!
pm q n−m
m!(n − m)!
r
n
nn
eθn −θm −θn−m pm q n−m
=
πm(n − m) mm (n − m)n−m
r
np m nq n−m
n
1
= √
eθ ,
n−m
2π m(n − m) m
pn (m) =
met
|θ| = |θn − θm − θn−m | ≤
1
12
1
1
1
+
+
n m n−m
,
zodat limn→∞ θ = 0 waaruit volgt dat limn→∞ exp(θ) = 1. Stel
G=
np m nq n−m
,
m
n−m
zodat
ln(G)
Aangezien
= − m ln(m/np) − (n − m) ln((n − m)/nq)
p
p
√
√
= − (np + z npq) ln(1 + z q/np) − (nq − z npq) ln(1 − z p/nq) .
r
p
q
1 qz 2
1
q/np) = z
,
−
+O
np 2 np
n3/2
r
p
1 pz 2
1
p
−
+O
ln (1 − z p/nq) = −z
,
nq 2 nq
n3/2
ln (1 + z
vindt men na vereenvoudiging dat
1
ln (G) = − z 2 + O
2
1
√
n
,
72
Rijen toevalsexperimenten en Markov-ketens
zodat
lim G ez
2
n→∞
/2
= 1.
Anderzijds is wegens het begrensd zijn van z als n → ∞:
1
n2
n2
=
= lim
.
lim
√
√
n→∞ (np + z npq)(nq − z npq)
n→∞ m(n − m)
pq
Het samenvoegen van de bekomen resultaten leidt onmiddellijk tot :
p
2
lim
2πnpq ez /2 pn (m) = 1 .
n→∞
Bewijs van de integrale limietstelling van DeMoivre-Laplace
Veronderstel dat a en b eindig zijn. Hou n vast en definieer voor alle mogelijke gehele waarden van m
m − np
zm = √
npq
1
en ∆zm = zm − zm−1 = √
.
npq
Wegens de lokale limietstelling is
2
Sn − np
1
P(Sn = m) = P
= xm = √ e−zm /2 ∆xm [1 + ǫn (xm )] ,
√
npq
2π
waarbij limn→∞ ǫn (zm ) = 0 voor alle m waarvoor zm eindig is, en a fortiori voor alle m waarvoor
a ≤ zm ≤ b. Bijgevolg is
X
2
1
Sn − np
√ e−zm /2 [1 + ǫn (zm )] ∆zm ,
≤b =
P a≤ √
npq
2π
a≤zm ≤b
en gelet op de definitie van de Riemann-integraal volgt hieruit na limietovergang dat
Z b
2
1
Sn − np
√ e−z /2 dz .
≤b =
lim P a ≤ √
n→∞
npq
2π
a
Voor het geval a = −∞ en/of b = ∞, steunt het bewijs op de definitie van de oneigenlijke Riemannintegraal.
Bewijs van de limietstelling van Poisson
Definieer an = npn zodat limn→∞ an = λ en herschrijf de binomiale kans pn (m) achtereenvolgens
als
n m
pn (m) = P(Sn = m) =
p (1 − pn )n−m
m n
a m
n!
n
=
(1 − pn )n−m
m! (n − m)! n
=
(1 − n1 )(1 − n2 ) . . . (1 −
am
n
(1 − pn )n
m!
(1 − pn )m
m−1
n )
.
Voor vaste m nadert de laatste breuk naar 1. De factor (1 − pn )n nadert tot e−λ als n → ∞. Inderdaad,
uit de dubbele ongelijkheid
−t
< ln(1 − t) < −t ,
1−t
(t < 1) ,
3.11 Appendix
73
en het strikt monotoon stijgend zijn van de exponentiële functie, volgt dat voor alle n
e− an /(1−pn ) < (1 − pn )n < e−an ,
of nog
e− an /(1−pn ) − e−an < (1 − pn )n − e−an < 0 .
Wegens de middelwaardestelling voor continue functies is de meest linkse uitdrukking te herschrijven
als
an
an
e−ξn an −
met an < ξn <
,
1 − pn
1 − pn
zodat
lim
n→∞
e− an /(1−pn ) − e−an = lim (−pn an e−an ) = 0 ,
n→∞
waarbij in de laatste overgang gesteund is op het naar boven begrensd zijn van xe−x voor x ≥ 0. Het
volstaat deze tussenresultaten samen te voegen om het bewijs van de stelling te voltooien.
Berekening van de Laplace-integraal
Stel
I=
+∞
Z
e−z
2
/2
dz ,
−∞
zodat
2
I =
Z
+∞
−x2 /2
e
Z
dx ·
+∞
−y 2 /2
e
−∞
−∞
dy
=
Z
+∞
−∞
Z
+∞
2
e−(x
+y 2 )/2
dx dy .
−∞
Door overgang van cartesische coördinaten (x, y) naar poolcoördinaten (r, θ) bekomt men:
I2 =
Z
0
2π
dθ
Z
0
+∞
e−r
2
/2
ir=+∞
h
2
r dr = 2π − e−r /2
= 2π .
r=0
√
Hieruit volgt onmiddellijk dat I = 2π zodat is aangetoond dat de Laplace-integraal gelijk is aan 1.
74
Rijen toevalsexperimenten en Markov-ketens
Tabel I
De standaardnormale verdeling N (0, 1): Waarden van Φ(x).
x
−3.9
−3.8
−3.7
−3.6
−3.5
−3.4
−3.3
−3.2
−3.1
−3.0
−2.9
−2.8
−2.7
−2.6
−2.5
−2.4
−2.3
−2.2
−2.1
−2.0
−1.9
−1.8
−1.7
−1.6
−1.5
−1.4
−1.3
−1.2
−1.1
−1.0
−.9
−.8
−.7
−.6
−.5
−.4
−.3
−.2
−.1
−.0
9
.0000
.0001
.0001
.0001
.0002
.0002
.0003
.0005
.0007
.0010
.0014
.0019
.0026
.0036
.0048
.0064
.0084
.0110
.0143
.0183
.0233
.0294
.0367
.0455
.0559
.0681
.0823
.0985
.1170
.1379
.1611
.1867
.2148
.2451
.2776
.3121
.3483
.3859
.4247
.4641
8
.0000
.0001
.0001
.0001
.0002
.0003
.0004
.0005
.0007
.0010
.0014
.0020
.0027
.0037
.0049
.0066
.0087
.0113
.0146
.0188
.0239
.0301
.0375
.0465
.0571
.0694
.0838
.1003
.1190
.1401
.1635
.1894
.2177
.2483
.2810
.3156
.3520
.3897
.4286
.4681
7
.0000
.0001
.0001
.0001
.0002
.0003
.0004
.0005
.0008
.0011
.0015
.0021
.0028
.0038
.0051
.0068
.0089
.0116
.0150
.0192
.0244
.0307
.0384
.0475
.0582
.0708
.0853
.1020
.1210
.1423
.1660
.1922
.2206
.2514
.2843
.3192
.3557
.3936
.4325
.4721
6
.0000
.0001
.0001
.0001
.0002
.0003
.0004
.0006
.0008
.0011
.0015
.0021
.0029
.0039
.0052
.0069
.0091
.0119
.0154
.0197
.0250
.0314
.0392
.0485
.0594
.0721
.0869
.1038
.1230
.1446
.1685
.1949
.2236
.2546
.2877
.3228
.3594
.3974
.4364
.4761
5
.0000
.0001
.0001
.0001
.0002
.0003
.0004
.0006
.0008
.0011
.0016
.0022
.0030
.0040
.0054
.0071
.0094
.0122
.0158
.0202
.0256
.0322
.0401
.0495
.0606
.0735
.0885
.1056
.1251
.1469
.1711
.1977
.2266
.2578
.2912
.3264
.3632
.4013
.4404
.4801
4
.0000
.0001
.0001
.0001
.0002
.0003
.0004
.0006
.0008
.0012
.0016
.0023
.0031
.0041
.0055
.0073
.0096
.0125
.0162
.0207
.0262
.0329
.0409
.0505
.0618
.0749
.0901
.1075
.1271
.1492
.1736
.2005
.2296
.2611
.2946
.3300
.3669
.4052
.4443
.4840
3
.0000
.0001
.0001
.0001
.0002
.0003
.0004
.0006
.0009
.0012
.0017
.0023
.0032
.0043
.0057
.0075
.0099
.0129
.0166
.0212
.0268
.0336
.0418
.0516
.0630
.0764
.0918
.1093
.1292
.1515
.1762
.2033
.2327
.2643
.2981
.3336
.3707
.4090
.4483
.4880
2
.0000
.0001
.0001
.0001
.0002
.0003
.0005
.0006
.0009
.0013
.0018
.0024
.0033
.0044
.0059
.0078
.0102
.0132
.0170
.0217
.0274
.0344
.0427
.0526
.0643
.0778
.0934
.1112
.1314
.1539
.1788
.2061
.2358
.2676
.3015
.3372
.3745
.4129
.4522
.4920
1
.0000
.0001
.0001
.0002
.0002
.0003
.0005
.0007
.0009
.0013
.0018
.0025
.0034
.0045
.0060
.0080
.0104
.0136
.0174
.0222
.0281
.0351
.0436
.0537
.0655
.0793
.0951
.1131
.1335
.1562
.1814
.2090
.2389
.2709
.3050
.3409
.3783
.4168
.4562
.4960
0
.0000
.0001
.0001
.0002
.0002
.0003
.0005
.0007
.0010
.0013
.0019
.0026
.0035
.0047
.0062
.0082
.0107
.0139
.0179
.0228
.0287
.0359
.0446
.0548
.0668
.0808
.0968
.1151
.1357
.1587
.1841
.2119
.2420
.2743
.3085
.3446
.3821
.4207
.4602
.5000
3.11 Appendix
75
Tabel I (vervolg)
De standaard normale distributie N (0, 1) : Waarden van Φ(x).
x
.0
.1
.2
.3
.4
.5
.6
.7
.8
.9
1.0
1.1
1.2
1.3
1.4
1.5
1.6
1.7
1.8
1.9
2.0
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
3.0
3.1
3.2
3.3
3.4
3.5
3.6
3.7
3.8
3.9
0
.5000
.5398
.5793
.6179
.6554
.6915
.7257
.7580
.7881
.8159
.8413
.8643
.8849
.9032
.9192
.9332
.9452
.9554
.9641
.9713
.9772
.9821
.9861
.9893
.9918
.9938
.9953
.9965
.9974
.9981
.9987
.9990
.9993
.9995
.9997
.9998
.9998
.9999
.9999
1.0000
1
.5040
.5438
.5832
.6217
.6591
.6950
.7291
.7611
.7910
.8186
.8438
.8665
.8869
.9049
.9207
.9345
.9463
.9564
.9649
.9719
.9778
.9826
.9864
.9896
.9920
.9940
.9955
.9966
.9975
.9982
.9987
.9991
.9993
.9995
.9997
.9998
.9998
.9999
.9999
1.0000
2
.5080
.5478
.5871
.6255
.6628
.6985
.7324
.7642
.7939
.8212
.8461
.8686
.8888
.9066
.9222
.9357
.9474
.9573
.9656
.9726
.9783
.9830
.9868
.9898
.9922
.9941
.9956
.9967
.9976
.9982
.9987
.9991
.9994
.9995
.9997
.9998
.9999
.9999
.9999
1.0000
3
.5120
.5517
.5910
.6293
.6664
.7019
.7357
.7673
.7967
.8238
.8485
.8708
.8907
.9082
.9236
.9370
.9484
.9582
.9664
.9732
.9788
.9834
.9871
.9901
.9925
.9943
.9957
.9968
.9977
.9983
.9988
.9991
.9994
.9996
.9997
.9998
.9999
.9999
.9999
1.0000
4
.5160
.5557
.5948
.6331
.6700
.7054
.7389
.7704
.7995
.8264
.8508
.8729
.8925
.9099
.9251
.9382
.9495
.9591
.9671
.9738
.9793
.9838
.9875
.9904
.9927
.9945
.9959
.9969
.9977
.9984
.9988
.9992
.9994
.9996
.9997
.9998
.9999
.9999
.9999
1.0000
5
.5199
.5596
.5987
.6368
.6736
.7088
.7422
.7734
.8023
.8289
.8531
.8749
.8944
.9115
.9265
.9394
.9505
.9599
.9678
.9744
.9798
.9842
.9878
.9906
.9929
.9946
.9960
.9970
.9978
.9984
.9989
.9992
.9994
.9996
.9997
.9998
.9999
.9999
.9999
1.0000
6
.5239
.5636
.6026
.6406
.6772
.7123
.7454
.7764
.8051
.8315
.8554
.8770
.8962
.9131
.9279
.9406
.9515
.9608
.9686
.9750
.9803
.9846
.9881
.9909
.9931
.9948
.9961
.9971
.9979
.9985
.9989
.9992
.9994
.9996
.9997
.9998
.9999
.9999
.9999
1.0000
7
.5279
.5675
.6064
.6443
.6808
.7157
.7486
.7794
.8078
.8340
.8577
.8790
.8980
.9147
.9292
.9418
.9525
.9616
.9693
.9756
.9808
.9850
.9884
.9911
.9932
.9949
.9962
.9972
.9979
.9985
.9989
.9992
.9995
.9996
.9997
.9998
.9999
.9999
.9999
1.0000
8
.5319
.5714
.6103
.6480
.6844
.7190
.7517
.7823
.8106
.8365
.8599
.8810
.8997
.9162
.9306
.9429
.9535
.9625
.9699
.9761
.9812
.9854
.9887
.9913
.9934
.9951
.9963
.9973
.9980
.9986
.9990
.9993
.9995
.9996
.9997
.9998
.9999
.9999
.9999
1.0000
9
.5359
.5753
.6141
.6517
.6879
.7224
.7549
.7852
.8133
.8389
.8621
.8830
.9015
.9177
.9319
.9441
.9545
.9633
.9706
.9767
.9817
.9857
.9890
.9916
.9936
.9952
.9964
.9974
.9981
.9986
.9990
.9993
.9995
.9997
.9998
.9998
.9999
.9999
.9999
1.0000
Hoofdstuk 4
Toevalsveranderlijken
4.1 Basisbegrippen
In veel probabilistische modellen zijn de uitkomsten numerieke waarden, zoals bijvoorbeeld
meetwaarden afgelezen van een instrument, aandelenkoersen op de beurs, enz. Het is in die
gevallen zinvol aan de numerieke waarden kansen te hechten en op die wijze een toevalsveranderlijke te construeren.
Definitie 4.1 Een toevalsveranderlijke (random variable) X over een kansruimte (Ω, F, P)
is een reëelwaardige functie van de elementaire gebeurtenissen in Ω, d.i. X : Ω → R.
toevalsveranderlijke X
R
Ω
R
R
x
ω
R
Figuur 4.1: Grafische voorstelling van een toevalsveranderlijke X.
Voorbeeld 4.2
(a) Het aantal keer kruis bij vijf achtereenvolgdende gooien van een muntstuk is een toevalsveranderlijke. De rij van de 5 uitkomsten is zelf geen toevalsveranderlijke, aangezien
ze geen expliciete numerieke waarde bezit.
(b) Bij het tweemaal na elkaar werpen van een dobbelsteen zijn de som van de ogen in de
twee worpen, het aantal zessen in de twee worpen, en de vijfde macht van het aantal
78
Toevalsveranderlijken
ogen in de tweede worp, voorbeelden van toevalsveranderlijken.
(c) Bij de transmissie van een boodschap over een communicatiekanaal zijn de transmissietijd en het aantal transmissiefouten voorbeelden van toevalsveranderlijken.
2
Definitie 4.3 Een toevalsveranderlijke X is een discrete toevalsveranderlijke (discrete random variable) als haar waardenverzameling W – d.i. de verzameling van alle waarden die
ze kan aannemen – eindig of aftelbaar oneindig is.
Voorbeeld 4.4 De toevalsveranderlijken gedefinieerd in (a) en (b) van Voorbeeld 4.2 zijn discrete toevalsveranderlijken. Beschouw anderzijds het toevalsexperiment bestaande uit het at
random kiezen van een punt a in het interval [0, 1]. De toevalsveranderlijke die met de uitkomst
a de numerieke waarde a2 associeert is een niet-discrete toevalsveranderlijke. Anderzijds is de
veranderlijke die met a de numerieke waarde
associeert, wel discreet.

, als a > 0 ,
 1
0
, als a = 0 ,
sgn(a) =

−1 , als a < 0 ,
2
Veel begrippen die in vorige hoofdstukken geı̈ntroduceerd werden voor toevalsgebeurtenissen (zoals kansen, conditionering, onafhankelijkheid, enz.), worden in de context van toevalsveranderlijken overgenomen, maar ook nieuwe begrippen, specifiek voor toevalsveranderlijken, zoals bijvoorbeeld de verwachtingswaarde en variantie, doen hun intrede.
4.2 Kansmassafunctie
De meest fundamentele manier om een discrete toevalsveranderlijke te karakteriseren bestaat
er in bij elke waarde die ze kan aannemen, de geassocieerde kans te geven.
Definitie 4.5 Iedere discrete toevalsveranderlijke X bezit een kansmassafunctie (probability mass function) pX , die de kansen weergeeft van de waarden die X kan aannemen. Meer
specifiek, is x een mogelijke waarde van X, dan is de kansmassa van x, pX (x) genoteerd, de
kans dat de gebeurtenis {X = x} zich voordoet, ttz. het is de kans dat één van de elementaire
gebeurtenissen uit Ω die door de functie X op x worden afgebeeld, zich voordoet:
pX (x) = P({ω ∈ Ω|X(ω) = x}) .
Deze laatste kans wordt meestal korter geschreven als P(X = x).
De volgende conventie wordt aangenomen: toevalsveranderlijken worden door hoofdletters
voorgesteld en kleine letters worden gebruikt om reële getallen, zoals de reële waarden van een
toevalsveranderlijke, voor te stellen.
4.3 Bijzondere discrete toevalsveranderlijken
79
Eigenschap 4.6 Voor een discrete toevalsveranderlijke X geldt dat
X
pX (x) = 1 ,
x∈W
waarbij de som loopt over alle mogelijke numerieke waarden van X. Is S ⊆ W een
deelverzameling van mogelijke waarden van X, dan is
X
P(X ∈ S) =
pX (x) .
x∈S
Bewijs
De gebeurtenissen {X = x} zijn disjunct en vormen een partitie van de uitkomstenverzameling Ω als x alle mogelijke waarden van X doorloopt, d.i. Ω = ∪x∈W {X=x}, zodat wegens
de normaliserings- en additiviteitseigenschap van de kansmaat P geldt dat
X
X
1 = P(Ω) = P (∪x∈W {X = x}) =
P(X = x) =
pX (x) .
x∈W
x∈W
Het bewijs voor het geval dat x een deelverzameling S ⊂ W doorloopt, is analoog.
2.
Voorbeeld 4.7 Zij X het aantal keren kruis in twee gooien van een onvervalst muntstuk, dan
is de kansmassafunctie pX (x) van X gegeven door


 1/4, als x = 0 of x = 2 ,
1/2, als x = 1 ,
pX (x) =


0,
voor de overige x .
De kans op ten minste 1 keer kruis is
P(X > 0) =
2
X
pX (x) =
x=1
1 1
3
+ = .
2 4
4
2
4.3 Bijzondere discrete toevalsveranderlijken
4.3.1
Bernoulli-verdeelde veranderlijke
Beschouw één gooi van een muntstuk dat met kans p kruis en met kans 1 − p munt toont. De
discrete toevalsveranderlijke X die de waarde 1 aanneemt als kruis wordt gegooid en de waarde
0 als munt wordt gegooid, is een Bernoulli-verdeelde toevalsveranderlijke of kortweg een
Bernoulli-veranderlijke.
Definitie 4.8 Bernoulli-veranderlijke
Een discrete toevalsveranderlijke X die Bernoulli-verdeeld is met parameter p, heeft de
waardenverzameling W = {0, 1} en de kansmassafunctie
(
p,
als x = 1,
pX (x) =
1 − p, als x = 0 .
80
Toevalsveranderlijken
Bernoulli-veranderlijken worden gebruikt om probabilistische situaties met slechts twee
mogelijke uitkomsten te modelleren, zoals bijvoorbeeld: de toestand van een machine, in
bedrijf of stuk, de medische toestand van een patiënt, ziek of gezond, de keuze van een persoon,
pro of contra een politieke partij.
Merk op dat elk experiment in een rij van Bernoulli-experimenten kan gemodelleerd worden door een Bernoulli-veranderlijke met parameter p, waarbij p de kans op succes en q = 1−p
de kans op faling in ieder experiment voorstelt.
4.3.2
Binomiaal verdeelde toevalsveranderlijke
Een muntstuk wordt n keer opgegooid. Bij elke gooi is p de kans op kruis en 1 − p de kans
op munt, onafhankelijk van de vorige uitkomsten. Stel door X het aantal keren kruis in n
gooien voor. X is een binomiaal verdeelde toevalsveranderlijke met parameters n en p. De
kansmassafunctie pX (x) van X wordt samengesteld met de binomiale kansen (cfr. Sectie 3.2).
Definitie 4.9 binomiale veranderlijke
Een discrete toevalsveranderlijke X die binomiaal verdeeld is met parameters n en p heeft
de waardenverzameling W = {0, 1, . . . , n} en de kansmassafunctie
n k
pX (k) = P(X = k) =
p (1 − p)n−k ,
k = 0, 1, . . . , n .
k
d
Men noteert X = Bin (n, p).
d
In het bijzonder is X = Bin (1, p) een Bernoulli-veranderlijke met parameter p. In Figuur
4.2 worden een paar speciale gevallen van binomiale kansmassafuncties of binomiale verdelingen geschetst. Merk op dat de kansmassafunctie symmetrisch is rond x = n/2 als p = 1/2.
De verdeling helt daarentegen naar links als p < 1/2 en naar rechts als p > 1/2.
pX (k)
pX (k)
6
6
n = 50, p = 0.1
n = 9, p = 1/2
0
1
2
3
4
5
6
7
8
9
k
0
5
10
15
k
Figuur 4.2: Grafische voorstelling van de kansmassafuncties van toevalsveranderlijken die binomiaal
verdeeld zijn met respectievelijk parameters n = 9, p = 1/2 en n = 50, p = 0.1.
Het is duidelijk dat de discrete toevalsveranderlijke Sn die het aantal successen telt in een
rij van n Bernoulli-experimenten, waarbij in elk experiment de kans op succes p is, binomiaal
4.3 Bijzondere discrete toevalsveranderlijken
81
verdeeld is met parameters n en p. Merk ook op dat een binomiaal verdeelde toevalsveranderlijke dus kan opgevat worden als de som van n onafhankelijke Bernoulli-verdeelde toevalsveranderlijken met zelfde parameter p.
4.3.3
Geometrisch verdeelde toevalsveranderlijke
Een muntstuk waarvoor de kans om kruis te gooien p is (0 < p < 1), wordt opgegooid tot
een eerste keer kruis wordt bekomen. De toevalsveranderlijke die het aantal gooien telt, is
geometrisch verdeeld. Merk op dat de kans om voor het eerst kruis te gooien in de k-de beurt
(1 − p)k−1 p is.
Definitie 4.10 geometrische veranderlijke
Een discrete toevalsveranderlijke X die geometrisch verdeeld is met parameter p ∈]0, 1[,
heeft de waardenverzameling W = N0 en de kansmassafunctie
pX (k) = P(X = k) = p (1 − p)k−1 ,
k = 1, 2, . . . .
d
Men noteert X = Geo (p).
Men verifieert gemakkelijk dat pX een geldige kansmassafunctie is, aangezien
∞
X
k=1
∞
∞
X
X
k−1
(1 − p)k = p
(1 − p) p = p
pX (k) =
k=0
k=1
1
= 1.
1 − (1 − p)
Figuur 4.3 illustreert de kansmassafunctie van een geometrisch verdeelde toevalsveranderlijke.
pX (k)
6
p
0
1
2
3
k
Figuur 4.3: Grafische voorstelling van de kansmassafunctie van een geometrisch verdeelde toevalsveranderlijke.
De geometrische verdeling is een bijzonder geval van een negatief binomiale verdeling.
Definitie 4.11 negatief binomiale veranderlijke
Een discrete toevalsveranderlijke X die negatief binomiaal verdeeld is met parameters
r ∈ N0 , p ∈]0, 1[, heeft de waardenverzameling W = N0 en de kansmassafunctie
r+k−2 r
pX (k) = P(X = k) =
p (1 − p)k−1 ,
k = 1, 2, . . . .
k−1
82
Toevalsveranderlijken
In het bijzonder is een toevalsveranderlijke die negatief binomiaal verdeeld is met parameters r = 1 en p, geometrisch verdeeld met parameter p. De toevalsveranderlijke die in een
rij Bernoulli-experimenten, waarbij in elk experiment de kans op succes p is, telt in het hoeveelste experiment voor de r-de keer een succes optreedt, is negatief binomiaal verdeeld met
parameters r en p.
4.3.4
Poisson-verdeelde toevalsveranderlijke
Beschouw een binomiaal verdeelde toevalsveranderlijke met parameters n en p, waarbij p heel
klein en n heel groot is. Denk aan voorbeelden zoals het aantal spellingsfouten in een boek
dat n woorden bevat of het aantal in een ongeluk betrokken auto’s van de n auto’s die op
een bepaalde dag het Sterre-kruispunt passeren. In Sectie 3.5 is aangetoond dat dergelijke
binomiale toevalsveranderlijken zich voor grote n en kleine p laten benaderen door Poissonverdeelde veranderlijken.
Definitie 4.12 Poisson-veranderlijke
Een discrete toevalsveranderlijke X die Poisson-verdeeld is met parameter λ > 0, heeft de
waardenverzameling W = N en de kansmassafunctie
pX (k) =
λk −λ
e ,
k!
k = 0, 1, . . . .
d
Men noteert X = Poisson (λ).
In Figuur 4.4 zijn de kansmassafuncties geschetst van twee Poisson-verdeelde toevalsveranderlijken, respectievelijk met λ = 0.5 en λ = 3. Merk op dat de kansmassafunctie monotoon
dalend is als λ < 1. Als λ > 0, is de kansmassafunctie eerst stijgend en daarna dalend bij
toenemende waarde van k.
pX (k)
pX (k)
6
6
λ = 0.5
λ=3
e−λ ≈ 0.6
0
1
2
3
e−λ ≈ 0.05
k
0
1
2
3
4
5
6
k
Figuur 4.4: Grafische voorstelling van de kansmassafuncties van Poisson-verdeelde toevalsveranderlijken.
4.4 Functies van een discrete toevalsveranderlijke
83
4.4 Functies van een discrete toevalsveranderlijke
Functies laten toe uit een discrete toevalsveranderlijke X andere discrete toevalsveranderlijken
te genereren. Stelt X bijvoorbeeld een temperatuur in graden Celsius voor, dan zet de transformatie Y = 1.8X + 32 deze temperatuur om in graden Fahrenheit. In dit voorbeeld is Y een
lineaire functie van de vorm
Y = g(X) = a X + b ,
met a en b twee scalaire grootheden. Men kan evenwel ook niet-lineaire functies van de algemene vorm
Y = g(X)
beschouwen. Wenst men de temperatuur bijvoorbeeld in een logaritmische schaal uit te drukken,
dan wordt de functie g(X) = log X aangewend.
De functie Y = g(X) van een toevalsveranderlijke X is een toevalsveranderlijke Y , vermits X een reëelwaardige functie is van elementaire gebeurtenissen en ook Y dus een reëelwaardige functie van die elementaire gebeurtenissen is: met elke uitkomst wordt zowel een
numerieke waarde x van X als een numerieke waarde y = g(x) van Y gegenereerd. Is X
discreet met kansmassafunctie pX , dan is ook Y discreet.
Eigenschap 4.13 Zij X een discrete toevalsveranderlijke met kansmassafunctie pX en
Y = g(X). De kansmassafunctie pY van de discrete toevalsveranderlijke Y volgt uit
X
pX (x) .
pY (y) =
{x|g(x)=y}
Voorbeeld 4.14 Zij Y = X 2 . Als gegeven is dat
(
1/9 , als x een geheel getal is ∈ [−4, +4] ,
pX (x) =
0,
voor de overige x .
dan zijn de mogelijke waarden van Y : y = 0, 1, 4, 9, 16. Voor iedere y wordt pY (y) berekend
door alle waarden van pX (x) op te tellen waarvoor x2 = y. In het bijzonder is er slechts één
waarde van X die correspondeert met y = 0, namelijk x = 0. Dus is pY (0) = pX (0) =
1/9. Voor elke y = 1, 2, 3, 4 zijn er twee waarden van X die ermee corresponderen. Zo is
bijvoorbeeld pY (1) = pX (−1) + pX (1) = 2/9. De kansmassafunctie van Y is bijgevolg:


 2/9 , als y = 1, 4, 9, 16 ,
pY (y) =


1/9 ,
als y = 0 ,
0,
voor de overige y .
2
4.5 Verwachtingswaarde en variantie
De kansmassafunctie van een toevalsveranderlijke X is een verzameling van numerieke waarden, namelijk de kansen geassocieerd met de waarden die X kan aannemen. Het is wenselijk
dat deze informatie zou samengevat worden in één of enkele representatieve getallen. De
verwachtingswaarde en variantie van de toevalsveranderlijke X zijn dergelijke getallen.
84
4.5.1
Toevalsveranderlijken
Verwachtingswaarde
Een kansspel heeft n mogelijke numerieke uitkomsten m1 , m2 , . . . , mn met respectievelijk
kansen p1 , p2 , . . . , ...pn . Die uitkomsten stellen tevens het gewonnen bedrag voor. Wat is de
verwachte winst per beurt? Dit lijkt een ietwat dubbelzinnige vraag omdat in iedere beurt alle
uitkomsten mogelijk zijn. Veronderstel echter dat het spel k keer gespeeld is en stel door ki het
aantal keren voor dat mi is uitgekomen. Het totaal geı̈nde bedrag is m1 k1 +m2 k2 +· · ·+mn kn
en het bedrag gemiddeld per beurt geı̈nd, is
M=
m1 k1 + m2 k2 + · · · + mn kn
.
k
Neemt het aantal beurten k toe, dan convergeren de relatieve frequenties ki /k in kans naar pi .
Bijgevolg is het ‘verwachte’ bedrag per beurt
M=
m1 k1 + m2 k2 + · · · + mn kn
≈ m1 p1 + m2 p2 + · · · + mn pn .
k
Dit inleidend voorbeeld motiveert de volgende definitie.
Definitie 4.15 De verwachtingswaarde of verwachting (expectated value, expectation) van
een discrete toevalsveranderlijke X met kansmassafunctie pX is gedefinieerd door
X
E[X] =
x pX (x) .
x∈W
Indien de discrete toevalsveranderlijke X een aftelbaar
P oneindig aantal waarden kan aannemen, isPde verwachtingswaarde goed gedefinieerd als x |x|pX (x) < ∞. Dan convergeert
de reeks x xpX (x) naar een eindige waarde, die onafhankelijk is van de volgorde waarin de
verschillende termen gesommeerd worden.
Voorbeeld 4.16 Beschouw twee onafhankelijke gooien van een muntstuk, met telkens 3/4 kans
op kruis. Zij X de toevalsveranderlijke die het aantal keren kruis telt: X is binomiaal verdeeld
met parameters n = 2 en p = 3/4. De kansmassafunctie is

(1/4)2 ,
als k = 0 ,



2 · (1/4) · (3/4) , als k = 1 ,
pX (k) =



(3/4)2 ,
als k = 2 .
De verwachtingswaarde van X is
2
2
1
3
1 3
24
3
E[X] = 0 ·
+1· 2· ·
=
= .
+2·
4
4 4
4
16
2
2
Het is belangrijk om in te zien dat de verwachtingswaarde E[X] van X een representatieve grootheid is die ergens in het midden van het waardengebied van X ligt. Plaatst men
op een (massaloze) staaf op de posities x puntmassa’s met gewichten pX (x), dan geeft de
verwachtingswaarde van X de positie weer van het massamiddelpunt of zwaartepunt van de
massapunten.
4.5 Verwachtingswaarde en variantie
4.5.2
85
Momenten en variantie
Behalve de verwachtingswaarde zijn er andere representatieve numerieke grootheden die met
een toevalsveranderlijke en haar kansmassafunctie geassocieerd worden. Zo bijvoorbeeld wordt
het tweedeordemoment of kortweg tweede moment van de toevalsveranderlijke X gedefinieerd als de verwachtingswaarde van de toevalsveranderlijke X 2 .
Definitie 4.17 Het moment van k-de orde of k-de moment µk (X) van een toevalsveranderlijke X is de verwachtingswaarde van de toevalsveranderlijke X k , d.i.
µk (X) = E[X k ] .
De verwachtingswaarde is dus eveneens het moment van eerste orde.
Een belangrijke grootheid geassocieerd met een toevalsveranderlijke X is haar variantie,
die wordt genoteerd als var(X).
Definitie 4.18 De variantie (variance) var(X) van een toevalsveranderlijke X is de
verwachtingswaarde van de toevalsveranderlijke (X − E[X])2 , d.i.
var(X) = E (X − E[X])2 .
De standaardafwijking (standard deviation) van een toevalsveranderlijke X, σX genoteerd,
is de positieve vierkantswortel van de variantie van X, d.i.
p
σX = var(X) .
Merk op dat de variantie nooit negatief is, aangezien X −E[X])2 uitsluitend niet-negatieve
waarden aanneemt. De variantie is een maat voor de spreiding van X ten opzichte van de
verwachtingswaarde. De standaardafwijking is een hiervan afgeleide spreidingsmaat die vaak
eenvoudiger interpreteerbaar is, aangezien ze in dezelfde eenheden als X uitgedrukt wordt.
Eén manier om var(X) te berekenen, is het toepassen van de definitie van verwachtingswaarde nadat eerst de kansmassafunctie van de toevalsveranderlijke (X − E[X])2 berekend
werd op de manier zoals uitgelegd in Sectie 4.4.
Voorbeeld 4.19 Beschouw de toevalsveranderlijke X uit Voorbeeld 4.14 met kansmassafunctie
(
1/9 , als x een geheel getal is in [−4, +4] ,
pX (x) =
0,
voor de overige x .
De verwachtingswaarde E[X] is 0. Dit volgt onmiddellijk uit de symmetrie van de kansmassafunctie rond x=0, maar kan ook rechtstreeks geverifieerd worden:
E[X] =
X
x
4
1 X
x pX (x) =
x = 0.
9
x=−4
Stel Y = (X − E[X])2 = X 2 . Zoals in Voorbeeld 4.14 bekomt men


 2/9 , als y = 1, 4, 9, 16 ,
1/9 , als y = 0 ,
pY (y) =


0,
voor de overige y .
86
Toevalsveranderlijken
De variantie van X wordt dan berekend als
var(X) = E[Y ] =
X
y
1
2
2
2
2
60
+ 1 · + 4 · + 9 · + 16 · =
.
9
9
9
9
9
9
y pY (y) = 0 ·
2
Er bestaat een kortere manier om var(X) te berekenen die niet van de kansmassafunctie
van (X − E[X])2 maar wel van de kansmassa van X gebruik maakt.
Eigenschap 4.20 verwachtingswaarderegel voor functies van een toevalsveranderlijke
Zij X een discrete toevalsveranderlijke met waardengebied W en kansmassafunctie pX en
zij g(X) een functie van X. De verwachtingswaarde van de toevalsveranderlijke g(X) is
gegeven door
X
E [g(X)] =
g(x) pX (x) .
x∈W
Bewijs
Stel Y = g(X). Met behulp van
X
pY (y) =
pX (x)
x|g(x)=y
vindt men
E [g(X)] = E[Y ] =
X
y pY (y) =
y
=
X
y
X
X
y
y pX (x) =
{x|g(x)=y}
y
X
y
X
pX (x)
X
g(x) pX (x) =
{x|g(x)=y}
{x|g(x)=y}
X
g(x) pX (x) .
x
Bijgevolg is
X
var(X) = E (X − E[X])2 =
(x − E[X])2 pX (x) .
x
Op analoge wijze wordt het k-de moment van X berekend als
h i X
µk (X) = E X k =
xk pX (x) ,
x
zodat de berekening van de kansmassafunctie van X k in feite overbodig is.
Voorbeeld 4.21 Herneem Voorbeeld 4.13. X heeft als kansmassafunctie
(
1/9 , als x een geheel getal is in [−4, +4] ,
pX (x) =
0,
voor de overige x ,
en men bekomt
2
4.5 Verwachtingswaarde en variantie
87
4
X
1 X 2
var(X) = E (X − E[X])2 =
(x − E[X])2 pX (x) =
x
9
x
x=−4
60
1
(16 + 9 + 4 + 1 + 0 + 1 + 4 + 9 + 16) =
,
9
9
=
consistent met het eerder gevonden resultaat.
2
Var(X)
P is nooit negatief, maar wat betekent het als var(X) = 0? Dan is elke term in de
formule x (x − E[X])2 pX (x) gelijk aan 0, of, voor elke x waarvoor pX (x) > 0 geldt dat
x = E[X]. X is dus niet echt een toevalsgrootheid, want X neemt met kans 1 een constante
waarde aan.
4.5.3
Eigenschappen van de verwachtingswaarde en variantie
Uit de regel voor de verwachtingswaarde van functies kunnen de volgende eigenschappen
afgeleid worden.
Eigenschap 4.22 verwachtingswaarde en variantie van een lineaire functie
Is Y = aX + b , met gegeven scalairen a en b, dan geldt dat
var(Y ) = a2 var(X) .
E[Y ] = aE[X] + b ,
Bewijs
Men bekomt achtereenvolgens
X
X
X
E[Y ] =
(ax + b)pX (x) = a
x pX (x) + b
pX (x) = aE[X] + b .
x
x
x
Daarenboven is
var(Y ) =
X
x
= a2
(ax + b − E[aX + b])2 pX (x) =
X
x
X
x
(ax + b − aE[X] − b)2 pX (x)
(x − E[X])2 pX (x) = a2 var(X) .
2
Eigenschap 4.23 variantie in termen van momenten
var(X) = E[X 2 ] − (E[X])2 .
Bewijs
var(X) =
X
=
X
x
x
(x − E[X])2 pX (x) =
x2 pX (x) − 2E[X]
X
X
x
x
x2 − 2xE[X] + (E[X])2 pX (x)
x pX (x) + (E[X])2
X
x
pX (x)
88
Toevalsveranderlijken
= E[X 2 ] − 2(E[X])2 + (E[X])2 = E[X 2 ] − (E[X])2 .
2
Deze formule wordt veelvuldig gebruikt om de variantie van een toevalsveranderlijke te
berekenen. Volgend voorbeeld illustreert dat voor een niet-lineaire functie g(X) over het algemeen E[g(X)] verschillend is van g(E[X]).
Voorbeeld 4.24 Bij mooi weer, voorkomend met kans 0.6, wandelt Alice 2km naar school
met een snelheid van 5km/u, anders rijdt ze naar school met de bromfiets tegen een snelheid
van 30km/u. Wat is verwachte tijd T die Alice nodig heeft om zich van school naar huis te
verplaatsen?
Oplossing
Bepaal eerst de kansmassafunctie van T , nl.
(
0.6 , als t = 2/5 uur ,
pT (t) =
0.4 , als t = 2/30 uur ,
en bereken vervolgens de verwachtingswaarde als
E[T ] = 0.6 ·
2
2
4
+ 0.4 ·
=
uur .
5
30
15
Merk op dat het verkeerd is eerst de verwachtingswaarde van de snelheid V te berekenen, d.i.
E[V ] = 0.6 · 5 + 0.4 · 30 = 15km/u ,
en dan op grond van het verband T = 2/V te besluiten dat E[T ] = 2/E[V ] = 2/15 uur. In dit
voorbeeld is E[T ] = E[2/V ] 6= 2/E[V ].
2
4.5.4
Verwachtingswaarde en variantie van bijzondere toevalsveranderlijken
In de volgende voorbeelden worden formules afgeleid voor de verwachtingswaarde en variantie
van een aantal bijzondere toevalsveranderlijken die meermaals in verdere hoofdstukken zullen
gebruikt worden.
Voorbeeld 4.25 Bernoulli-veranderlijke Zij X een Bernoulli-veranderlijke met parameter p,
d.i.
(
p,
als k = 1 ,
pX (k) =
1 − p , als k = 0 .
Men berekent achtereenvolgens:
E[X] = 1 · p + 0 · (1 − p) = p ,
E[X 2 ] = 12 · p + 02 · (1 − p) = p ,
var(X) = E[X 2 ] − (E[X])2 = p − p2 = p(1 − p) .
2
4.5 Verwachtingswaarde en variantie
89
Voorbeeld 4.26 discrete uniforme veranderlijke Een toevalsveranderlijke is discreet uniform verdeeld op een interval [a, b] met a < b gehele constanten, indien alle gehele waarden in
het interval, grenzen inbegrepen, met gelijke kans worden aangenomen, d.i.
1
, als k = a, a + 1, . . . , b ,
pX (x) = b − a + 1

0,
voor de overige k .


Gelet op de symmetrie van de kansmassafunctie is de verwachtingswaarde van X
E[X] =
a+b
.
2
Om de variantie te berekenen, wordt eerst het eenvoudiger geval a = 1 en b = n beschouwd.
Daarvoor is
n
1 X 2 1
k = (n + 1)(2n + 1) ,
E[X 2 ] =
n
6
k=1
zodat
1
1
var(X) = E[X 2 ] − (E[X])2 = (n + 1)(2n + 1) − (n + 1)2
6
4
=
1
n2 − 1
(n + 1)(4n + 2 − 3n − 3) =
.
12
12
Voor algemene intervalgrenzen a en b, merkt men op dat de toevalsveranderlijke die uniform
verdeeld is op het interval [a, b] dezelfde variantie bezit als een toevalsveranderlijke die uniform
verdeeld is op [1, b − a + 1], aangezien de kansmassafunctie van deze laatste een verschuiving
is van de kansmassafunctie van de eerste. De gevraagde variantie wordt bijgevolg bekomen
door in vorige formule n = b − a + 1 te stellen, zodat
var(X) =
(b − a)(b − a + 2)
(b − a + 1)2 − 1
=
.
12
12
2
d
Voorbeeld 4.27 Poisson-veranderlijke Zij X = Poisson (λ), d.i.
pX (k) = e−λ
λk
,
k!
k = 0, 1, 2, . . . .
De verwachtingswaarde van X wordt als volgt berekend:
E[X] =
∞
X
k=0
Voorts is
−λ λ
ke
k
k!
−λ
=e
∞
∞
X
X
λk−1
λk
−λ
k
= λe
= λe−λ eλ = λ .
k!
(k − 1)!
k=1
k=1
90
Toevalsveranderlijken
2
E[X ] =
∞
X
2 −λ λ
k e
k=1
=λ
∞
X
m=0
k
k!
−λ
= λe
(m + 1)e−λ
∞
X
k=1
k
λk−1
(k − 1)!
λm
= λ(E[X] + 1) = λ(λ + 1) ,
m!
waaruit ten slotte volgt dat
var(X) = E[X 2 ] − (E[X])2 = λ(λ + 1) − λ2 = λ .
2
4.5.5
Beslissen op grond van verwachtingswaarden
Verwachtingswaarden worden vaak aangewend in optimalisatieproblemen waarbij moet gekozen worden tussen verschillende opties die ieder een stochastische opbrengst genereren.
Beschouw als prototype voor dergelijk probleem een quiz waarbij een kandidaat twee vragen krijgt en moet beslissen welk van de twee hij eerst wenst te beantwoorden. Stel dat vraag 1
met kans 0.8 correct wordt beantwoord en dat de kandidaat in dat geval 100 euro krijgt, terwijl
vraag 2 met kans 0.5 correct wordt beantwoord en in dat geval de kandidaat 200 euro krijgt.
Alleen als de kandidaat de eerst gekozen vraag correct beantwoordt, mag hij ook de andere
vraag beantwoorden. Welke vraag moet de kandidaat het eerst beantwoorden om de opbrengst
te maximaliseren?
Het antwoord is niet zonder meer duidelijk want er is een afweging te maken: starten met
de moeilijkste maar meest winstgevende vraag geeft immers het risico dat de gemakkelijker
vraag niet eens meer mag beantwoord worden. Noem X de opbrengst. De oplossing bestaat
er in voor beide opties de verwachtingswaarde van X te berekenen en de optie met de grootste
winstverwachting te verkiezen.
• Vraag 1 wordt het eerst beantwoord: in dit geval is de kansmassafunctie van X
pX (0) = 0.2 ,
pX (100) = 0.8 · 0.5 ,
pX (300) = 0.8 · 0.5 ,
zodat
E[X] = 0.8 · 0.5 · 100 + 0.8 · 0.5 · 300 = 160 euro .
• Vraag 2 wordt het eerst beantwoord: in dit geval is de kansmassafunctie van X
pX (0) = 0.5 ,
pX (200) = 0.5 · 0.2 ,
pX (300) = 0.5 · 0.8 ,
zodat
E[X] = 0.5 · 0.2 · 200 + 0.5 · 0.8 · 300 = 140 euro .
Het is bijgevolg aangewezen eerst de gemakkelijker vraag te proberen.
Voorgaande analyse kan nog veralgemeend worden. Stel door p1 en p2 de kansen voor
om respectievelijk vraag 1 en vraag 2 correct te beantwoorden en door v1 en v2 de corresponderende opbrengsten. Wordt vraag 1 het eerst beantwoord dan is
E[X] = p1 (1 − p2 )v1 + p1 p2 (v1 + v2 ) = p1 v2 + p1 p2 v2 .
4.6 Continue toevalsveranderlijken
91
Wordt anderzijds vraag 2 het eerst beantwoord, dan is
E[X] = p2 (1 − p1 )v2 + p2 p1 (v2 + v1 ) = p2 v2 + p2 p1 v1 .
Het is bijgevolg te verkiezen om te beginnen met vraag 1 als
p 1 v 1 + p 1 p 2 v2 ≥ p 2 v 2 + p 2 p 1 v1 ,
of als
p 1 v1
p 2 v2
≥
.
1 − p1
1 − p2
De optimale orde van de vragen is deze die correspondeert met dalende waarde van de uitdrukking pv/(1 − p).
4.6 Continue toevalsveranderlijken
Toevalsveranderlijken met een continuüm aan mogelijke waarden komen in de praktijk frequent
voor. Denk bijvoorbeeld aan de snelheid van een voertuig. Indien de snelheid gemeten wordt
met een digitale snelheidsmeter, kunnen de metingen wel nog als discrete grootheden worden
gezien, maar om de exacte snelheid te modelleren, is het nodig een continue toevalsveranderlijke te beschouwen. Benevens het streven naar nauwkeurigheid is er een tweede reden om
modellen met continue toevalsveranderlijken te beschouwen: ze laten toe gebruik te maken
van een arsenaal van methodes uit de wiskundige analyse waarvoor in het discrete geval niet
altijd een equivalent bestaat.
Definitie 4.28 Een toevalsveranderlijke wordt continu genoemd indien er een niet-negatieve
functie fX bestaat, de kansdichtheidsfunctie of kortweg kansdichtheid van X genoemd
(probability density function), zodanig dat
Z
fX (x) dx ,
P(X ∈ B) =
B
voor om het even welke Borel-deelverzameling B ⊂ R. In het bijzonder is de kans dat de
waarde van X in een gegeven interval [a, b] gelegen is, gegeven door
P(a ≤ X ≤ b) =
Z
b
fX (x) dx ,
a
wat kan geı̈nterpreteerd worden als de oppervlakte onder de kromme die de functie fX
voorstelt tussen x = a en x = b.
De integralen in deze definitie dienen opgevat te worden als Riemann-integralen. Er bestaan
functies fX waarvoor de integralen geen betekenis hebben, maar deze worden hier uitgesloten.
In ieder geval zijn de integralen goed gedefinieerd wanneer fX stuksgewijs continu is met een
eindig of aftelbaar oneindig aantal discontinuı̈teitspunten.
Ra
Merk op dat voor één waarde van X geldt dat P(X = a) = a fX (x) dx = 0. Voor een
continue toevalsveranderlijke heeft het al of niet includeren van de eindpunten van een interval
dan ook geen invloed, d.i.
P(a ≤ X ≤ b) = P(a < X < b) = P(a ≤ X < b) = P(a < X ≤ b) .
92
Toevalsveranderlijken
fX (x)
6
Ω
A
R
>
-
gebeurtenis {a ≤ X ≤ b}
a
b
x
Figuur 4.5: Illustratie van een kansdichtheidsfunctie fX .
Eigenschap 4.29 Een kansdichtheidsfunctie fX bezit de volgende eigenschappen:
• positiviteit
fX (x) ≥ 0
• normalisering
Z
∞
∀x ∈ R ,
fX (x) dx = 1 .
−∞
Bewijs
Indien er een open interval bestond waarin f (x) < 0, dan zou voor elk paar punten a < b
Rb
gelegen in dit interval gelden dat P(a ≤ X ≤ b) = a fX (x) dx < 0, wat tegenstrijdig is,
aangezien een kans niet negatief kan zijn. De functie fX kan wel in een eindig of aftelbaar
oneindig aantal geı̈soleerde punten negatief zijn, maar aangezien de waarde van fX in een
discontinuı̈teitspunt geen invloed heeft op de integralen, kan ze vrij worden gekozen. Conventioneel kiest men dan die waarden altijd groter of gelijk aan nul.
Het bewijs van de normaliseringseigenschap volgt uit
Z
∞
−∞
fX (x) dx = P(−∞ < X < ∞) = P(Ω) = 1 .
2
Merk op dat de normaliseringseigenschap impliceert dat de totale oppervlakte onder de kromme
fX op 1 genormeerd is. Beschouw een interval [x, x + δ] met kleine lengte δ. Er geldt
P([x, x + δ]) =
Z
x
x+δ
fX (t) dt ≈ fX (x) · δ ,
zodat fX (x) kan geı̈nterpreteerd worden als de ‘kansmassa per eenheid van lengte’ in de naaste
omgeving van x (zie Figuur 4.6). Vandaar de benaming ‘kansdichtheid’, aangezien in de mechanica een massa per lengteeenheid een massadichtheid is. Het is belangrijk in te zien dat fX
weliswaar gebruikt wordt om kansen te berekenen, maar zelf geen kans van een gebeurtenis
voorstelt. In het bijzonder is fX niet beperkt tot waarden kleiner dan of gelijk aan 1. Zo kan
fX zelfs oneindig groot worden, op voorwaarde dat de oppervlakte onder de kromme 1 is.
4.6 Continue toevalsveranderlijken
93
6
fX (x)
- δ
-
x x+δ
Figuur 4.6: Interpretatie van fX (x) als kansmassadichtheid.
Voorbeeld 4.30 continue uniforme veranderlijke Op de omtrek van een rad is het interval [0, 1] uitgezet, zodanig dat 0 en 1 samenvallen. Het rad wordt gedraaid en komt op een
willekeurig punt van de omtrek tegenover een wijzer te staan die een reëel getal tussen 0 en 1
aanduidt. Aangezien de wijzer met gelijke kans wijst in om het even welk interval van vaste
lengte, kan het experiment gemodelleerd worden in termen van een toevalsveranderlijke X met
kansdichtheidsfunctie
(
c , als 0 ≤ x ≤ 1 ,
fX (x) =
0 , voor de overige x ,
met c een constante die bepaald wordt door de normaliseringseigenschap. Immers
Z 1
Z 1
Z ∞
dx = c ,
c dx = c
fX (x) dx =
1=
−∞
0
0
zodat c = 1.
Meer algemeen, beschouw een toevalsveranderlijke X die waarden aanneemt in het interval
[a, b], en veronderstel opnieuw dat alle deelintervallen van gelijke lengte even waarschijnlijk
zijn. Dit type van toevalsveranderlijke wordt een uniform verdeelde of kortweg uniforme
toevalsveranderlijke genoemd. De kansdichtheidsfunctie is

 1 , als a ≤ x ≤ b ,
fX (x) = b − a

0,
voor de overige x .
De constante waarde van de dichtheid in [a, b] volgt uit de normaliseringseigenschap. Immers,
Z ∞
Z b
1
1=
fX (x) dx =
dx .
b
−
a
−∞
a
2
Voorbeeld 4.31 stuksgewijs constante kansdichtheid Peter heeft op een zonnige dag tussen
15 en 20 minuten en op een regenachtige dag tussen 20 en 25 minuten nodig om zich naar het
werk te verplaatsen, met alle tijdsduren van gelijke lengte in beide gevallen even waarschijnlijk. Veronderstel dat een dag met 2/3 kans zonnig en met 1/3 kans regenachtig is. Wat is de
kansdichtheid van de tijd, voorgesteld door de toevalsveranderlijke X, die Peter nodig heeft
om zich naar zijn werk te verplaatsen?
94
Toevalsveranderlijken
Oplossing
Interpreteer de vaststelling dat alle tijden even waarschijnlijk zijn zowel op zonnige als
op regenachtige dagen als het feit dat de kansdichtheidsfunctie van X constant is in elk van
de intervallen [15, 20] en [20, 25]. Aangezien bovendien deze twee intervallen alle mogelijke
verplaatsingstijden bevatten, is de kansdichtheid elders 0. Dus:


 c1 , als 15 ≤ x ≤ 20 ,
fX (x) = c2 , als 20 ≤ x ≤ 25 ,


0 , voor de overige x ,
met c1 en c2 constanten die als volgt bepaald worden:
Z 20
Z 20
2
c1 dx = 5 c1 ,
fX (x) dx =
= P(zonnige dag) =
3
15
15
Z 25
Z 25
1
c2 dx = 5 c2 ,
fX (x) dx =
= P(regenachtige dag) =
3
20
20
zodat
c1 =
2
,
15
c2 =
1
.
15
2
Voorbeeld 4.32 Beschouw een toevalsveranderlijke met kansdichtheidsfunctie

1
 √
, als 0 < x ≤ 1 ,
fX (x) = 2 x

0,
voor de overige x .
Hoewel fX (x) oneindig groot wordt wanneer x nadert tot 0, is dit een geldige kansdichtheid,
aangezien
Z 1
Z ∞
√ 1
1
√ dx = x0 = 1 .
fX (x) dx =
0 2 x
−∞
2
4.7 Verwachtingswaarde en variantie van continue toevalsveranderlijken
Definitie 4.33 De verwachtingswaarde of verwachting van een continue toevalsveranderlijke X met kansdichtheidsfunctie fX is gegeven door
Z ∞
E[X] =
xfX (x) dx .
−∞
Bemerk de analogie met het discrete geval: de kansmassafunctie en de sommatie zijn respectievelijk door een kansdichtheidsfunctie en een integratie vervangen. Zoals voor discrete
toevalsveranderlijken kan E[X] nog steeds geı̈nterpreteerd worden als het zwaartepunt van de
kansdichtheidsfunctie en ook als een benadering van de waarde van X uitgemiddeld over een
heel groot aantal herhalingen van het toevalsexperiment. De wiskundige eigenschappen zijn
4.7 Verwachtingswaarde en variantie van continue toevalsveranderlijken
95
bovendien dezelfde als in het discrete geval – een integraal is tenslotte niets anders dan de
limietvorm van een som.
R∞
Het kan voorkomen dat de integraal −∞ xfX (x) dx oneindig is of zelfs niet goed gedefinieerd is. Naar analogie met het discrete Rgeval geldt dat de verwachtingswaarde bestaat als de
∞
integraal volstrekt convergent is, d.i. als −∞ |x|fX (x) dx < 0. In dat geval is die verwachtingswaarde ook eindig.
Is X een continue toevalsveranderlijke met gegeven kansdichtheid, dan is elke reëelwaardige functie Y = g(X) van X ook een toevalsveranderlijke. Merk op dat Y een continue of een
discrete toevalsveranderlijke kan zijn, naargelang het waardengebied van de functie g discreet
of continu is.
De hiernavolgende lijst bevat definities en eigenschappen van de verwachtingswaarde en
variantie van een continue toevalsveranderlijke die alle een discrete tegenhanger hebben.
Eigenschap 4.34 Zij X een continue toevalsveranderlijke met kansdichtheidsfunctie fX .
• De verwachtingswaarde van X is
E[X] =
Z
∞
xfX (x) dx .
−∞
• De regel voor de verwachtingswaarde van een functie g(X) heeft de vorm
Z ∞
g(x)fX (x) dx .
E[g(X)] =
−∞
• De variantie van X is
var(X) = E (X − E[X])2 =
• Er geldt dat
Z
∞
−∞
(x − E[X])2 fX (x) dx .
0 ≤ var(X) = E[X 2 ] − (E[X])2 .
• Als Y = aX + b, met a en b gegeven scalairen, dan is
E[Y ] = aE[X] + b ,
var(Y ) = a2 var(X) .
Voorbeeld 4.35 verwachtingswaarde en variantie van een uniforme toevalsveranderlijke
Beschouw het geval van een uniforme kansdichtheidsfunctie op het interval [a, b], zoals in
Voorbeeld 4.29. Er geldt
Z b
1
b2 − a2
a+b
x
E[X] =
dx =
=
,
b
−
a
2(b
−
a)
2
a
en
Z b
b3 − a3
a2 + ab + b2
1
dx =
=
,
x2
E[X 2 ] =
b−a
3(b − a)
3
a
zodat
a2 + ab + b2 (a + b)2
(b − a)2
var(X) = E[X 2 ] − (E[X])2 =
−
=
.
3
4
12
2
96
Toevalsveranderlijken
4.8 Bijzondere continue verdelingen
4.8.1
Exponentieel verdeelde toevalsveranderlijken
Definitie 4.36 Een exponentieel verdeelde of kortweg exponentiële toevalsveranderlijke X
met parameter λ > 0 is een continue toevalsveranderlijke met kansdichtheidsfunctie
(
λe−λx als x ≥ 0 ,
fX (x) =
0,
voor de overige x .
Deze functie heeft de normaliseringseigenschap, d.i.
Z
∞
fX (x) dx =
−∞
Z
∞
0
∞
λe−λx dx = −e−λx 0 = 1 ,
en is bijgevolg een geldige kansdichtheidsfunctie.
6
fX (x)
6
fX (x)
λ
λ groot
λ klein
λ
-
0
-
0
x
x
Figuur 4.7: De kansdichtheidsfunctie λe−λx van exponentieel verdeelde toevalsveranderlijken.
Een exponentiële toevalsveranderlijke is geschikt om bijvoorbeeld de levensduur van een
machine of van een lamp, of de tijdsduur tussen twee oproepen in een telefooncentrale, te
modelleren. De verwachtingswaarde en variantie worden als volgt berekend.
E[X] =
2
E[X ] =
Z
Z
∞
0
∞
∞
xλe−λx dx = (−xe−λx )0 +
2
−λx
x λe
2 −λx
dx = (−x e
0
zodat
var(X) =
∞
)0 +
Z
∞
Z
∞
0
e−λx dx = 0 −
e−λx ∞
1
= ,
0
λ
λ
2xe−λx dx = 0 +
0
2
2
E[X] = 2 ,
λ
λ
2
1
1
− 2 = 2.
2
λ
λ
λ
Voorbeeld 4.37 De tijd tot wanneer in de Sahara een kleine meteoriet neerkomt, wordt gemodelleerd als een exponentiële toevalsveranderlijke met een verwachtingswaarde van 10 dagen.
Als het thans middernacht is, wat is de kans dat vandaag tussen 6u en 18u een meteoriet
neerkomt?
4.8 Bijzondere continue verdelingen
97
Oplossing
Stel door X de tijd voor gerekend vanaf middernacht tot de eerstvolgende landing van een
meteoriet. X is exponentieel verdeeld met verwachtingswaarde 1/λ = 10 (dagen) waaruit
volgt dat λ = 1/10. De gevraagde kans is
1
P(1/4 ≤ X ≤ 3/4) =
10
Z
3/4
1/4
3/4
e−x/10 dx = (−e−x/10 )1/4 = −e−3/40 + e−1/40 = 0.0476 .
2
4.8.2
Gamma-verdeelde toevalsveranderlijken
Definitie 4.38 Een gamma-verdeelde toevalsveranderlijke X met parameters α > 0 en
β > 0, is een continue toevalsveranderlijke met kansdichtheidsfunctie

 1 β α xα−1 e−βx , als x > 0 ,
fX (x) = Γ(α)

0,
voor de overige x ,
waarbij Γ de gamma-functie is die voor α > 0 gedefinieerd is door
Z ∞
xα−1 e−x dx .
Γ(α) =
0
d
Men noteert X = Gamma (α, β). Voor gehele waarden van de parameter α wordt een
gamma-verdeling ook Erlang-verdeling genoemd. Als bovendien α = 1, dan is ze de exponentiële verdeling met parameter β.
De gamma-functie heeft de volgende eigenschap die handig is bij berekeningen met de
kansdichtheid van de gamma-verdeling.
Eigenschap 4.39 Voor elke α > 1 geldt dat
Γ(α) = (α − 1)Γ(α − 1) .
In het bijzonder is Γ(1) = 1 en daarom geldt voor elke gehele n ≥ 2 dat
Γ(n) = (n − 1)! .
Bewijs
Door partiële integratie bekomt men onmiddellijk
Z ∞
Z ∞
α−1 −x
Γ(α) = =
x
e dx = −
xα−1 d(e−x )
0
0
∞
= −xα−1 e−x 0 + (α − 1)
Z
∞
0
xα−2 e−x dx = 0 + (α − 1)Γ(α − 1) ,
waarbij in de laatste overgang gebruik is gemaakt van de voorwaarde α > 1. Voorts is
Z ∞
∞
e−x dx = (−e−x )0 = 1 .
Γ(1) =
0
98
Toevalsveranderlijken
Tenslotte is voor gehele n ≥ 2
Γ(n) = (n − 1)Γ(n − 1) = n(n − 1) · · · 1 · Γ(1) = (n − 1)! .
2
De verwachtingswaarde en variantie worden als volgt berekend.
βα
E[X] =
Γ(α)
βα
E[X ] =
Γ(α)
2
Z
Z
∞
∞
x xα−1 e−βx dx =
0
x2 xα−1 e−βx dx =
0
β α Γ(α + 1)
α
= ,
α+1
Γ(α) β
β
β α Γ(α + 2)
α(α + 1)
=
,
α+2
Γ(α) β
β2
zodat
var(X) =
α(α + 1) α2
α
− 2 = 2.
β2
β
β
Merk op dat β = E[X]/var(X) en α = (E[X])2 /var(X).
4.8.3
Beta-verdeelde toevalsveranderlijken
Definitie 4.40 Een beta-verdeelde toevalsveranderlijke X met parameters α > 0 en β > 0,
is een continue toevalsveranderlijke met kansdichtheidsfunctie

 Γ(α + β) xα−1 (1 − x)β−1 , als 0 < x < 1 ,
fX (x) = Γ(α)Γ(β)

0,
voor de overige x .
d
Men noteert X = Beta (α, β).
Een speciaal geval is de Beta(1, 1) verdeling, die gelijk is aan de continue uniforme verdeling op het eenheidsinterval [0, 1].
De verwachtingswaarde en variantie worden als volgt berekend.
Γ(α + β)
E[X] =
Γ(α)Γ(β)
Z
1
0
x xα−1 (1 − x)β−1 dx =
Γ(α + β)
E[X ] =
Γ(α)Γ(β)
2
=
Z
1
0
Γ(α + β) Γ(α + 1)Γ(β)
α
=
,
Γ(α)Γ(β) Γ(α + β + 1)
α+β
x2 xα−1 (1 − x)β−1 dx =
Γ(α + β) Γ(α + 2)Γ(β)
Γ(α)Γ(β) Γ(α + β + 2)
α(α + 1)
,
(α + β)(α + β + 1)
zodat
var(X) =
α2
αβ
α(α + 1)
−
=
.
2
2
(α + β)(α + β + 1) (α + β)
(α + β) (α + β + 1)
4.9 Cumulatieve verdelingsfuncties
99
4.9 Cumulatieve verdelingsfuncties
Tot hiertoe werden discrete en continue toevalsveranderlijken op een ietwat verschillende manier behandeld, de ene geassocieerd met een kansmassafunctie, de andere met een kansdichtheidsfunctie. Aan de hand van het concept van cumulatieve verdelingsfunctie is het mogelijk
beide gevallen in mathematische zin te verenigen.
Definitie 4.41 De cumulatieve verdelingsfunctie (cumulative distribution function) van een
toevalsveranderlijke X, genoteerd als FX , associeert met x de kans P(X ≤ x):
X

pX (k) ,
als X discreet is ,


k≤x
FX (x) = P(X ≤ x) = Z x



fX (t) dt , als X continu is .
−∞
Men zegt dat de cumulatieve verdelingsfunctie FX (x) kans ‘accumuleert’ tot aan de waarde
x. Elke toevalsveranderlijke, discreet, continu of van een nog ander type, heeft een cumulatieve
verdelingsfunctie. De reden daartoe is dat {X ≤ x} altijd een toevalsgebeurtenis is, die bijgevolg een eenduidig gedefinieerde kans bezit.
pX (x)
FX (x)
6
6
6pX (2)
?
pX (2)
0
1
2
3
4
x
0
1
2
3
4
x
Figuur 4.8: De cumulative verdelingsfunctie van een discrete toevalsveranderlijke.
pX (x)
FX (x)
6
6
oppervlakte = FX (c)
1
b−a
1
a
c
R6
?
b
a
x
pX (x)
c
i
x
b
FX (x)
6
6
2
b−a
1
i
a
x−a
b−a
b
x
a
b
(x−a)2
(b−a)2
x
Figuur 4.9: De cumulative verdelingsfunctie van een aantal continue toevalsveranderlijken.
In Figuren 4.8 en 4.9 worden de grafieken van cumulatieve verdelingsfuncties getoond
100
Toevalsveranderlijken
voor discrete en continue toevalsveranderlijken. Hieruit en uit de definitie van de cumulatieve
verdelingsfunctie kunnen de volgende eigenschappen afgeleid worden.
Eigenschap 4.42 cumulatieve verdelingsfunctie
De cumulatieve verdelingsfunctie FX van een toevalsveranderlijke X is voor alle x ∈ R
gedefinieerd door
FX (x) = P(X ≤ x) ,
en bezit de volgende eigenschappen.
• FX is monotoon niet-dalend: als x ≤ y, dan is FX (x) ≤ FX (y).
• FX (x) nadert naar 0 als x → −∞, en naar 1 als x → ∞.
• FX is rechts-continu, d.i. limx→x0 ,x≥x0 FX (x) = FX (x0 ) voor alle x0 . Is in het
bijzonder X continu, dan is FX (x) een continue functie van x.
• Als X discreet is en gehele waarden aanneemt, dan worden de kansmassafunctie en
cumulatieve verdelingsfunctie respectievelijk door sommatie en differentiatie uit elkaar
berekend:
k
X
pX (i) ,
FX (k) =
i=−∞
pX (k) = P(X ≤ k) − P(X ≤ k − 1) = FX (k) − FX (k − 1) .
• Als X continu is, dan worden de kansmassafunctie en cumulatieve verdelingsfunctie
respectievelijk door integratie en afleiding uit elkaar berekend:
Z x
d FX
fX (t) dt ,
fX (k) =
FX (k) =
(x) .
dx
−∞
De tweede gelijkheid geldt voor alle punten x waarin FX afleidbaar is.
Merk in het bijzonder op dat de cumulatieve verdelingsfunctie van een discrete toevalsveranderlijke een trapvormige functie is met de hoogtes van de sprongen gelijk aan de kansmassa’s.
De waarde van FX in een sprongpunt is de waarde waarnaar gesprongen wordt, wat impliceert
dat FX rechts-continu is.
Voorbeeld 4.43 geometrische verdeling Xij X geometrisch verdeeld met parameter p. De
kansmassafunctie is pX (k) = p(1 − p)k−1 , k = 1, 2, . . .. De cumulatieve verdelingsfunctie
van X in gehele punten n is
FX (n) =
n
X
k=1
p(1 − p)k−1 = p
1 − (1 − p)n
= 1 − (1 − p)n ,
1 − (1 − p)
n = 1, 2, . . . .
Met ⌊x⌋ de notatie voor het geheel deel van x, is dan
(
0,
als − ∞ < x < 1 ,
FX (x) =
⌊x⌋
1 − (1 − p) , als x ≥ 1 .
2
4.10 Normale toevalsveranderlijken
101
Voorbeeld 4.44 maximum van verscheidene toevalsveranderlijken Men mag een bepaalde
test driemaal uitvoeren en krijgt als finale score het maximum van de drie scores. Dus
X = max(X1 , X2 , X3 ) ,
waarbij X1 , X2 , X3 de drie testscores zijn en X de finale score. Veronderstel dat de score in
elke test met gelijke kans één van de waarden van 1 tot 10 is en onafhankelijk is van de scores
voor de andere testen. Wat is de kansmassafunctie pX van de finale score?
Oplossing
De kansmassafunctie wordt onrechtstreeks berekend: eerst wordt de cumulatieve verdelingsfunctie bepaald en daaruit wordt de kansmassafunctie afgeleid.
FX (k) = P(X ≤ k) = P(X1 ≤ k, X2 ≤ k, X3 ≤ k)
3
k
= P(X1 ≤ k)P(X2 ≤ k)P(X3 ≤ k) =
.
10
De derde gelijkheid volgt uit de onafhankelijkheid van de gebeurtenissen {X1 ≤ k}, {X2 ≤
k}, {X3 ≤ k}. Bijgevolg is de kansmassafunctie gegeven door
pX (k) = FX (k) − FX (k − 1) =
k
10
3
−
k−1
10
3
,
k = 1, . . . , 10 .
2
4.10 Normale toevalsveranderlijken
Definitie 4.45 Een normaal verdeelde of Gaussisch verdeelde, kortweg normale of Gaussische toevalsveranderlijke X met parameters µ en σ > 0, is een continue toevalsveranderlijke met kansdichtheidsfunctie
fX (x) = √
1
2
2
e−(x−µ) /2σ .
2π σ
d
Men noteert X = N(µ, σ 2 ).
Merk op dat men in de notatie het kwadraat van de tweede parameter schrijft. Men kan
nagaan dat deze dichtheid de normaliseringseigenschap bezit, aangezien
Z ∞
1
2
2
√
e−(x−µ) /2σ dx = 1 .
2π σ −∞
In de laatste overgang is impliciet gebruik gemaakt van de Laplace-integraal die reeds in Sectie 3.4 aan bod kwam. Inderdaad, met t = (x − µ)/σ, zodat dt = (dx)/σ, bekomt men wegens
σ > 0 dat
Z ∞
Z ∞
1
1
2
−(x−µ)2 /2σ 2
√
e
dx = √
e−t /2 dt = 1.
2πσ −∞
2π −∞
102
Toevalsveranderlijken
6X
f
(x)
6X
F
1
(x)
1
2
−1
0
1
x
3
2
−1
0
1
2
3
x
Figuur 4.10: De kansdichtheidsfunctie en cumulatieve verdelingsfunctie van een normale veranderlijke.
Eigenschap 4.46 verwachtingswaarde en variantie van een normale veranderlijke
Is X normaal verdeeld met parameters µ en σ, dan is:
E[X] = µ ,
var(X) = σ 2 .
Bewijs
De kansdichtheidsfunctie fX is symmetrisch rond µ, zodat de verwachtingswaarde µ is.
De variantie is gegeven door
Z ∞
1
2
2
(x − µ)2 e−(x−µ) /2σ dx .
var(X) = √
2πσ −∞
Voer de transformatie t = (x − µ)/σ van veranderlijke door, om achtereenvolgens met behulp
van partiële integratie en de Laplace-integraal te berekenen dat
σ2
var(X) = √
2π
Z
σ2
= √
2π
Z
∞
2 /2
t2 e−t
−∞
∞
2 /2
e−t
Z ∞
σ 2 −t2 /2 ∞
σ2
2
√
dt = √
e−t /2 dt
te
+
−∞
2π
2π −∞
dt = σ 2 .
−∞
2
Eigenschap 4.47 Is X een normale toevalsveranderlijke met verwachtingswaarde µ en variantie σ 2 , en zijn a 6= 0 en b scalairen, dan is de toevalsveranderlijke
Y = aX + b
ook normaal verdeeld, met verwachtingswaarde en variantie
E[Y ] = aµ + b ,
var(X) = a2 σ 2 .
Bewijs
Om het normaal zijn van Y aan te tonen, maakt men gebruik van de definitie van de cumulatieve verdelingsfunctie en van het feit dat a > 0:
FY (y) = P(Y ≤ y) = P(aX + b ≤ y) = P(X ≤ (y − b)/a) = FX ((y − b)/a) ,
Afleiding naar y en toepassing van de kettingregel voor afgeleiden toont dat
dFY (y)
dFX (x) d(y − b)/a
1
y−b
=
·
=
f
,
fY (y) =
X
x=(y−b)/a
dy
dx
dy
a
a
4.10 Normale toevalsveranderlijken
103
waaruit:
fY (y) = √
1
1
2
2
2
2 2
e−[(y−b)/a−µ] /2σ = √
e−[y−(aµ+b)] /2a σ .
2πaσ
2πaσ
Dit toont aan dat Y inderdaad normaal verdeeld is met verwachtingswaarde aµ + b en variantie
a2 σ 2 . Verwachtingswaarde en variantie konden overigens onmiddellijk m.b.v. Eigenschap 4.33
afgeleid worden.
2
Definitie 4.48 Een normale toevalsveranderlijke Y met parameters µ = 0 en σ = 1, m.a.w.
met verwachtingswaarde 0 en variantie 1, wordt een standaardnormaal verdeelde toevalsveranderlijke, ook kortweg standaardnormale veranderlijke genoemd. Haar cumulatieve verdelingsfunctie wordt genoteerd als Φ:
Z y
1
2
Φ(y) = P(Y ≤ y) = P(Y < y) = √
e−t /2 dt .
2π −∞
Bemerk dat de functie Φ reeds in Definitie 3.17 werd geı̈ntroduceerd. Enkele eigenschappen van Φ werden in Eigenschap 3.18 gegeven en haar waarden voor argumenten in het interval
[−4, 4] zijn getabelleerd in Tabel I.
Definitie 4.49 Zij X een toevalsveranderlijke met verwachtingswaarde E[X] en variantie
var(X). De gestandaardiseerde X is de toevalsveranderlijke
X − E[X]
,
Y = p
var(X)
met verwachtingwaarde E[Y ] = 0 en variantie var(Y ) = 1.
Is in het bijzonder X een normale veranderlijke met verwachtingswaarde µ en variantie σ 2 ,
dan is de gestandaardiseerde X de standaardnormale toevalsveranderlijke
Y =
X −µ
.
σ
Dat Y inderdaad standaardnormaal is volgt uit Eigenschap 4.43 met a = 1/σ en b = −µ/σ.
De standaardisering van een normale toevalsveranderlijke laat toe kansberekeningen betreffende normale veranderlijken te herleiden tot berekeningen met standaardnormale veranderlijken, zodat op Tabel I beroep kan worden gedaan.
Eigenschap 4.50 De cumulatieve verdelingsfunctie van een normale veranderlijke X met
verwachting µ en variantie σ 2 staat door normalisering als volgt in verband met de
getabelleerde functie Φ:
X −µ
x−µ
x−µ
x−µ
FX (x) = P(X ≤ x) = P
≤
=P Y ≤
=Φ
.
σ
σ
σ
σ
Voorbeeld 4.51 De jaarlijkse sneeuwval op een particuliere geografische locatie is gemodelleerd als een normale veranderlijke met verwachtingswaarde µ = 60 cm en standaardafwijking
σ = 20 cm. Wat is de kans dat er dit jaar meer dan 80 cm sneeuw valt?
104
Toevalsveranderlijken
Oplossing
Zij X de jaarlijkse sneeuwval en Y = (X − µ)/σ = (X − 60)/20, de corresponderende
standaardnormale veranderlijke. Men berekent
80 − 60
X − 60
≥
= P(Y ≥ 1) = 1 − Φ(1) .
P(X ≥ 80) = P
20
20
In Tabel I vindt men Φ(1) = 0.8413, zodat P(X ≥ 80) = 1 − Φ(1) = 0.1587.
2
De normale veranderlijke wordt onder andere gebruikt in signaalverwerking om ruis te
modelleren.
Voorbeeld 4.52 Een bit-gecodeerde boodschap wordt verzonden in de vorm van een signaal
S dat −1 of +1 is. De transmissie wordt gestoord door additieve normale ruis met verwachtingsaarde µ = 0 en variantie σ 2 . De ontvanger besluit dat het signaal −1 (of +1) was als
de ontvangen signaalwaarde < 0 (of ≥ 0) is. Wat is de kans op foute transmissie van één
(random) bit?
Oplossing
Een fout treedt op wanneer −1 wordt uitgezonden en de ruis N ten minste 1 is zodat
S + N = N − 1 ≥ 0, of wanneer +1 is uitgezonden en de ruis kleiner is dan −1, zodat
N + S = N + 1 < 0. In het eerste geval is de kans op een transmissiefout
N −µ
1
1−µ
P(N ≥ 1) = 1 − P(N < 1) = 1 − P
<
=1−Φ
.
σ
σ
σ
In het tweede geval is de kans op een transmissiefout P(N ≤ −1) even groot. De kans op
foute transmissie van één random bit is wegens de totalekansformule
P(fout bit) = P(N ≥ 1)P(bit = −1) + P(N ≤ −1)P(bit = +1)
1
1
= [1 − Φ(1/σ)] + [1 − Φ(1/σ)] = [1 − Φ(1/σ)] .
2
2
2
4.11 Centrale momenten, scheefheid en kurtosis
Benevens de momenten µk (X) van k-de orde die reeds in Sectie 4.5.2 werden gedefinieerd,
voert men ook zogenaamd centrale momenten in.
Definitie 4.53 Het centrale moment van k-de orde of k-de centrale moment µ′k (X) van
een toevalsveranderlijke X is
µ′k (X) = E[(X − E[X])k ] .
Merk op dat het 2-de orde centrale moment de variantie is.
Om centrale momenten van orde k ≥ 3 voor verschillende verdelingen goed met elkaar te
kunnen vergelijken, is het handig om ze te normaliseren. Dit gebeurt door het centrale moment
µ′k (X) te delen door die macht van de variantie die de grootheid dimensieloos maakt.
4.11 Centrale momenten, scheefheid en kurtosis
105
Definitie 4.54 Het genormaliseerde centrale moment van k-de orde of k-de centrale moment αk (X) van een toevalsveranderlijke X is voor k ≥ 3 gegeven door
αk (X) =
µ′k (X)
E[(X − E[X])k ]
=
.
(µ′2 (X))k/2
(var(X))k/2
Omdat voor een scheve verdeling – d.i. een verdeling waarvan de kansmassafunctie of
de kansdichtheidsfunctie geen vertikale symmetrieas bezit – de waarden in de langere staart
een hoger gewicht krijgen, is het (genormaliseerde) derde centrale moment een maat voor de
scheefheid van de verdeling.
Definitie 4.55 Het genormaliseerde centrale moment van 3de-orde α3 (X) wordt de coëfficient van scheefheid, of kortweg scheefheid (skewness) van de verdeling van X genoemd.
Is α3 (X) > 0, dan is de verdeling scheef naar rechts (lange staart naar rechts), is
α3 (X) < 0, dan is de verdeling scheef naar links. Verdelingen die symmetrisch zijn ten
opzichte van hun verwachte waarde, hebben scheefheid 0.
d
Voorbeeld 4.56 Poisson-veranderlijke Zij X = Poisson (λ). In Voorbeeld 4.27 is reeds
gevonden dat E[X] = var(X) = λ en E[X 2 ] = λ(λ + 1). Men berekent voorts
3
E[X ] =
∞
X
k=1
3 −λ λ
k e
k
k!
−λ
= λe
∞
X
k=1
∞
X
λk−1
λm
−λ
k
(m + 1)2
= λe
(k − 1)!
m!
2
m=0
= λ(E[X 2 ] + 2E[X] + 1) = λ[λ(λ + 1) + 2λ + 1] = λ(λ2 + 3λ + 1) .
Het centrale moment van 3de orde is
µ′3 (X) = E[(X − E[X])3 ] = E[(X − λ)3 ] = E[X 3 ] − 3λE[X 2 ] + 3λ2 E[X] − λ3
= λ(λ2 + 3λ + 1) − 3λ2 (λ + 1) + 3λ3 − λ3 = λ .
De scheefheid van de Poisson-verdeling met parameter λ is dus
α3 (X) =
1
λ
=√ .
λ3/2
λ
Merk op dat de scheefheid afneemt als λ toeneemt en dat bijgevolg de verdeling symmetrischer
rond de verwachting λ wordt naarmate λ toeneemt.
2
Het 4de centrale moment zegt iets erover of een verdeling spits of plat is, dus over de
scherptoppigheid of gepiektheid (kurtosis) van de verdeling. Hiervoor vergelijkt men het
genormaliseerde 4de centrale met het 4de centrale moment van de standaardnormale verdeling
dat de waarde 3 heeft.
Definitie 4.57 Men noemt α4 (X) de coëfficiënt van scherptoppigheid of kurtosis van de
verdeling van de toevalsverandserlijke X.
Voor α4 (X) > 3 noemt men een verdeling gepiekt (leptokurtic) omdat de verdeling dan een
scherpere top heeft dan de normaalverdeling en de staarten dunner zijn.
Voor α4 (X) < 3 noemt men de verdeling afgeplat (platykurtic) omdat ze een plattere top
heeft dan de normaalverdeling. Een verdeling met α4 (X) ≈ 3 heet mesokurtic.
106
Toevalsveranderlijken
Merk op dat in de literatuur ook vaak α3 (X) − 3 als coëfficiënt van scherptoppigheid
gehanteerd wordt: een positieve waarde hiervan staat dan voor een gepiekte verdeling, een
negatieve waarde voor een afgeplatte verdeling.
Voorbeeld 4.58 de continue uniforme verdeling op [−a, a] Beschouw de symmetrische uniforme verdeling op het interval [−a, a]. Deze heeft de dichtheidsfunctie fX (x) = 1/2a. Er
geldt dat µ′2 (X) = var(X) = (2a)2 /12 = a2 /3. Voorts is
µ′4 (X) =
Z
a
−a
(x − 0)4
1
a4
dx =
.
2a
5
Bijgevolg is
α4 (X) =
µ′4 (X)
a4 /5
9
=
= < 3.
′
2
4
(µ2 (X))
a /9
5
Dus is de uniforme verdeling afgeplat. Merk op dat de schalingsfactor a geen invloed op de
scherptoppigheid van de verdeling heeft.
2
4.12 Appendix
107
4.12 Appendix
Discrete toevalsveranderlijken 4.59
• discreet uniform op [a, b]
1
, als k = a, a + 1, . . . , b ,
b
−
a
+1
pX (k) =

0,
voor de overige k .


E[X] =
a+b
,
2
var(X) =
(b − a)(b − a + 2)
.
12
d
• Bernoulli met parameter p: X = Bin(1, p)
pX (k) =
(
p , als k = 1 ,
0 , als k = 0 ,
var(X) = p(1 − p) .
E[X] = p ,
d
• binomiaal met parameters n en p: X = Bin(n, p)
pX (k) =
n k
p (1 − p)n−k ,
k
k = 0, 1, . . . n .
var(X) = np(1 − p) .
E[X] = np ,
• negatief binomiaal met parameters r en p
r+k−2 r
p (1 − p)k−1 ,
pX (k) =
k−1
k = 1, 2, . . . .
var(X) = np(1 − p) .
E[X] = np ,
d
• geometrisch met parameter p: X = Geo(p)
pX (k) = (1 − p)k−1 p ,
E[X] =
1
,
p
k = 1, 2, . . . .
var(X) =
1−p
.
p2
d
• Poisson met parameter λ: X = Poisson(λ)
pX (k) = e−λ
E[X] = λ ,
λk
,
k!
k = 0, 1, . . . .
var(X) = λ .
108
Toevalsveranderlijken
Continue toevalsveranderlijken 4.60
• continu uniform op [a, b]

0,
als x < a ,



FX (x) = x − a , als a ≤ x < b ,

 b−a

1,
als b ≤ x .
1
, als a ≤ x ≤ b ,
fX (x) = b − a

0,
voor de overige x ,


E[X] =
a+b
,
2
var(X) =
(b − a)2
.
12
• exponentieel met parameter λ
fX (x) =
(
λe−λx , als x ≥ 0 ,
0,
(
voor de overige x ,
E[X] =
1
,
λ
1 − e−λx , als x ≥ 0 ,
0,
voor de overige x ,
var(X) =
1
.
λ2
d
• normaal met parameters µ en σ > 0: X = N (µ, σ 2 )
fX (k) = √
1
2
2
e−(x−µ) /2σ .
2πσ
var(X) = σ 2 .
E[X] = µ ,
d
• gamma met parameters α en β: X = Gamma(α, β)

 1 β α xα−1 e−βx , als x > 0 ,
fX (x) = Γ(α)

0,
voor de overige x .
E[X] =
α
,
β
var(X) =
α
.
β2
d
• beta met parameters α en β: X = Beta(α, β)

 Γ(α + β) xα−1 (1 − x)β−1 , als 0 < x < 1 ,
fX (x) = Γ(α)Γ(β)

0,
voor de overige x .
E[X] =
α
,
α+β
var(X) =
αβ
(α +
β)2 (α
+ β + 1)
.
Hoofdstuk 5
Gezamenlijke en voorwaardelijke
kansverdelingen
5.1 Gezamenlijke kansmassafunctie
Probabilistische modellen bevatten vaak verscheidene toevalsveranderlijken. De beschouwde
toevalsveranderlijken zijn geassocieerd met eenzelfde experiment, uitkomstenverzameling en
kansmaat, m.a.w. het zijn alle reëelwaardige functies over dezelfde probabiliteitsruimte. In de
context van medische diagnose, bijvoorbeeld, worden meestal uitkomsten van verschillende
relevante testen gecombineerd. Vandaar de interesse om kansen te introduceren die gerelateerd
zijn aan verscheidene toevalsveranderlijken en tevens de koppeling van die toevalsveranderlijken te onderzoeken.
Definitie 5.1 Zij gegeven twee discrete toevalsveranderlijken X, Y over eenzelfde probabiliteitsruimte. Is (x, y) een koppel mogelijke waarden van (X, Y ), dan is de kansmassa van
de gebeurtenis {X = x} ∩ {Y = y} waarbij X de waarde x en Y de waarde y aanneemt,
gedefinieerd door
pX,Y (x, y) = P(X = x, Y = y) = P({X = x} ∩ {Y = y} .
De functie pX,Y wordt de gezamenlijke kansmassafunctie (joint probability mass function)
of simultane kansmassafunctie van X en Y genoemd.
De gezamenlijke kansmassafunctie pX,Y van X en Y legt de kans vast van om het even
welke gebeurtenis die in termen van de toevalsveranderlijken kan beschreven worden. Stelt A
bijvoorbeeld de verzameling van alle koppels (x, y) voor die een bepaalde eigenschap bezitten,
dan is
X
P((X, Y ) ∈ A) =
pX,Y (x, y) .
(x,y)∈A
Eigenschap 5.2 Voor discrete toevalsveranderlijken X en Y met gezamenlijke kansmassafunctie pX,Y , worden marginale kansmassafuncties ( marginal probability mass functions)
pX en pY van respectievelijk X en Y berekend aan de hand van de formules
X
X
pX (x) =
pX,Y (x, y) ,
pY (y) =
pX,Y (x, y) .
y
x
110
Gezamenlijke en voorwaardelijke kansverdelingen
Om de marginale kansmassafuncties af te leiden uit de gezamenlijke kansmassafunctie, kan
het gemakkelijkst de tabulaire methode aangewend worden. Zoals geı̈llustreerd in Figuur 5.1
worden de waarden van pX,Y eerst in tabelvorm opgeslagen, waarna de waarden van pX en pY
bekomen worden uit de rij- en kolomsommen.
X\Y
2
4
5
pX
1
0
1
20
2
20
3
20
2
1
20
2
20
4
20
7
20
3
1
20
2
20
4
20
7
20
4
1
20
1
20
1
20
3
20
pY
3
20
6
20
11
20
1
Figuur 5.1: Berekening van de marginale kansmassafuncties pX en pY aan de hand van de tabulaire
voorstelling van de gezamenlijke kansmassafunctie pX,Y .
Wanneer in een probabilistisch model verscheidene toevalsveranderlijken optreden, kan
men met behulp van functies nieuwe toevalsveranderlijken genereren.
Definitie 5.3 Zijn X en Y discrete toevalsveranderlijken over eenzelfde kansruimte en is
Z = g(X, Y ), dan is de kansmassafunctie van Z gegeven door
X
pX,Y (x, y) .
pZ (z) =
{(x,y)|g(x,y)=z}
Eigenschap 5.4 verwachtingswaarderegel voor functies
Voor iedere functie g(X, Y ) van de toevalsveranderlijken X en Y geldt dat
XX
E[g(X, Y )] =
g(x, y)pX,Y (x, y) .
x
y
Is g lineair en van de vorm aX + bY met a en b gegeven scalairen, dan is
E[aX + bY ] = aE[X] + bE[Y ] .
Bewijs
Stel Z = g(X, Y ). Men bekomt achtereenvolgens
5.1 Gezamenlijke kansmassafunctie
E [g(X, Y )] = E[Z] =
X
z pZ (z) =
z
=
X
z
=
X
X
z
z
X
pX,Y (x, y)
{(x,y)|g(x,y)=z}
z pX,Y (x, y) =
X
z
{(x,y)|g(x,y)=z}
XX
x
111
X
g(x, y) pX,Y (x, y)
{(x,y)|g(x,y)=z}
g(x, y) pX,Y (x, y) .
y
Voor het geval van een lineaire functie volgt hieruit dat
E[aX + bY ] = E[Z] =
XX
x
(ax + by) pX,Y (x, y)
y
X X
X X
=a
x
pX,Y (x, y) + b
y
pX,Y (x, y)
x
=a
y
X
y
x pX (x) + b
x
X
x
y pY (y) = aE[X] + bE[Y ] .
y
2
Voorbeeld 5.5 Beschouw de toevalsveranderlijken X en Y waarvan de gezamenlijke kansmassafunctie gegeven is in de tabel van Figuur 5.1 en definieer een nieuwe toevalsveranderlijke
Z = 2X + Y . De kansmassafunctie van Z wordt berekend met de formule
X
pXY (x, y) .
pZ (z) =
{(x,y)|2x+y=z}
Zodus zijn
2
, pZ (7) =
20
3
pZ (10) =
, pZ (11) =
20
De verwachtingswaarde van Z is
pZ (6) =
E[Z] =
X
2
,
20
4
,
20
3
4
, pZ (9) =
,
20
20
1
1
pZ (12) =
, pZ (13) =
.
20
20
pZ (8) =
2
2
3
4
+7·
+8·
+9·
20
20
20
20
4
1
1
185
3
+ 11 ·
+ 12 ·
+ 13 ·
=
.
+10 ·
20
20
20
20
20
zpZ (z) = 6 ·
Een alternatieve berekeningswijze maakt gebruik van de formule E[Z] = 2E[X] + E[Y ]. Met
de rij- en kolomsommen uit de tabel van Figuur 5.1 vindt men:
E[X] = 1 ·
7
7
3
50
3
+2·
+3·
+4·
=
,
20
20
20
20
20
112
Gezamenlijke en voorwaardelijke kansverdelingen
E[Y ] = 2 ·
6
11
85
3
+4·
+5·
=
,
20
20
20
20
en dus
E[Z] = 2 ·
50 85
185
+
=
.
20 20
20
2
Bovenstaande definities en eigenschappen laten zich veralgemenen tot meer dan twee toevalsveranderlijken. Voor drie discrete toevalsveranderlijken X, Y, Z, bijvoorbeeld, is de gezamenlijke kansmassafunctie pX,Y,Z (x, y, z) = P(X = x, Y = y, Z = z) en de functies
bekomen door het uitsommeren van één of meer (gewone) veranderlijken, zoals
X
pX,Y =
pX,Y,Z (x, y, z) ,
z
en
pX (x) =
XX
y
pX,Y,Z (x, y, z) ,
z
zijn marginale kansmassafuncties. De regel voor verwachtingswaarden van functies van toevalsveranderlijken luidt
XXX
E[g(X, Y, Z)] =
g(x, y, z) pX,Y,Z (x, y, z) ,
x
y
z
en als g lineair is en van de vorm aX + bY + cZ, dan geldt dat
E[aX + bY + cZ] = aE[X] + bE[Y ] + cE[Z] .
Voorbeeld 5.6 verwachtingswaarde van een binomiale veranderlijke X telt het aantal successen in een rij van n onafhankelijke Bernoulli-experimenten, waarbij in elk experiment p de
kans op succes is. X is binomiaal verdeeld met parameters n en p. Stel door Xi de Bernoulliveranderlijke voor geassocieerd met het i-de experiment, d.i.
(
1 , succes in experiment i ,
Xi =
0 , faling in experiment i .
Elke Xi is Bernoulli-verdeeld met parameter p. Vermits E[Xi ] = p, en X = X1 + · · · + Xn ,
is
" n
#
n
X
X
E[X] = E
E[Xi ] = np .
Xi =
i=1
i=1
Dit resultaat kan ook aan de hand van de kansmassafunctie van de binomiale veranderlijke
gevonden worden. Inderdaad,
n k
p (1 − p)n−k ,
k = 0, 1, . . . , n ,
pX (k) =
k
en
5.1 Gezamenlijke kansmassafunctie
113
n
n
X
X
n − 1 k n−k
n k
n−k
n
k
p q
p (1 − p)
=
E[X] =
k−1
k
k=1
k=0
n X
n − 1 k−1 (n−1)−(k−1)
= np
p q
k−1
k=1
= np
n−1
X
j=0
n − 1 j (n−1)−j
p q
= np (p + q)n−1 = np .
j
Het is duidelijk dat de eerste berekeningswijze eenvoudiger is.
2
Voorbeeld 5.7 hoedenvraagstuk n personen gooien hun hoed in een trommel en trekken
daarna at random terug een hoed uit de trommel. Wat is de verwachtingswaarde van het aantal
personen die de eigen hoed terugtrekken?
Oplossing
Associeer met persoon i de toevalsveranderlijke Xi die de waarde 1 aanneemt als de persoon de eigen hoed terugtrekt en anders 0 is. Aangezien persoon i iedere hoed met gelijke kans
kan trekken, is de kans om de eigen hoed te trekken 1/n. Xi is bijgevolg Bernoulli-verdeeld
met parameter p = 1/n, zodat E[Xi ] = 1/n. Aangezien X = X1 + X2 + · · · + Xn , bekomt
men
" n
#
n
X
X
1
E[X] = E
E[Xi ] = n · = 1 .
Xi =
n
i=1
i=1
Merk op dat het resultaat onafhankelijk is van het aantal personen.
Hoewel X de som is van toevalsveranderlijken die Bernoulli-verdeeld zijn, elk met zelfde
parameter p, is in tegenstelling tot het vorig voorbeeld X niet binomiaal verdeeld. De reden
daartoe is dat de n experimenten niet onafhankelijk zijn van elkaar; immers, als beurtelings
een hoed uit de trommel getrokken wordt, dan hangt voor persoon i de kans om de eigen hoed
te trekken af van wat voordien reeds uit de trommel getrokken is. Voor een alternatieve berekening van E[X] zou men dus eerst de kansmassafunctie van X moeten bepalen. De kansen
waaruit deze functie is samengesteld, werden reeds berekend in Voorbeeld 2.46. Bedenk immers dat het hoedenvraagstuk een herformulering is van het incidentievraagstuk, waarbij een
incidentie overeenstemt met het trekken van de eigen hoed. Er is aangetoond dat de kans op
juist k incidenties gegeven is door pk = qn−k /k!, waarbij q0 = 1, q1 = 0, en
qk =
1
1
1
− + · · · + (−1)k ,
2! 3!
k!
(k ≥ 2) .
Aldus is de kansmassafunctie van X gegeven door
pX (k) = pk =
qn−k
,
k!
k = 0, 1, . . . , n .
Hieruit E[X] berekenen voor willekeurige n is verre van eenvoudig, wat de kracht illustreert
van de regel voor de verwachtingswaarde van functies van toevalsveranderlijken.
2
114
Gezamenlijke en voorwaardelijke kansverdelingen
5.2 Gezamenlijke continue toevalsveranderlijken
Naar analogie met het discrete geval, wordt ook het concept van kansdichtheid van een continue
toevalsveranderlijke uitgebreid voor twee of meer toevalsveranderlijken.
Definitie 5.8 Twee continue toevalsveranderlijken X en Y geassocieerd met eenzelfde toevalsexperiment worden gezamenlijk continu genoemd en gekarakteriseerd door een gezamenlijke kansdichtheidsfunctie, d.i. een niet-negatieve reëelwaardige functie fX,Y van
twee veranderlijken waarvoor geldt dat
Z Z
fX,Y (x, y) dx dy ,
P((X, Y ) ∈ B) =
(x,y)∈B
voor om het even welke Borel-deelverzameling B ⊂ R2 . Is in het bijzonder B een
rechthoekig gebied van de vorm B = {(x, y) | a ≤ x ≤ b , c ≤ y ≤ d}, dan geldt dat
P(a ≤ X ≤ b, c ≤ Y ≤ d) =
Z
c
dZ b
fX,Y (x, y) dx dy .
a
Merk op dat de gezamenlijke dichtheid fX,Y ook de normaliseringseigenschap bezit, want
als B = R2 , dan is
Z
Z
1=
∞
∞
−∞
−∞
fX,Y dx dy .
Een gezamenlijke kansdichtheid fX,Y (a, c) kan gezien worden als de kans per eenheid van
oppervlakte in de omgeving van het punt (a, c).
De gezamenlijke kansdichtheidsfunctie bevat alle denkbare probabilistische informatie over
de toevalsveranderlijken X en Y , inbegrepen hun eventuele verbanden. Ze laat onder meer toe
de kans te berekenen van elke gebeurtenies die in termen van de twee toevalsveranderlijken kan
beschreven worden. Ze kan dus in het bijzonder ook gebruikt worden om de kans te berekenen
van een gebeurtenis die slechts met één van de twee toevalsveranderlijken geassocieerd is.
Eigenschap 5.9 Is A ⊂ R, dan geldt voor de geassocieerde gebeurtenis {X ∈ A}
Z
Z Z ∞
fX (x) dx .
fX,Y (x, y) dy dx =
P(X ∈ A) =
A
−∞
A
De marginale kansdichtheidsfuncties fX en fY van respectievelijk X en Y zijn
Z ∞
Z ∞
fX,Y (x, y) dx .
fX,Y (x, y) dy ,
fY (y) =
fX (x) =
−∞
−∞
Bewijs
De voorstelling van P(X ∈ A) als een dubbelintegraal met integrandum fX,Y , volgt uit
P(X ∈ A) = P (X ∈ A , Y ∈] − ∞, ∞[) .
2
Voorbeeld 5.10 tweedimensionale uniforme dichtheid Herneem het ontmoetingsprobleem
uit Voorbeeld 1.39. Twee personen spreken af dat ze onafhankelijk van elkaar op een willekeurig
tijdstip tussen 8u en 9u naar een bepaalde plaats zullen komen. Wat is de gezamenlijke kansdichtheid van de twee aankomsttijden?
5.2 Gezamenlijke continue toevalsveranderlijken
115
Oplossing
Stel door X en Y de aankomsttijden van de twee personen voor. Gegeven dat geen koppel
(x, y) in het vierkant B = {(x, y)|8 ≤ X ≤ 9, 8 ≤ Y ≤ 9} bevoorrecht is, is de gezamenlijke
kansdichtheidsfunctie
c , als 8 ≤ x ≤ 9 en 8 ≤ y ≤ 9 ,
fX,Y =
0 , voor de overige x ,
met c een constante. De waarde van c volgt uit de normaliseringsvoorwaarde
Z 9Z 9
Z ∞Z ∞
c dx dy = c .
fX,Y dx dy =
1=
8
−∞
−∞
8
Dit is een voorbeeld van een tweedimensionale uniforme kansdichtheid. Merk op dat in dit
geval ook de twee marginale kansdichtheden fX en fY continue uniforme dichtheden zijn:
Z 9
Z ∞
c dy = c = 1 ,
als 8 ≤ x ≤ 9 ,
fX,Y (x, y) dy =
fX (x) =
8
−∞
en fX (x) = 0 voor de overige x. Y bezit dezelfde uniforme verdeling als X.
2
Voorbeeld 5.11 naaldprobleem van Buffon Dit probleem dat werd gesteld en opgelost in
1777 door de Franse naturalist Georges-Louis Leclerc, Comte de Buffon (1707 - 1788) markeerde het begin van de belangstelling voor geometrische kansen. Een vlak is bedekt met
parallelle lijnen die op een afstand d van elkaar liggen (zie Figuur 5.2). Veronderstel dat een
naald van lengte l met l < d willekeurig op het vlak wordt geworpen. Wat is de kans dat de
naald een van de lijnen snijdt?
Oplossing
Aangezien l < d kan de naald niet terzelfdertijd twee lijnen snijden. Zij X de afstand
van het midden van de naald tot de dichtstbijzijnde lijn en zij Θ de scherpe hoek gevormd
door de as van de naald en de parallelle lijnen. Het paar toevalsveranderlijken (X, Θ) wordt
gemodelleerd met een gezamenlijke kansdichtheid die uniform is op het rechthoekig gebied
{(x, θ)|0 ≤ x ≤ d/2, 0 ≤ θ ≤ π/2}, zodat
(
4/(πd) , als x ∈ [0, d/2] en θ ∈ [0, π/2] ,
fX,Θ (x, θ) =
0,
voor de overige (x, θ) .
Zoals men in Figuur 5.2 bemerkt, snijdt de naald één van de lijnen als en slechts als X ≤
(l sin Θ)/2. De kans op snijden is dus
P(X ≤ (l sin Θ)/2) =
Z Z
4
=
πd
fX,Θ (x, θ) dx dθ =
x≤(l sin θ)/2
Z
0
π/2
4
πd
Z
0
π/2 Z (l sin θ)/2
dx dθ
0
π/2
2l
l
2l
sin θ dθ =
(− cos θ)0 =
.
2
πd
πd
2
116
Gezamenlijke en voorwaardelijke kansverdelingen
6
d
θ
?
x
l
Figuur 5.2: Meetkundige voorstelling van het naaldprobleem van Buffon.
Voorbeeld 5.12 Bepaal de marginale kansdichtheden van de continue toevalsveranderlijken
X en Y als het koppel (X, Y ) uniform verdeeld is op de cirkelschijf met middelpunt (0, 0) en
straal r.
Oplossing
De oppervlakte van de cirkelschijf is πr2 . Derhalve is

 1 , als x2 + y 2 ≤ r2 ,
fX,Y (x, y) = πr2

0,
voor de overige (x, y) .
Aangezien voor alle |x| ≤ r geldt dat
Z
vindt men
+∞
−∞
1
fX,Y (x, y) dy = 2
πr
Z
√
+ r 2 −x2
√
− r 2 −x2
dy ,

p
 2
r2 − x2 , als − 1 ≤ x ≤ 1 ,
2
fX (x) = πr

0,
voor de overige x .
Op grond van symmetrie zijn de marginale dichtheden fX en fY gelijk. Merk op dat de marginale verdelingen niet uniform zijn: noch X noch Y is een continue uniforme toevalsveranderlijke.
2
Definitie 5.13 Twee gezamenlijk normaal verdeelde (jointly normal) continue toevalsveranderlijken X en Y worden gekarakteriseerd door de gezamenlijke kansdichtheidsfunctie
fX,Y (x, y) =
x−µ
y−µ
y−σ
x−µX 2
1
1
) −2ρ( σ X )( σ Y )+( σ Y )2 ]
[(
−
X
Y
Y
p
,
e 2(1−ρ2 ) σX
2πσX σY 1 − ρ2
die afhangt van de vijf parameters µX , µY , σX > 0, σY > 0, en −1 ≤ ρ ≤ 1. De gezamenlijke normale verdeling wordt ook de bivariate normale verdeling genoemd.
De betekenis van de parameters µX , µY , σX en σY wordt duidelijk van zodra men de marginale kansdichtheden van deze gezamenlijke dichtheid berekent.
5.3 Gezamenlijke cumulatieve verdelingsfunctie
117
Eigenschap 5.14 Zijn X en Y gezamenlijk normaal verdeeld met parameters µX , µY , σX ,
σY en ρ, dan is X normaal verdeeld met parameters µX , σX en Y normaal verdeeld met
parameters µY , σY .
Een bewijs van deze eigenschap is te vinden in de Appendix bij dit hoofdstuk. Merk op dat
de marginale dichtheden onafhankelijk zijn van de parameter ρ. Er bestaan bijgevolg oneindig
veel manieren om twee normale veranderlijken te koppelen tot bivariate normale veranderlijken
en de koppeling wordt gekarakteriseerd door de parameter ρ uit de bivariate normale verdeling.
Tenslotte valt op te merken dat de verwachtingswaarderegel voor functies van gezamenlijk
verdeelde toevalsveranderlijken van toepassing blijft voor continue toevalsveranderlijken. Het
bewijs is volkomen analoog als in het discrete geval.
Eigenschap 5.15 verwachtingswaarderegel voor functies
Zij g(X, Y ) een functie van de continue toevalsveranderlijken X en Y , met gezamenlijke
kansdichtheidsfunctie fX,Y , dan geldt dat
Z ∞Z ∞
g(x, y)fX,Y (x, y) dx dy .
E[g(X, Y )] =
−∞
−∞
Is g lineair van de vorm aX + bY , met a en b gegeven scalairen, dan is
E[aX + bY ] = aE[X] + b[Y ] .
Voorbeeld 5.16 verwachtingswaarde en variantie van gezamenlijke normale veranderlijken Stel dat (X, Y ) bivariaat normaal verdeeld is met parameters µX , µY , σX , σY , ρ. Uit
de eigenschap dat X en Y normaal verdeeld zijn met respectievelijk de parameters µX , σX en
µY , σY , volgt onmiddellijk dat
E[X] = µX ,
2
var(X) = σX
,
E[Y ] = µY ,
var(Y ) = σY2 .
2 , σ 2 de varianties van
De parameters µX , µY stellen bijgevolg de verwachtingswaarden en σX
Y
respectievelijk X en Y voor.
2
5.3 Gezamenlijke cumulatieve verdelingsfunctie
Twee toevalsveranderlijken die met eenzelfde toevalsexperiment geassoceerd zijn, kunnen door
hun gezamenlijke cumulatieve verdelingsfunctie gekarakteriseerd worden. Zoals in het univariate geval heeft het werken met de cumulatieve verdelingsfunctie het voordeel dat het onderscheid tussen discrete en continue toevalsveranderlijken verdwijnt.
118
Gezamenlijke en voorwaardelijke kansverdelingen
Definitie 5.17 De gezamenlijke cumulatieve verdelingsfunctie FX,Y van twee toevalsveranderlijken X en Y is gedefinieerd door
FX,Y (x, y) = P(X ≤ x, Y ≤ y) .
Voor discrete toevalsveranderlijken geldt dat
X
FX,Y (x, y) =
X
pX,Y (k, l) ,
{k:k≤x} {l:l≤y}
en voor continue toevalsveranderlijken dat
Z x Z
FX,Y (x, y) =
−∞
y
fX,Y (s, t) ds dt .
−∞
Omgekeerd, is de gezamenlijke cumulatieve verdelingsfunctie bekend, dan kan er in het
discrete geval de gezamenlijke kansmassafunctie en in het continue geval de gezamenlijke
kansdichtheidsfunctie uit berekend worden.
Eigenschap 5.18 Zijn X en Y discrete toevalsveranderlijken met respectievelijke waardenverzamelingen {x1 , x2 , . . .} en {y1 , y2 , . . .} en gezamenlijke cumulatieve verdelingsfunctie
FX,Y , dan is
pX,Y (xk , yl ) = FX,Y (xk , yl ) − FX,Y (xk−1 , yl ) − FX,Y (xk , yl−1 ) + FX,Y (xk−1 , yl−1 ) ,
met randwaarden FX,Y (x0 , y) = FX,Y (x, y0 ) = 0 voor alle x en y. Zijn X en Y continue
toevalsveranderlijken, dan is
fX,Y (x, y) =
∂ 2 FX,Y
(x, y) .
∂x ∂y
Bewijs
In het discrete geval past men de additiviteitseigenschap P(A ∪ B) = P(A) + P(B) voor
disjuncte toevalsgebeurtenissen A en B toe, om te bekomen dat
P(X ≤ xk , Y ≤ yl ) = P(X ≤ xk−1 , Y ≤ yl ) + P(X = xk , Y ≤ yl )
= P(X ≤ xk−1 , Y ≤ yl ) + P(X = xk , Y ≤ yl−1 ) + P(X = xk , Y = yl )
= P(X ≤ xk−1 , Y ≤ yl ) + P(X ≤ xk , Y ≤ yl−1 )
−P(X ≤ xk−1 , Y ≤ yl−1 ) + P(X = xk , Y = yl ) ,
wat te herschrijven is als
FX,Y (xk , yl ) = FX,Y (xk−1 , yl ) + FX,Y (xk , yl−1 ) − FX,Y (xk−1 , yk−1 ) + pX,Y (xk , yl ) .
In het continue geval volstaat het beide leden van de gelijkheid
Z x Z y
fX,Y (s, t) ds dt ,
FX,Y (x, y) =
−∞
−∞
bijvoorbeeld eerst af te leiden naar x en vervolgens naar y.
2
5.3 Gezamenlijke cumulatieve verdelingsfunctie
119
Voorbeeld 5.19 Is (X, Y ) uniform verdeeld op het eenheidsvierkant, dan is de gezamenlijke
cumulatieve verdelingsfunctie gegeven door
FX,Y


 xy ,


x,
= P(X ≤ x, Y ≤ y) = y ,


1,


0,
als 0 ≤ x, y ≤ 1 ,
als 0 ≤ x ≤ 1, y > 1 ,
als x > 1, 0 ≤ y ≤ 1 ,
als x, y > 1 ,
voor de overige (x, y) .
Men verifieert onmiddellijk dat
∂ 2 FX,Y
∂ 2 (xy)
(x, y) =
(x, y) = 1 = fX,Y (x, y) ,
∂x ∂y
∂x ∂y
voor alle inwendige punten van het eenheidsvierkant. Voor alle punten buiten het vierkant is
∂ 2 FX,Y (x, y)/∂x ∂y = 0. De gemengde partiële afgeleide is niet gedefinieerd voor punten
gelegen op een zijde van het eenheidsvierkant.
2
Eigenschap 5.20 gezamenlijke cumulatieve verdelingsfunctie
De gezamenlijke cumulatieve verdelingsfunctie FX,Y van twee toevalsveranderlijke X, Y
bezit de volgende eigenschappen.
• FX,Y is monotoon niet-dalend in beide argumenten.
• FX,Y is rechts-continu in beide argumenten.
•
min(x,y)→∞
•
x→ −∞
lim
FX,Y (x, y) = 1 .
lim FX,Y (x, y) = 0 ∀y ,
lim FX,Y (x, y) = 0 ∀x.
y→ −∞
Het bewijs van deze eigenschappen is zoals in het eendimensionale geval. Niet elke functie
die aan deze eigenschappen voldoet, is evenwel een geldige cumulatieve verdelingsfunctie,
zoals in volgend voorbeeld geı̈llustreerd wordt.
Voorbeeld 5.21 Beschouw de volgende functie g van twee veranderlijken
g(x, y) =
(
1 , als x ≥ 0 en y ≥ 0 en x + y ≥ 1 ,
0 , voor de overige (x, y) .
Deze montoon niet-dalende en rechtscontinue functie van x en y voldoet aan de limieteigenschappen uit Eigenschap 5.20, maar is geen geldige cumulatieve verdelingsfunctie. Immers,
ware dat wel het geval, dan zou men bijvoorbeeld P(1/4 ≤ X ≤ 1, 1/4 ≤ Y ≤ 1) berekenen
als
1 1
1
1
1
1
≤ X ≤ 1, ≤ Y ≤ 1 = g(1, 1) − g 1,
,1 + g
,
P
−g
= −1 ,
4
4
4
4
4 4
wat onaanvaardbaar is, aangezien een kans noodzakelijk positief of nul is.
2
120
Gezamenlijke en voorwaardelijke kansverdelingen
5.4 Covariantie en correlatie
Definitie 5.22 De covariantie (covariance) van twee toevalsveranderlijken X en Y ,
cov(X, Y ) genoteerd, is gedefinieerd door
cov(X, Y ) = E (X − E[X])(Y − E[Y ]) .
Wanneer cov(X, Y ) = 0, zegt men dat X en Y ongecorreleerd zijn.
Ruwweg betekent een positieve (negatieve) covariantie dat de waarden van X − E[X]
en Y − E[Y ] gemeten in één uitvoering van een experiment, de tendens vertonen om hetzelfde (tegengestelde) teken te hebben. Bijgevolg is het teken van de covariantie een belangrijke kwantitatieve indicator voor het verband tussen X en Y . Merk ook op dat cov(X, Y ) =
cov(Y, X) en dat cov(X, X) = var(X).
Eigenschap 5.23
cov(X, Y ) = E[XY ] − E[X] E[Y ] .
Bewijs
Rechtstreekse berekening levert
cov(X, Y ) = E (X − E[X])(Y − E[Y ]) = E XY − E[X]Y − E[Y ]X + E[X]E[Y ]
= E[XY ] − E[X]E[Y ] − E[Y ]E[X] + E[X]E[Y ] = E[XY ] − E[X]E[Y ] .
2
Voorbeeld 5.24 Beschouw de twee toevalsveranderlijken uit Voorbeeld 5.5 met gezamenlijke
kansmassafunctie zoals getoond in Figuur 5.1. Er werd reeds berekend dat E[X] = 50/20 en
E[Y ] = 85/20. Voorts is
1
2
1
2
4
1
+1·5·
+2·2·
+2·4·
+2·5·
+3·2·
20
20
20
20
20
20
4
1
1
1
208
2
+3·5·
+4·2·
+4·4·
+4·5·
=
,
+3 · 4 ·
20
20
20
20
20
20
E[XY ] = 1 · 4 ·
zodat
cov(X, Y ) = E[XY ] − E[X]E[Y ] =
208 50 85
174
−
·
=
.
20
20 20
20
2
Eigenschap 5.25 Zijn X, Y, Z toevalsveranderlijken en a, b, c scalairen, dan geldt
cov(aX + bY + c, Z) = a cov(X, Z) + b cov(Y, Z) .
Bewijs
Bereken
cov(aX + bY + c, Z) = E[aXZ + bY Z + cZ] − E[aX + bY + c] E[Z]
= aE[XZ] + bE[Y Z] + cE[Z] − (aE[X] + bE[Y ] + c)E[Z]
5.4 Covariantie en correlatie
121
= a cov(X, Z) + b cov(Y, Z) .
2
Eigenschap 5.26 variantie van een som
Voor willekeurige toevalsveranderlijken X en Y en willekeurige scalairen a en b geldt dat
var(a X + b Y ) = a2 var(X) + b2 var(Y ) + 2ab cov(X, Y ) .
Bewijs
Door rechtstreekse berekening vindt men achtereenvolgens
var(a X + b Y ) = E (a X + b Y )2 − (E[a X + b Y ])2
= E[a2 X 2 + 2ab XY + b2 Y 2 ] − (a E[X] + b E[Y ])2
= a2 (E[X 2 ] − (E[X])2 ) + b2 (E[Y 2 ] − (E[Y ])2 ) + 2ab(E[XY ] − E[X]E[Y ])
= a2 var(X) + b2 var(Y ) + 2ab cov(X, Y ) .
2
Definitie 5.27 De correlatiecoëfficiënt (correlation coefficient) ρ(X, Y ) van twee toevalsveranderlijken met strikt positieve variantie is gedefinieerd door
cov(X, Y )
.
ρ(X, Y ) = p
var(X) var(Y )
De correlatiecoëfficiënt kan gezien worden als een genormaliseerde vorm van de covariantie. Zijn waarde is overigens steeds begrepen tussen −1 en 1.
Voorbeeld 5.28 bivariate normale verdeling Zij (X, Y ) bivariaat normaal verdeeld met parameters µX , µY , σX , σY , ρ. Er geldt dat
ρ(X, Y ) = ρ ,
m.a.w. de parameter ρ stelt de correlatie tussen X en Y voor. Een bewijs hiervan is te vinden
in de appendix bij dit hoofdstuk.
2
Eigenschap 5.29 Voor willekeurige toevalsveranderlijken X en Y geldt dat
−1 ≤ ρ(X, Y ) ≤ 1 .
Is bovendien de correlatiecoëfficiënt 1 of −1, dan bestaat een lineair veraband tussen X en
Y.
Bewijs
Veronderstel dat X en Y strikt positieve variantie hebben (m.a.w. geen constanten zijn).
Gebruik makend van Eigenschappen 5.25 en 5.26, vindt men
!
Y
X
±p
= 2[1 ± ρ(X, Y )] .
var p
var(X)
var(Y )
122
Gezamenlijke en voorwaardelijke kansverdelingen
Vermits het linkerlid een variantie voorstelt, is de uitdrukking in het rechterlid groter dan of
gelijk aan 0, waaruit meteen de begrenzingen van de correletiecoëfficiënt zijn af te leiden. Is
ρ(X, Y ) = 1, dan is
!
Y
X
var p
−p
= 0,
var(X)
var(Y )
waaruit het lineair verband tussen X en Y volgt. Hetzelfde geldt voor ρ = −1.
2
5.5 Voorwaardelijke verdelingen
Voorwaardelijke kansen worden aangewend om de informatie weer te geven die verscheidene
gebeurtenissen verstrekken t.a.v. de mogelijke waarden van een toevalsveranderlijke. Vandaar
ook het nut om voorwaardelijke kansmassafuncties en kansdichtheidsfuncties in te voeren.
5.5.1
Conditionering door een gebeurtenis
Definitie 5.30 De voorwaardelijke kansmassafunctie van een discrete toevalsveranderlijke X, geconditioneerd door een particuliere gebeurtenis A waarvoor P(A) > 0, is
gedefinieerd door
pX|A (x) = P(X = x|A) =
P({X = x} ∩ A)
.
P(A)
Merk op dat de gebeurtenissen {X = x} ∩ A met x ∈ W , de waardenverzameling van X,
disjunct zijn voor verschillende x en dat hun unie A is, zodat
X
P(A) =
P({X = x} ∩ A) .
x∈W
Hieruit volgt dat
X
pX|A (x) = 1 ,
x
zodat pX|A een geldige kansmassafunctie is.
Voorbeeld 5.31 Een student kan een bepaalde test ten hoogste n keer overdoen tot hij slaagt.
In iedere poging is de kans van slagen p onafhankelijk van het aantal voorafgaande pogingen.
Wat is de kansmassafunctie van het aantal pogingen, gegeven dat de student slaagt voor de test?
Oplossing
Zij A de gebeurtenis dat de student de test slaagt (in ten hoogste n pogingen) en X de
toevalsveranderlijke die het aantal nodige pogingen weergeeft om te slagen, gegeven dat dat
aantal begrensd is. X is geometrisch verdeeld met parameter p en A = {X ≤ n}. Er geldt:
P(A) =
zodat
.
n
X
m=1
(1 − p)m−1 p ,

k−1
 P (1 − p) p
, als k = 1, 2, . . . , n ,
n
pX|A (k) =
(1 − p)m−1 p
 m=1
0,
voor de overige k .
2
5.5 Voorwaardelijke verdelingen
123
Definitie 5.32 De voorwaardelijke kansdichtheidsfunctie van een continue toevalsveranderlijke X, geconditioneerd door een particuliere gebeurtenis A waarvoor P(A) > 0, is
gedefinieerd door

 fX (x) , als x ∈ A ,
fX|A (x) = P(X ∈ A)

0,
voor de overige x .
Deze voorwaardelijke dichtheid kan worden gebruikt om de voorwaardelijke kans van
gebeurtenissen van de vorm {X ∈ B} te berekenen:
R
Z
P(X ∈ B, X ∈ A)
A∩B fX (x) dx
fX|A (x) dx .
=
=
P(X ∈ B|X ∈ A) =
P(X ∈ A)
P(X ∈ A)
B
Zoals in het discrete geval is de voorwaardelijke kansdichtheid nul buiten de conditionerende
verzameling. Daarbinnen heeft ze dezelfde vorm als de onvoorwaardelijke dichtheid, op een
herschaling met factor 1/P(X ∈ A) na. Deze herschaling heeft voor gevolg dat fX|A integreert
tot 1, zodat het een geldige dichtheidsfunctie is.
In het algemener geval waarbij geconditioneerd wordt op een gebeurtenis A met P(A) > 0
die niet in termen van de toevalsveranderlijke kan beschreven worden, is de voorwaardelijke
kansdichtheidsfunctie van X, gegeven A, de niet-negatieve functie fX|A die voor alle Boreldeelverzamelingen B ⊂ R voldoet aan
Z
fX|A (x) dx .
P(X ∈ B|A) =
B
Over het algemeen is er geen eenvoudige formule die fX|A (x) uitdrukt in functie van fX (x).
Voorbeeld 5.33 geheugenloosheid van de exponentiële toevalsveranderlijke De levensduur T van een nieuwe lamp is exponentieel verdeeld met parameter λ. Alice laat de lamp
branden, verlaat de plaats, en wanneer ze t tijdseenheden later terugkomt, brandt de lamp nog
steeds, wat correspondeert met de gebeurtenis A = {T > t}. Als X de resterende levensduur
van de lamp voorstelt, wat is de voorwaardelijke cumulatieve verdelingsfunctie van X, gegeven
dat A zich heeft voorgedaan?
Oplossing
Voor x ≥ 0 bekomt men:
P(X > x|A) = P(T > t + x|T > t) =
=
P(T > t + x en T > t)
P(T > t)
e−λ(t+x)
P(T > t + x)
=
= e−λx ,
P(T > t)
e−λt
waarbij gebruik is gemaakt van het feit dat de cumulatieve verdelingsfunctie van een exponentiele veranderlijke met parameter λ gegeven is door FX (x) = P(X ≤ x) = 1 − e−λx .
Bovenstaande eigenschap staat bekend als de geheugenloosheid van de exponentiële verdeling. In het algemeen, als de tijd nodig om een bepaalde toestand te bereiken gemodelleerd
124
Gezamenlijke en voorwaardelijke kansverdelingen
wordt door een exponentiële toevalsveranderlijke, impliceert deze eigenschap dat zolang de
toestand niet bereikt is, de resterende tijd nodig om de toestand te bereiken dezelfde exponentiele verdeling behoudt.
2
Eigenschap 5.34 totalekansformule voor verdelingen
Zij A1 , A2 , . . . An een stel disjuncte gebeurtenissen die een partitie vormen van de uitkomstenruimte Ω en zij P(Ai > 0) voor alle i, dan geldt voor discrete X dat
pX (x) =
n
X
P(Ai )pX|A (x) ,
n
X
P(Ai )fX|A (x) .
i=1
en voor continue X dat
fX (x) =
i=1
Bewijs
Zij X bijvoorbeeld continu. De totalekansformule voor gebeurtenissen, geformuleerd in
Eigenschap 2.28, wordt toegepast op de gebeurtenis B = {X ≤ x}:
P(X ≤ x) =
n
X
i=1
P(Ai )P(X ≤ x|Ai ) .
Deze formule kan herschreven worden als
Z
Z x
n
X
P(Ai )
fX (t) dt =
−∞
i=1
x
−∞
fX|Ai (t) dt .
Afleiding in beide leden naar x leidt tot het gewenste resultaat. Voor discrete X is het bewijs
analoog.
2
Voorbeeld 5.35 Een metrotrein komt om het kwart uur in station ABC aan, te beginnen van
6.00u ’s morgens. Elke morgen wandelt Karel van huis naar station ABC waar hij op een
willekeurig tijdstip tussen 7u10 en 7u30 aankomt. Wat is de kansdichtheid van de tijd dat
Karel moet wachten tot de eerstvolgende trein?
Oplossing
Zij X het tijdstip dat Karel aankomt in ABC. X is uniform verdeeld op het interval [7.10u,7.30u].
Stel door Y de wachtduur voor en beschouw de volgende twee gebeurtenissen:
A = {7u10 ≤ X ≤ 7u15} = {Karel neemt de trein van 7u15} ,
B = {7u15 ≤ X ≤ 7u30} = {Karel neemt de trein van 7u30} .
Geconditioneerd op gebeurtenis A is de aankomsttijd van Karel uniform verdeeld op het interval [7u10,7u15]. In dat geval is de wachttijd dus ook uniform verdeeld tussen 0 en 5 minuten.
Analoog, geconditioneerd op gebeurtenis B is de aankomsttijd van Karel uniform verdeeld
over het interval [7u15,7u30] en is zijn wachttijd uniform verdeeld tussen 0 en 15 minuten.
Met behulp van de totalekansformule
fY (y) = P(A)fY |A (y) + P(B)fY |B (y) ,
5.5 Voorwaardelijke verdelingen
bekomt men
5.5.2
125

3
1
1
1 1


4 · 5 + 4 · 15 = 10 , als 0 ≤ y ≤ 5 ,


1
1
= 20
, als 5 < y ≤ 15
fY (y) = 14 · 0 + 43 · 15



0,
voor de overige y .
2
Conditionering door een toevalsveranderlijke
Zij X, Y twee met eenzelfde experiment geassocieerde discrete toevalsveranderlijken. Indien
bekend is dat Y een waarde y heeft aangenomen (met pY (y) > 0), geeft dit aanvullende
informatie betreffende de waarde van X. Deze informatie wordt beschreven door de voorwaardelijke kansmassafunctie pX|Y .
Definitie 5.36 De voorwaardelijke kansmassafunctie pX|Y van X gegeven Y is gedefinieerd
door
pX,Y (x, y)
P(X = x, Y = y)
pX|Y (x|y) = P(X = x|Y = y) =
=
.
P(Y = y)
pY (y)
Zij y een vastgehouden waarde waarvoor pY (y) > 0 en beschouw pX|Y (x|y) als functie
van x. Deze functie is een geldige kansmassafunctie: ze beeldt elke mogelijke x af op een
niet-negatieve waarde, en deze waarden tellen op tot 1, d.i.
X
pX|Y (x|y) = 1 ,
∀y waarvoor pY (y) > 0 .
x
Deze functie is, op de constante factor 1/pY (y) na, gelijk aan pX,Y (x, y).
De voorwaardelijke kansmassafunctie wordt soms gebruikt om de gezamenlijke kansmassafunctie te berekenen, op basis van de formule
pX,Y (x, y) = pY (y) pX|Y (x|y) = pX (y) pY |X (y|x) .
Ze wordt eveneens gebruikt om de marginale kansmassafunctie te berekenen met behulp van
X
X
pX (x) =
pX,Y (x, y) =
pY (y)pX|Y (x|y) .
y
y
Voorbeeld 5.37 Beschouw een zender die boodschappen stuurt over een computernetwerk en
de volgende toevalsveranderlijken: X: ‘de transmissietijd van een boodschap’ en Y : ‘de lengte
van een boodschap’. Veronderstel dat een boodschap twee mogelijke lengtes heeft: y = 102
bytes met kans 5/6 en y = 104 bytes met kans 1/6, zodat
(
5/6 , als y = 102 ,
pY (y) =
1/6 , als y = 104 .
Veronderstel voorts dat de transmissietijd X van een boodschap afhangt van haar lengte Y en
van de trafiek in het netwerk op het moment van verzending. Meer bepaald is de transmissietijd
126
Gezamenlijke en voorwaardelijke kansverdelingen
10−4 Y seconden met kans 1/2, 10−3 Y seconden met kans 1/3 en 10−2 Y
1/6. Bijgevolg is


1/2 ,
1/2 , als x = 10−2 ,






pX|Y (x|104 ) = 1/3 ,
pX|Y (x|102 ) = 1/3 , als x = 10−1 ,






1/6 ,
1/6 , als x = 1 ,
seconden met kans
als x = 1 ,
als x = 10 ,
als x = 100 .
Om de kansmassafunctie van X te vinden, gebruikt men de formule
pX (x) =
X
pY (y) pX|Y (x|y) ,
y
waarmee men bekomt dat
pX (10−2 ) =
5 1
· ,
6 2
pX (10−1 ) =
pX (10) =
1 1
· ,
6 3
5 1
· ,
6 3
pX (1) =
pX (100) =
5 1 1 1
· + · ,
6 6 6 2
1 1
· .
6 6
2
Voor continue toevalsveranderlijken kunnen analoge formules opgesteld worden.
Definitie 5.38 De voorwaardelijke kansdichtheidsfunctie fX|Y van X, gegeven dat Y = y
met fY (y) > 0, is gedefinieerd door
fX|Y (x|y) =
fX,Y (x, y)
.
fY (y)
Deze functie voldoet aan de normaliseringseigenschap, d.i.
Z ∞
fX|Y (x|y) dx = 1 ,
−∞
zodat voor iedere vaste y, fX|Y (x|y) een geldige kansdichtheid is.
Voorbeeld 5.39 uniforme verdeling op een cirkelschijf Beschouw de veranderlijken X en
Y uit Voorbeeld 5.12 die gezamenlijk uniform verdeeld zijn op de cirkelschijf met middelpunt
(0, 0) en straal r. Uit de gezamenlijke kansdichtheidsfunctie fX,Y en de eerder berekende
marginale kansdichtheid fY bekomt men:
fX,Y (x, y)
fX|Y (x|y) =
=
fY (y)
1
1
πr2
,
= p
2 p 2
2
2 r − y2
2
r
−
y
πr2
als x2 + y 2 ≤ r2 .
Merk op dat voor vastgehouden waarde van y, de voorwaardelijke kansdichtheidsfunctie fX|Y
uniform is.
2
5.6 Voorwaardelijke verwachting
127
Voorbeeld 5.40 Voertuigen passeren een radarcontrole met een snelheid die gemodelleerd
wordt door een exponentieel verdeelde toevalsveranderlijke X met verwachtingswaarde 50
km/u. De radarmeting Y van de snelheid heeft een fout die gemodelleerd wordt door een normale veranderlijke met verwachtingswaarde 0 en standaardafwijking 1/10 van de snelheid van
het voertuig. Wat is de gezamenlijke kansdichtheidsfunctie van X en Y ?
Oplossing
Uit de opgave weet men dat fX (x) = (1/50)e−x/50 , voor x ≥ 0. Geconditioneerd op
X = x, heeft de meting Y een normale kansdichtheid met verwachtingswaarde x en variantie
x2 /100. Hieruit volgt dat
fY |X (y|x) = √
1
2
2
e−(y−x) /(2x /100) .
2π(x/10)
Bijgevolg is
1 −x/50 10 −50(y−x)2 /x2
√
e
e
,
50
2πx
fX,Y (x, y) = fX (x)fY |X (y|x) =
voor alle x ≥ 0 en alle y.
2
5.6 Voorwaardelijke verwachting
Een voorwaardelijke kansmassafunctie kan gezien worden als een gewone kansmassafunctie
over een nieuwe uitkomstenruimte bepaald door de conditionerende gebeurtenis. In dezelfde
geest is een voorwaardelijke verwachtingswaarde hetzelfde als een gewone verwachtingswaarde, behalve dat ze refereert aan de nieuwe uitkomstenruimte en dat alle kansen en kansmassa’s
vervangen worden door hun voorwaardelijke tegenhanger.
Definitie 5.41 Zij X en Y twee toevalsveranderlijken geassocieerd met eenzelfde toevalsexperiment. De voorwaardelijke verwachting (conditional expectation) van X, gegeven een
gebeurtenis A waarvoor P(A) > 0, is voor discrete X gedefinieerd door
X
E[X|A] =
x pX|A (x) ,
x
en voor continue X door
E[X|A] =
Z
∞
−∞
x fX|A (x) dx .
De voorwaardelijke verwachting van X, gegeven een waarde y van Y , is voor discrete X
gedefinieerd door
X
x pX|Y (x|y) ,
E[X|Y = y] =
x
en voor continue X door
E[X|Y = y] =
Z
x
−∞
fX|Y (x|y) dx .
Deze definities worden onmiddelllijk uitgebreid tot een regel om de voorwaardelijke verwachtingswaarde van een functie van X te berekenen.
128
Gezamenlijke en voorwaardelijke kansverdelingen
Eigenschap 5.42 Voor een functie g(X) van een discrete of continue X geldt dat
Z ∞
X
g(x)fX|A (x) dx ,
E[g(X)|A] =
g(x)pX|A (x) ,
E[g(X)|A] =
−∞
x
E[g(X, Y )|Y = y] =
X
g(x, y)pX|Y (x|y) ,
x
E[g(X, Y )|Y = y] =
Z
∞
−∞
g(x, y)fX|Y (x|y) dx .
Het bewijs van deze eigenschappen is volkomen analoog als in het geval van de onvoorwaardelijke verwachtingswaarde.
Eigenschap 5.43 formule van de totale verwachting
Is X een toevalsveranderlijke over Ω en zijn A1 , A2 , . . . An disjuncte gebeurtenissen die een
partitie vormen van Ω en waarvoor P(Ai > 0) voor alle i, dan geldt dat
E[X] =
n
X
i=1
P(Ai )E[X|Ai ] .
Bewijs
Stel dat X discreet is. Met behulp van de totalekansformule
X
pX (x) =
pY (y)pX|Y (x|y) ,
y
volgt
E[X] =
X
=
X
x pX (x) =
x
y
X X
x
pY (y)pX|Y (x|y) ,
x
pY (y)
X
y
x pX|Y (x|y) =
x
X
pY (y)E[X|Y = y] .
y
Voer de toevalsveranderlijke Y in, die de waarde i aanneemt als en slechts als Ai zich voordoet.
Haar kansmassafunctie is gegeven door
(
P(Ai ) , als i = 1, 2, . . . , n ,
pY (i) =
0,
voor de overige i .
Hiermee bekomt men:
E[X] =
n
X
i=1
P(Ai )E[X|Y = i] ,
en vermits {Y = i} de gebeurtenis Ai is, geldt de totalekansformule voor discrete X. Het
bewijs is analoog voor continue X.
2
Voorbeeld 5.44 Boodschappen verzonden vanuit Brussel langs een Europees datanetwerk zijn
met kans 0.5 bestemd voor Parijs, met kans 0.3 voor Londen en met kans 0.2 voor Berlijn. De
tijd om een boodschap ter bestemming te voeren, is een toevalsveranderlijke met verwachting
5.7 Onafhankelijke toevalsveranderlijken
129
1/20 sec voor Parijs, 1/10 sec voor Londen en 3/10 sec voor Berlijn. De verwachtingswaarde
van X, d.i. de verwachte tijd om een boodschap over te brengen (ongeacht de bestemming) is:
E[X] = 0.5 · 0.05 + 0.3 · 0.1 + 0.2 · 0.3 = 0.115 sec .
2.
5.7 Onafhankelijke toevalsveranderlijken
Het concept van onafhankelijkheid van toevalsveranderlijken wordt afgeleid van het concept
van onafhankelijkheid van gebeurtenissen (zie Secties 2.7–2.9). Voor discrete toevalsveranderlijken is die omzetting bijna onmiddellijk: het volstaat iedere waarde die een discrete toevalsveranderlijke kan aannemen, te associëren met een unieke gebeurtenis in Ω en daarna de
onafhankelijkheid van die gebeurtenissen te onderzoeken.
Definitie 5.45 Zij X en Y twee discrete toevalsveranderlijken over een uitkomstenverzameling Ω en A ⊆ Ω een toevalsgebeurtenis waarvoor P(A) > 0. Men zegt dat de toevalsveranderlijke X onafhankelijk is van de gebeurtenis A als voor alle x geldt dat
pX|A (x) = pX (x) .
X, Y zijn onafhankelijk van elkaar als voor alle x, y ∈ R geldt dat
pX,Y (x, y) = pX (x) pY (y) .
X en Y zijn voorwaardelijk onafhankelijk, gegeven dat gebeurtenis A zich heeft
voorgedaan, als voor alle x, y ∈ R geldt dat
pX,Y |A (x, y) = pX|A (x) pY |A (y) .
Dit zijn natuurlijke definities eens de associatie tussen waarden van een toevalsveranderlijke en gebeurtenissen in Ω is gemaakt. Immers, voor om het even welke vaste x zijn de
gebeurtenissen {X = x} en A onafhankelijk als P({X = x} ∩ A) = P(X = x)P(A) =
pX (x)P(A). Anderzijds volgt uit de Definitie 5.30 van de voorwaardelijke kansmassafunctie
dat P({X = x} ∩ A) = pX|A (x)P(A). Op voorwaarde dat P(A) > 0, is de onafhankelijkheid van de gebeurtenissen equivalent met pX|A (x) = pX (x). De andere definities worden
op analoge wijze gestaafd.
Voorbeeld 5.46 Beschouw twee onafhankelijke gooien van een onvervalst muntstuk. Zij X
de toevalsveranderlijke die het aantal keren kruis telt, en A de gebeurtenis dat het aantal keren
munt even is. De onvoorwaardelijke kansmassafunctie van X is


 1/4 , als x = 0 ,
pX (x) = 1/2 , als x = 1 ,


1/4 , als x = 2 ,
en P(A) = 1/2. De voorwaardelijke kansmassafunctie is op grond van Definitie 5.30, d.i.
130
Gezamenlijke en voorwaardelijke kansverdelingen
pX|A (x) = P({X = x} ∩ A)/P(A), gegeven door


 1/2 , als x = 0 ,
als x = 1 ,
pX|A (x) = 0 ,


1/2 , als x = 2 .
Het is duidelijk dat X en A niet onafhankelijk zijn, aangezien de kansmassafuncties pX en
pX|A verschillend zijn. Een van A onafhankelijke toevalsveranderlijke is bijvoorbeeld X die
de waarde 0 heeft als de eerste gooi munt oplevert, en de waarde 1 heeft als de eerste gooi kruis
oplevert. De onafhankelijkheid is intuı̈tief duidelijk en wordt gemakkelijk geverifieerd aan de
hand van Definitie 5.45.
2
Op analoge wijze definieert men de onafhankelijkheid van continue toevalsveranderlijken.
Definitie 5.47 Twee continue toevalsveranderlijken X en Y zijn onafhankelijk als hun
gezamenlijke kansdichtheid het product van hun marginale kansdichtheden is, d.i. als voor
alle x, y geldt dat
fX,Y (x, y) = fX (x)fY (y) .
Dit is equivalent met de voorwaarde
fX|Y (x|y) = fX (x)
voor alle x en alle y waarvoor fY (y) > 0 ,
of nog, met de voorwaarde
fY |X (y|x) = fY (y)
voor alle y en alle x waarvoor fX (x) > 0 .
Merk op dat als X en Y onafhankelijk zijn, ook elke twee gebeurtenissen van de vorm
{X ∈ A} en {Y ∈ B} onafhankelijk zijn. Immers
Z
Z
Z
Z
fX (x)fY (y) dy dx
fX,Y (x, y) dy dx =
P({X ∈ A} ∩ {Y ∈ B}) =
x∈A
=
Z
fX (x) dx
x∈A
x∈A
y∈B
Z
y∈B
y∈B
fY (y) dy = P(X ∈ A)P(Y ∈ B) .
De definitie kan eveneens doorgetrokken worden naar de cumulatieve verdelingen, zonder
nog een onderscheid te moeten maken tussen discrete of continue toevalsveranderlijken.
Definitie 5.48 Twee toevalsveranderlijken X en Y zijn onafhankelijk als hun gezamenlijke
cumulatieve verdelingsfunctie het product van hun marginale cumulatieve verdelingsfuncties
is, d.i. als voor alle x, y geldt dat
FX,Y (x, y) = FX (x)FY (y) .
Het onafhankelijk zijn van twee toevalsveranderlijken X, Y leidt tot een eenvoudige regel
voor de verwachtingswaarde van hun product.
Eigenschap 5.49 Voor onafhankelijke toevalsverandertlijken X en Y geldt dat de verwachtingswaarde van hun product het product van hun verwachtingswaarden is, d.i.
E[XY ] = E[X] E[Y ] .
5.7 Onafhankelijke toevalsveranderlijken
131
Bewijs
Veronderstel dat X en Y discreet zijn, dan bekomt men achtereenvolgens
XX
XX
E[XY ] =
xy pX,Y (x, y) =
xy pX (x)pY (y)
x
y
==
X
x
x
x pX (x)
X
y
y pY (y) = E[X] E[Y ]
y
Voor continue toevalsveranderlijken volstaat het kansmassa’s door kansdichtheden te vervangen.
2
Eigenschap 5.49 heeft een belangrijk gevolg voor de covariantie, dus ook voor de correlatie
van onafhankelijke toevalsveranderlijken.
Eigenschap 5.50 Voor twee onafhankelijke toevalsveranderlijken X en Y geldt dat
cov(X, Y ) = 0 ,
m.a.w. ook dat ρ(X, Y ) = 0, zodat X en Y ongecorreleerd zijn.
Bewijs
Dit volgt onmiddellijk uit Eigenschappen 5.23, 5.49 en Definitie 5.27.
2
Het omgekeerde geldt niet altijd: ongecorreleerde toevalsveranderlijken zijn niet noodzakelijk onafhankelijk, zoals in volgend voorbeeld geı̈llustreerd wordt.
Voorbeeld 5.51 Beschouw het koppel toevalsveranderlijken (X, Y ) dat de waarden (1, 0),
(0, 1), (−1, 0) en (0, −1) aanneemt, elk met kans 1/4. De marginale kansmassa’s van X
en Y zijn




 1/4 , als x ∈ {−1, 1} ,
 1/4 , als y ∈ {−1, 1} ,
pX (x) = 1/2 als x = 0 ,
pY (y) = 1/2 als y = 0 ,




0,
voor de overige x ,
0,
voor de overige y .
Deze marginale kansmassafunctie’s zijn symmetrisch rond 0, zodat E[X] = E[Y ] = 0. Voorts
is voor elke mogelijke (x, y) ofwel x = 0 ofwel y = 0, zodat XY = 0 en E[XY ] = 0 en
dus ook cov(X, Y ) = E[XY ] − E[X] E[Y ] = 0. X en Y zijn ongecorreleerd. X en Y zijn
evenwel niet onafhankelijk, want is bijvoorbeeld X 6= 0, dan ligt vast dat Y = 0.
2
De covariantie treedt onder andere op in de regel voor de variantie van een som van toevalsveranderlijken. Die regel wordt bijgevolg eenvoudiger als de toevalsveranderlijken onafhankelijk zijn.
Eigenschap 5.52 variantie van de som van onafhankelijke toevalsveranderlijken
Voor onafhankelijke toevalsveranderlijken X en Y en willekeurige scalairen a en b geldt dat
var(a X + b Y ) = a2 var(X) + b2 var(Y ) .
Bewijs
Dit volgt onmiddellijk uit Eigenschappen 5.26 en 5.50.
2
132
Gezamenlijke en voorwaardelijke kansverdelingen
Voorgaande formules die betrekking hebben op de onafhankelijkheid van twee toevalsveranderlijken, laten zich eenvoudig uitbreiden tot de onafhankelijkheid van meer toevalsveranderlijken. De sleutel tot die uitbreiding is de Definitie 2.41 van een stel onderling onafhankelijke
gebeurtenissen.
Definitie 5.53 De toevalsveranderlijken X1 , X2 , . . . , Xn zijn (onderling) onafhankelijk als
en slechts als voor alle x1 , x2 , . . . , xn , in het discrete geval geldt dat
pX1 ,X2 ,...,Xn (x1 , x2 , . . . , xn ) = pX1 (x1 )pX2 (x2 ) · · · pXn (xn ) ,
in het continue geval geldt dat
fX1 ,X2 ,...,Xn (x1 , x2 , . . . , xn ) = fX1 (x1 )fX2 (x2 ) · · · fXn (xn ) ,
en in zowel het discrete als continue geval geldt dat
FX1 ,X2 ,...,Xn (x1 , x2 , . . . , xn ) = FX1 (x1 )FX2 (x2 ) · · · FXn (xn ) .
5.8 Steekproeven
Om de verdeling van een toevalsveranderlijke te beschrijven en om daaruit de typische numerieke kenmerken, zoals de verwachtingswaarde, variantie en momenten te berekenen, moet
gebruik worden gemaakt van alle gegevens, met andere woorden van alle waarden en bijhorende kansmassa of kansdichtheid van de toevalsveranderlijke. Om de verdeling, verwachtingswaarde en variantie van bijvoorbeeld het jaarinkomen van de Vlaamse bevolking te bepalen,
zouden in principe alle burgers moeten meegerekend worden. In de praktijk is dit vaak ondoenlijk of onwenselijk, omdat men uitspraken wil maken over een verzameling gegevens waarvan
niet ieder individu te onderzoeken is. In zo’n geval neemt men een deel van de gegevens, een
steekproef, en probeert men uit de resultaten op de steekproef conclusies over de volledige
verzameling gegevens te trekken. Voorbeelden voor deze situatie zijn:
• Verkiezingen: om de percentages van de verschillende opties (verschillende partijen,
kandidaten, ja/neen bij een referendum) bij een toekomstige verkiezing te schatten, wordt
in een enquête een steekproef van typisch 1000 of 2000 mensen ondervraagd.
• Kwaliteitstoetsen: om het percentage defecte stukken in een productie te schatten, neemt
men een steekproef en test men de gekozen stukken. Het relatieve aantal defecte stukken
in de steekproef wordt meestal als een schatting aangewend voor het percentage in de
volledige productie.
• Verwachtingswaarden: om de verwachtingswaarde van bijvoorbeeld de intelligentiecoefficiënt of body-mass-index in de bevolking te schatten, bepaalt men het gemiddelde
voor een geselecteerde groep mensen.
De idee achter het nemen van een steekproef zit in de veronderstelling dat de steekproef
representatief is voor de volledige verzameling. De manier hoe een steekproef wordt genomen,
heeft natuurlijk een grote invloed erop of dit inderdaad klopt. Het is bijvoorbeeld bekend dat
zekere groepen in de bevolking duidelijk verschillende resultaten bij een verkiezing opleveren,
5.8 Steekproeven
133
afhankelijk van inkomen, leeftijd of burgelijke staat. Men moet daarom ervoor zorgen dat deze
factoren in de steekproef met de juiste relatieve frequenties gerepresenteerd zijn.
Een voorbeeld van een slechte steekproef is, bij een enquête gewoon de eerste 100 mensen
te bevragen die men tegenkomt. Dit zou bijna nooit representatief zijn, omdat men op zekere
plekken vooral mensen met gemeenschappelijke eigenschappen tegenkomt, op het station bijvoorbeeeld mensen die pendelen en op de campus van de universiteit studenten. Ook als men
in de telefoongids willekeurig nummers kiest, is dit meestal niet representatief, omdat daardoor mensen zonder telefoon buiten beschouwing worden gelaten en afhankelijk van de tijd
verschillende bewoners van een woning worden bereikt.
Het juist kiezen van een steekproef is een moeilijke taak waarmee zich een specifiek gebied
van de statistiek bezighoudt. Het is niet de bedoeling van deze cursus hierop dieper in te gaan
en er zal dan ook steeds verondersteld worden dat de beschoude steekproeven aselect zijn.
Hiermee wordt bedoeld dat de steekproef aan de volgende twee eisen voldoet:
(1) De steekproef is onbevooroordeeld (unbiased): elk individu heeft dezelfde kans om
gekozen te worden.
(2) De steekproef is onafhankelijk: de keuze van één individu voor de steekproef heeft geen
invloed op de kansen van de andere individuen om in de steekproef te komen.
Stel dat men een steekproef met waarden x1 , x2 , . . . , xn heeft die de waarden zijn van
een welbepaald kenmerk gemeten bij de geselecteerde individuen of objecten uit de populatie.
Ieder element xi in de steekproef kan als resultaat gezien worden van een toevalsveranderlijke
Xi en aangezien verondersteld wordt dat de elementen op grond van hetzelfde proces geproduceerd worden, hebben de toevalsveranderlijken Xi alle dezelfde kansverdeling, namelijk de
kansverdeling van de toevalsveranderlijke X die geassocieerd is met het kenmerk in de totale
populatie.
De verschillende begrippen aangaande steekproeven getrokken uit een populatie worden
als volgt geformaliseerd.
Definitie 5.54
• Een onbevooroordeelde, onafhankelijke steekproef is een verzameling van n onafhankelijke toevalsveranderlijken X1 , X2 , . . . , Xn met zelfde kansverdeling.
• n wordt de omvang van de steekproef of steekproefgrootte (sample size) genoemd.
• De waargenomen numerieke waarden x1 , x2 , . . . , xn van de steekproefelementen
X1 , X2 , . . . , Xn worden de steekproefwaarden (sample values) genoemd.
• De ruimte waaruit de steekproefelementen afkomstig zijn, noemt men de statistische
populatie (statistical population) of kortweg de populatie.
• De geobserveerde grootheid is een discrete of continue toevalsveranderlijke X die in
de populatie gekarakteriseerd is door haar cumulatieve verdelingsfunctie FX (x).
• De kansverdeling van X wordt de onderliggende verdeling (underlying distribution),
de populatieverdeling of de exacte verdeling van de geobserveerde grootheid genoemd.
• Alle steekproefelementen X1 , X2 , . . . , Xn zijn verdeeld zoals X.
134
Gezamenlijke en voorwaardelijke kansverdelingen
5.9 Appendix
Deze appendix bevat enkele bewijzen in verband met de bivariate normale verdeling.
De marginale verdelingen van een bivariate normale verdeling zijn normaal
Zij (X, Y ) bivariaat normaal verdeeld met parameters µX , µY , σX , σY , ρ, dan is de marginale kansdichtheid van X gegeven door
Z ∞
fX,Y (x, y) dy
fX (x) =
−∞
=
1
p
2πσX σY
Z
1 − ρ2
∞
x−µx
1
x 2
[( x−µ
σx ) −2ρ( σx
2(1−ρ2 )
−
e
)(
y−µY
σY
)+(
y−σY
σY
)2 ]
dy .
−∞
Herschrijf de exponent in het integrandum als
"
2
2 #
1
x − µx
y − µY
y − σY
x − µx
+
− 2ρ
2(1 − ρ2 )
σx
σx
σY
σY
2
2
y − µY
x − µX
1 x − µX
1
−ρ
+
,
=
2
2(1 − ρ )
σY
σX
2
σX
zodat
fX (x) =
1
p
2πσX σY
− 21
1−
ρ2
e
x−µ 2 Z
X
σX
∞
1
− 2(1−ρ
2) (
e
y−µY
σY
−ρ
x−µX
σX
)2
dy .
−∞
Door overgang van y naar de nieuwe integratieveranderlijke
1
x − µX
y − µY
t= p
,
−ρ
σY
σX
1 − ρ2
zodat
dy
p
,
σY 1 − ρ2
dt =
bekomt men
x−µX 2
1
−1(
)
e 2 σX
fX (x) =
2πσX
Z
∞
2
e−t
−∞
/2
x−µX 2
1
−1(
)
e 2 σX
dt = √
,
2πσX
waarmee is aangetoond dat X normaal verdeeld is met parameters µX en σX . Bijgevolg zijn E[X] =
2
µX , E[Y ] = µY var(X) = σX
en var(Y ) = σY2 .
2
ρ is de correlatiecoëfficiënt van de bivariate normale verdeling
Met behulp van dezelfde opsplitsing van de exponent als hierboven, bekomt men
Z ∞Z ∞
(x − µX )(y − µY )fX,Y (x, y) dx dy
cov(X, Y ) =
−∞
=
−∞
1
p
2πσX σY
1−
ρ2
Z
∞
−∞
− 21 (
(x − µX )e
x−µX
σX
)2
dx
Z
∞
−∞
1
− 2(1−ρ
2) (
(y − µY )e
Voer de volgende transformatie van x, y naar nieuwe integratieveranderlijken s, t door:
1
x − µX
y − µY
x − µX
.
,
t= p
−ρ
s=
σX
σY
σX
1 − ρ2
y−µY
σY
−ρ
x−µX
σX
)2
dy .
5.9 Appendix
135
Vermits s niet afhangt van y is
ds dt =
dx dy
p
.
σX σY 1 − ρ2
Hiermee wordt de covariantie omgezet tot
Z ∞ p
Z ∞
2
2
σX σY
( 1 − ρ2 st + ρs2 )e−t /2 dt
e−s /2 ds
cov(X, Y ) =
2π
−∞
−∞
=
σX σY
p
1 − ρ2
2π
σX σY ρ
+
2π
Z
∞
Z
∞
−s2 /2
se
ds
−∞
2 −s2 /2
s e
ds
−∞
Z
Z
∞
∞
2
te−t
/2
dt
−∞
2
e−t
/2
dt
−∞
= ρσX σY .
2
Aangezien var(X) = σX
en var(Y ) = σY2 , is
ρ(X, Y ) = p
cov(X, Y )
var(X)var(Y )
=
ρ σX σY
= ρ.
σX σY
2
Hoofdstuk 6
Functies van toevalsveranderlijken
6.1 Afgeleide verdelingen
Beschouw een functie Y = g(X) van een continue toevalsveranderlijke X waarvan de kansdichtheidsfunctie fX gegeven is. Men wenst hieruit de kansdichtheidsfunctie fY van Y te
bekomen. De meest gebruikte methode daartoe is de volgende tweestapsmethode.
Eigenschap 6.1 kansdichtheid van een functie Y = g(X) van een continue toevalsveranderlijke X
1. Bereken de cumulatieve verdelingsfunctie FY van Y met de formule
Z
fX (x) dx .
FY (y) = P(g(X) ≤ y) =
{x|g(x)≤y}
2. Bereken fY door afleiding van FY :
fY (y) =
dFY (y)
.
dy
√
Voorbeeld 6.2 Zij X uniform verdeeld op [0, 1] en Y = X. Voor iedere y ∈ [0, 1] geldt
√
FY (y) = P(Y ≤ y) = P( X ≤ y) = P(X ≤ y 2 ) = y 2 .
Na afleiding naar y bekomt men
fY (y) =
dFY (y)
d(y 2 )
=
= 2y ,
dy
dy
0 ≤ y ≤ 1.
Buiten het interval [0, 1] is de cumulatieve verdelingsfunctie FY (y) constant, met FY (y) = 0
voor y ≤ 0 en FY (y) = 1 voor y ≥ 1. De afgeleide van een constante is 0, zodat fY (y) = 0
voor alle y buiten het interval [0, 1].
2
Voorbeeld 6.3 Zij Y = g(X) = X 2 , waarbij X de kansdichtheid fX bezit. Voor iedere y ≥ 0
geldt
√
√
√
√
FY (y) = P(Y ≤ y) = P(X 2 ≤ y) = P(− y ≤ X ≤ y) = FX ( y) − FX (− y) ,
138
Functies van toevalsveranderlijken
zodat hieruit, door toepassing van de kettingregel voor afgeleiden, volgt dat
1
1
√
√
fY (y) = √ fX ( y) + √ fX (− y) ,
2 y
2 y
y > 0.
Voorts is FY (y) = 0 voor alle y < 0; bijgevolg is fY (y) = 0 voor alle y < 0.
2
d
Voorbeeld 6.4 Zij X = N (0, 1) een standaardnormaal verdeelde veranderlijke en, zoals in
vorig voorbeeld, Y = X 2 . De kansdichtheid van Y is voor alle y > 0 gegeven door
1
1
√
√
fY (y) = √ fX ( y) + √ fX (− y)
2 y
2 y
√ 2
√ 2
1
1
1
1
1
e−y/2 .
= √ √ e−( y) /2 + √ √ e−(− y) /2 = √
2 y 2π
2 y 2π
2πy
Aangezien fY (y) te herschrijven is als

1/2

1
 1
√
y −1/2 e−y/2 , als y > 0
fY (y) =
π 2

0,
voor de overige y .
is, gelet op Definitie 4.38, fY de kansdichtheid van een gamma-verdeelde veranderlijke met
parameters α = 1/2 en β = 1/2. Immers,
Z ∞ 2 −1/2
Z ∞
z
1
2
−1/2 −x
e−z /2 z dz
x
e dx =
=
Γ
2
2
0
0
Z
Z
∞
∞
√
√
1 √
1
2
2
= 2
e−z /2 dz = √ 2π = π ,
e−z /2 dz = √
2 −∞
2
0
waarbij de substitutie x = z 2 /2 is doorgevoerd en van de Laplace-integraal gebruik is gemaakt.
2
Eigenschap 6.5 Het kwadraat van een standaardnormaal verdeelde veranderlijke is
d
gamma-verdeeld met parameters α = 1/2 en β = 1/2, d.i. als X = N (0, 1), dan is
d
X 2 = Gamma(1/2, 1/2).
In het vervolg worden nog enkele speciale types van functies onderzocht.
6.1.1
Lineaire functies
De algemene werkwijze om de dichtheid te berekenen, leidt in het geval van lineaire functies
tot een eenvoudige regel.
Eigenschap 6.6 kansdichtheid van een lineaire functie van een continue toevalsveranderlijke
Zij X een continue toevalsveranderlijke met kansdichtheid fX en Y = aX + b met gegeven
scalairen a 6= 0 en b. Dan is
1
y−b
fY (y) =
fX
.
|a|
a
6.1 Afgeleide verdelingen
139
Bewijs
Veronderstel dat a > 0. Dan is
y−b
y−b
= FX
.
FY (y) = P(Y ≤ y) = P(aX + b ≤ y) = P X ≤
a
a
Na afleiding naar y bekomt men
dFY (y)
1
fY (y) =
= fX
dy
a
y−b
a
1
fX
=
|a|
y−b
a
.
Voor a < 0 geldt
y−b
y−b
= 1 − FX
,
FY (y) = P(Y ≤ y) = P(aX + b ≤ y) = P X ≥
a
a
zodat
1
dFY (y)
= − fX
fY (y) =
dy
a
y−b
a
1
fX
=
|a|
y−b
a
.
2
Voorbeeld 6.7 lineaire functie van een exponentiële toevalsveranderlijke Veronderstel dat
X exponentieel verdeeld is met parameter λ, d.i.
( −λx
λe
, als x ≥ 0 ,
fX (x) =
0,
voor de overige x ,
met λ een positieve parameter. Stel Y = aX + b, dan is

 λ e−λ(y−b)/a als (y − b)/a ≥ 0 ,
fY (y) = |a|

0,
voor de overige y ,
Merk op dat Y voor b = 0 en a > 0 exponentieel verdeeld is met parameter λ/a. Dit is niet
algemeen het geval: als bijvoorbeeld b = 0 en a < 0, dan is het waardengebied van Y de
negatieve reële as.
2
d
Voorbeeld 6.8 lineaire functie van een normale veranderlijke Zij X = N (µ, σ 2 ), d.i.
fX (x) = √
1
2
2
e−(x−µ) /2σ .
2πσ
Dan is
1
fX
fY (y) =
|a|
y−b
a
=
1
1
1
2
2
2
2 2
√
e−((y−b)/a−µ) /2σ = √
e−(y−b−aµ) /2a σ .
|a| 2πσ
2π|a|σ
Dit is de kansdichtheid van een normale veranderlijke met verwachtingswaarde aµ + b en
variantie a2 σ 2 , hetgeen in overeenstemming is met Eigenschap 4.47.
2
140
6.1.2
Functies van toevalsveranderlijken
Monotone functies
De formule voor het geval van een lineaire functie kan gemakkelijk veralgemeend worden
voor het geval waarbij g een strikt monotone functie is. Zij X een toevalsveranderlijke met
waardengebied I in de zin dat fX (x) = 0 voor alle x 6∈ I. Beschouw de toevalsveranderlijke
Y = g(X), waarbij g strikt monotoon is over I, zodat ofwel
(a) g(x) < g(x′ ) voor alle x, x′ ∈ I waarvoor x < x′ (strikt stijgend), ofwel
(b) g(x) > g(x′ ) voor alle x, x′ ∈ I waarvoor x < x′ (strikt dalend).
Bovendien wordt de functie g afleidbaar verondersteld. Haar afgeleide is noodzakelijk strikt
positief in het geval van een strikt stijgende g en strikt negatief in het geval van een strikt
dalende g.
Een strikt monotone functie g is inverteerbaar, in de zin dat er een functie h bestaat, zodanig
dat voor alle x ∈ I er geldt dat y = g(x) als en slechts als x = h(y). Is bijvoorbeeld
g(x) = ax + b met a 6= 0 en b gegeven scalairen, dan is h(y) = (y − b)/a. Is g(x) = eax met
a 6= 0, dan is h(y) = (ln y)/a.
Eigenschap 6.9 kansdichtheid van een strikt monotone functie van een continue toevalsveranderlijke
Veronderstel dat g strikt monotoon is en dat voor alle x in het waardengebied van de toevalsveranderlijke X, y = g(x) equivalent is met x = h(y). Als h afleidbaar is, dan is de
kansdichtheid van Y in het gebied waar fY (y) > 0, gegeven door
dh(y) .
fY (y) = fX (h(y)) dy Bewijs
Veronderstel dat g strikt stijgend is. Dan is
FY (y) = P(g(X) ≤ y) = P(X ≤ h(y)) = FX (h(y)) ,
waarbij in de tweede overgang gebruik is gemaakt van het strikt stijgend zijn van g. Na afleiding
naar y komt er
dFY
dh(y)
fY (y) =
(y) = fX (h(y))
.
dy
dy
Aangezien g strikt stijgend is, is ook h strikt stijgend en is haar afgeleide strikt positief, zodat
dh(y) dh(y) .
=
dy
dy Het bewijs voor een strikt dalende functie g is analoog en volgt uit het afleiden van
FY (y) = P(g(X) ≤ y) = P(X ≥ h(y)) = 1 − FX (h(y)) ,
naar y en door de toepassing van de kettingregel voor afgeleiden.
2
Voorbeeld 6.10 Zij Y = g(X) = X 2 , met X uniform verdeeld op het interval [0, 1]. In dit
√
interval is g strikt monotoon met inverse h(y) = y. Bijgevolg geldt voor alle y ∈ [0, 1] dat
dh(y) 1
√
fX ( y) = 1 ,
dy = 2√y ,
6.1 Afgeleide verdelingen
en
141

1
 √
, als y ∈ [0, 1] ,
2
y
fY (y) =

0,
voor de overige y .
6.1.3
2
Functies van twee toevalsveranderlijken
De tweestapsprocedure waarbij uit de cumulatieve verdelingsfunctie door afleiding de kansdichtheid wordt berekend, kan ook toegepast worden op functies van meer toevalsveranderlijken. Enkele voorbeelden illustreren de werkwijze.
Voorbeeld 6.11 Twee boogschutters schieten een pijl af naar een cirkelvormig doel. De afstand van elke pijl tot het centrum van de roos is onafhankelijk van de andere pijl en uniform
verdeeld op [0, 1]. Wat is voor de verliezende pijl de kansdichtheid van de afstand tot het
centrum van de roos?
Oplossing
Stellen X en Y respectievelijk de afstanden voor van de eerste en tweede pijl tot het centrum van de roos. Zij Z de afstand van de verliezende pijl, d.i. Z = max(X, Y ). Aangezien
X en Y uniform verdeeld zijn op het interval [0, 1] geldt voor elke z ∈ [0, 1] dat
P(X ≤ z) = P(Y ≤ z) = z .
Gebruik makend van de onafhankelijkheid van X en Y , volgt er voor alle z ∈ [0, 1] dat
FZ (z) = P(max(X, Y ) ≤ z) = P(X ≤ z, Y ≤ z) = P(X ≤ z)P(Y ≤ z) = z 2 .
Door afleiding naar z bekomt men ten slotte:
(
2z , als 0 ≤ z ≤ 1 ,
fZ (z) =
0 , voor de overige z .
2
Voorbeeld 6.12 Zij X en Y twee onafhankelijke toevalsveranderlijken die uniform verdeeld
zijn op [0, 1]. Wat is de kansdichtheid van de toevalsveranderlijke Z = Y /X?
Oplossing
Zoals getoond in Figuur 5.1, onderscheidt men de gevallen 0 ≤ z ≤ 1 en z > 1 en leidt
men voor beide gecombineerd af dat

z/2 ,
als 0 ≤ z ≤ 1 ,



Y
FZ (z) = P
≤ z = 1 − 1/(2z) , als z > 1 ,

X


0,
voor de overige z .
Afleiding naar z levert

1/2 ,
als 0 ≤ z ≤ 1 ,



fZ (z) = 1/(2z 2 ) , als z > 1 ,



0,
voor de overige z .
2
142
Functies van toevalsveranderlijken
y
y
6
1
6
1
z
1
helling z
helling z
z
z
R
0
1
-
x
0
1
x
Figuur 6.1: De berekening van de cumulatieve kansverdelingsfunctie van Z = Y /X als (X,Y) uniform
verdeeld is op het eenheidsvierkant. De waarde van P(Y /X ≤ z) is gelijk aan de oppervlakte van het
gearceerde gebied. De figuur links correspondeert met het geval 0 ≤ z ≤ 1, de figuur rechts met het
geval z > 1.
6.2 De momentgenererende functie
In deze sectie wordt een transformatie geı̈ntroduceerd die een alternatieve, equivalente voorstelling van een kansverdeling (een kansmassafunctie of kansdichtheidsfunctie) geeft. Het is een
zuiver mathematische voorstelling die niet zozeer intuı̈tief duidelijk is, maar wel het voordeel
biedt dat ze sommige bewijzen sterk vereenvoudigt.
Definitie 6.13 De momentgenererende functie (moment generating function) van een toevalsveranderlijke X is de functie MX (s) van de reële veranderlijke s, gedefinieerd door
MX (s) = E[esx ] .
In het bijzonder is voor een discrete toevalsveranderlijke X met waardenverzameling W
X
MX (s) =
esx pX (x) ,
x∈W
en voor een continue toevalsveranderlijke X
Z +∞
esx fX (x) dx .
MX (s) =
−∞
Voorbeeld 6.14 Zij


 1/2 , als x = 2 ,
pX (x) = 1/6 , als x = 3 ,


1/3 , als x = 5 .
De momentgenererende functie van X is
1
1
1
MX (s) = e2s + e3s + e5s .
2
6
3
2
6.2 De momentgenererende functie
143
d
Voorbeeld 6.15 Poisson-veranderlijke Zij X = Poisson(λ), d.i.
pX (k) =
λk e−λ
,
k!
k = 0, 1, . . .
De momentgenererende functie is
MX (s) =
∞
X
k=0
esk
∞
X (λes )k
λk e−λ
s
s
= e−λ
= e−λ eλe = eλ(e −1) .
k!
k!
k=0
2
d
Voorbeeld 6.16 gamma-verdeelde veranderlijke Zij X = Gamma(α, β), d.i.

 1 β α xα−1 e−βx , als x > 0 ,
fX (x) = Γ(α)

0,
voor de overige x .
De momentgenererende functie is
Z ∞
Z ∞
βα
βα
sx α−1 −βx
e x
e
dx =
xα−1 e−(β−s)x dx
MX (s) =
Γ(α) 0
Γ(α) 0
α
β
β α Γ(α)
=
.
=
Γ(α) (β − s)α
β−s
Bovenstaande berekening en de formule voor MX (s) zijn slechts correct als de functie e−(β−s)x
daalt wanneer x onbeperkt toeneemt, d.i. als en slechts als s < β; zoniet is de integraal
oneindig. Aangezien voor α = 1 en β = λ de verdeling een exponentiële verdeling is met
parameter λ, is aangetoond dat de momentgenererende functie voor een exponentiële veranderlijke X met parameter λ gegeven wordt door
MX (s) =
λ
.
λ−s
2
Het voorgaande voorbeeld illustreert dat MX (s) slechts gedefinieerd is voor die waarden
van s waarvoor E[esX ] eindig is.
Eigenschap 6.17 momentgenererende functie van een lineaire functie
Zij MX (s) de momentgenererende functie van de toevalsveranderlijke X en stel Y = aX +b,
met a en b gegeven scalairen. Dan is
MY (s) = esb MX (sa) .
Bewijs
Er geldt
MY (s) = E[es(aX+b) ] = E[esb esaX ] = esb E[esaX ] = esb MX (sa) .
2
144
Functies van toevalsveranderlijken
d
Voorbeeld 6.18 normale veranderlijke Zij X = N (µ, σ 2 ). Beschouw, teneinde MX (s) te
d
berekenen, eerst het speciale geval van de standaardnormale veranderlijke Y = N (0, 1) met
kansdichtheid
1
2
fY (y) = √ e−y /2 .
2π
Men berekent
Z ∞
Z ∞
1
1
2
2
√ e−y /2 esy dy = √
e−(y /2)+sy dy
MY (s) =
2π
2π −∞
−∞
Z ∞
Z ∞
2
2
−(y 2 /2)+sy−(s2 /2)
s2 /2 1
s2 /2 1
√
√
e
dy = e
e−(y−s) /2 dy = es /2 ,
=e
2π −∞
2π −∞
waarbij de laatste gelijkheid volgt uit de normaliseringseigenschap van een normale kansdichtheid met verwachtingswaarde s en variantie 1.
Een algemene normale veranderlijke X met verwachting µ en variantie σ 2 wordt uit de
standaardnormale veranderlijke Y bekomen via de lineaire transformatie
X = σY + µ.
Bijgevolg is de momentgenererende functie van X gegeven door
MX (s) = eµs MY (σs) = eµs e(σs)
2 /2
= e(σ
2 s2 /2)+µs
.
2
Is de momentgenererende functie van een toevalsveranderlijke bekend, dan kunnen daaruit
gemakkelijk alle momenten berekend worden, wat overigens de benaming van de momentgenererende functie verklaart.
Eigenschap 6.19 Zij MX (s) de momentgenererende functie van een toevalsveranderlijke X.
Dan is het moment van k-de orde µk (X) te berekenen als
µk (X) = E[X k ] =
dk
MX (s)s=0 .
k
ds
Bewijs
Veronderstel dat de toevalsveranderlijke X continu is. Leidt men beide leden van de
gelijkheid
Z ∞
esx fX (x) dx ,
MX (s) =
−∞
af naar s, dan volgt er dat
Z ∞
Z ∞
Z ∞
d
d sx
d
xesx fX (x) dx .
esx fX (x) dx =
MX (s) =
e fX (x) dx =
ds
ds −∞
ds
−∞
−∞
Hierin is de afgeleide-bewerking verwisseld met de integratie-bewerking, wat voor de verdelingen beschouwd in deze cursus een geldige operatie is. Stelt men voorts s = 0, dan bekomt
men
Z ∞
d
xfX (x) dx = E[X] .
MX (s)s=0 =
ds
−∞
6.2 De momentgenererende functie
145
Meer algemeen, door MX (s) k keer af te leiden naar s en dan s = 0 te stellen, bekomt men
Z ∞
dk
xk fX (x) dx = E[X k ] .
=
M
(s)
X
s=0
dsk
−∞
Het bewijs verloopt analoog als X een discrete toevalsveranderlijke is.
2
Voorbeeld 6.20 Zij X exponentieel verdeeld met parameter λ. De momentgenererende functie van X is (zie Voorbeeld 6.14)
λ
.
MX (s) =
λ−s
Herhaaldelijk afleiden naar s geeft
λ
d
MX (s) =
,
ds
(λ − s)2
d2
2λ
MX (s) =
,
2
ds
(λ − s)3
zodat, mits s = 0 te zetten, gevonden wordt dat
dk
k!λ
MX (s) =
,
k
ds
(λ − s)k+1
1
2
k!
,
E[X 2 ] = 2 ,
E[X k ] = k .
λ
λ
λ
Merk op dat de eerste twee momenten reeds in Sectie 4.8.1 werden bekomen.
E[X] =
2
De momentgenererende functie is van praktisch belang bij het sommeren van toevalsveranderlijken.
Eigenschap 6.21 Zijn X en Y twee onafhankelijke toevalsveranderlijken en is Z = X + Y ,
dan geldt dat
MZ (s) = MX (s) MY (s) .
Bewijs
Er geldt dat
MZ (s) = E[esZ ] = E[es(X+Y ) ] = E[esX esY ] .
Aangezien X en Y onafhankelijk zijn, is ook esX onafhankelijk van esY , zodat men na toepassing van Eigenschap 5.49 vindt dat
MZ (s) = E[esX ] E[esY ] = MX (s) MY (s) .
Met dezelfde redenering toont men onmiddellijk aan dat als X1 , X2 , . . . , Xn onafhankelijke
toevalsveranderlijken zijn en W = X1 + X2 + · · · + Xn , er geldt dat
MW (s) = MX1 (s) MX2 (s) . . . MXn (s) .
2
Voorbeeld 6.22 binomiaal verdeelde veranderlijke Zijn X1 , X2 , . . . , Xn onafhankelijke
Bernoulli-verdeelde veranderlijken met zelfde parameter p, dan is
MXi (s) = (1 − p)e0s + pe1s = 1 − p + pes ,
voor alle i .
De toevalsveranderlijke Y = X1 + X2 + · · · + Xn is binomiaal verdeeld met parameters n en
d
p, d.i. Y = Bin(n, p). De momentgenererende functie van Y is
MY (s) =
n
Y
i=1
MXi (s) = (1 − p + pes )n .
2
146
Functies van toevalsveranderlijken
d
d
Voorbeeld 6.23 som van Poisson-veranderlijken Zij X = Poisson(λ) en Y = Poisson(µ)
twee Poisson-verdeelde veranderlijken en Z = X + Y . Uit Voorbeeld 6.13 volgt dat
s −1)
MX (s) = eλ(e
s −1)
MY (s) = eµ(e
,
zodat
s −1)
MZ (s) = MX (s)MY (s) = eλ(e
s −1)
eµ(e
,
s −1)
= e(λ+µ)(e
.
Aangezien een momentgenererende functie op unieke wijze de verdeling vastlegt, volgt hieruit
d
dat Z Poisson-verdeeld is met parameter λ + µ, d.i. X + Y = Poisson(λ + µ).
2
Deze eigenschap voor de som van twee onafhankelijke Poisson-veranderlijken laat zich
onmiddellijk veralgemenen.
Eigenschap 6.24 Zijn X1 , X2 . . . , Xn onafhankelijke Poisson-veranderlijken met respectievelijk parameters λ1 , λ2 , . . . , λn , dan is hun som Z = X1 + X2 + · · · + Xn een Poissonveranderlijke met parameter λ1 + λ2 + · · · + λn .
d
d
2 ) en Y = N (µ , σ 2 )
Voorbeeld 6.25 som van normale veranderlijken Zij X = N (µX , σX
Y
Y
twee normaal verdeelde veranderlijken en Z = X + Y . Uit Voorbeeld 6.16 volgt dat
2
MX (s) = e(σX s
2 )/2+µ
Xs
,
2
MY (s) = e(σY s
zodat
2
2
MZ (s) = MX (s) MY (s) = e[(σX +σY )s
2 )/2+µ
2 ]/2+(µ
s
,
)s
.
Y
X +µY
d
2 + σ 2 ).
Hieruit volgt dat Z = N (µX + µY , σX
Y
Ook deze eigenschap voor de som van twee onafhankelijke normale veranderlijken laat
zich onmiddellijk veralgemenen.
Eigenschap 6.26 Zij gegeven n onafhankelijke normale toevalsveranderlijken
d
X1 = N (µ1 , σ12 ) ,
d
X2 = N (µ2 , σ22 ) , . . . ,
d
Xn = N (µn , σn2 ) .
Hun som Z = X1 + X2 + · · · + Xn , is een normale veranderlijke met verwachting µ1 + µ2 +
· · · + µn en variantie σ12 + σ22 + · · · + σn2 , d.i.
d
Z = N (µ1 + µ2 + · · · + µn , σ12 + σ22 + · · · + σn2 ) .
d
Voorbeeld 6.27 som van gamma-verdeelde veranderlijken Zij X = Gamma(αX , β) en
d
Y = Gamma(αY , β) twee gamma-verdeelde veranderlijken met eventueel verschillende eerste
parameter en gelijke tweede parameter β. Stel Z = X + Y . Uit Voorbeeld 6.14 volgt dat
αX
αY
β
β
MX (s) =
, MY (s) =
β−s
β−s
zodat
MZ (s) = MX (s) MY (s) =
β
β−s
αX +αY
.
6.3 Convolutie
147
MZ (s) is de momentgenererende functie van een gamma-verdeelde veranderlijke, met als
d
eerste parameter de som αX + αY en als tweede parameter β, d.i. Z = Gamma(αX + αY , β).
Merk op dat in het bijzonder de som van twee exponentieel verdeelde veranderlijken met zelfde
parameter λ, gamma-verdeeld is met parameters 2 en λ, d.i. de Gamma(2, λ)-verdeling bezit.
Eigenschap 6.28 Zij X1 , X2 , . . . , Xn n onafhankelijke gamma-verdeelde toevalsveranderd
lijken met zelfde tweede parameter, d.i. Xi =PGamma(αi , β). Hun som Z = X1 + X2 +
· · · + Xn is gamma-verdeeld met parameters ni=1 αi en β, d.i.
d
Z = Gamma(α1 + α2 + · · · + αn , β) .
In het bijzonder, zij X1 , X2 , . . . , Xn , onafhankelijke exponentieel verdeelde toevalsveranderlijken met zelfde parameter λ, dan is hun som Z = X1 + X2 + · · · + Xn gamma-verdeeld
d
met parameters n en λ, d.i. Z = Gamma (n, λ).
In het bijzonder volgt hieruit ook, gelet op Eigenschap 6.5, een eigenschap van de som van
de kwadraten van n onafhankelijke standaardnormaal verdeelde veranderlijken.
Eigenschap 6.29 De som van de kwadraten van n onafhankelijke standaardnormaal
verdeelde veranderlijken is gamma-verdeeld met parameters α = n/2 en β = 1/2.
Bewijs
d
d
Aangezien Xi = N (0, 1), is wegens Eigenschap 6.5 Xi2 = Gamma(1/2, 1/2). X1 ,
. . . , Xn zijn onafhankelijk, dus zijn ook hun kwadraten X12 , . . . , Xn2 onafhankelijk en volstaat
het Eigenschap 6.28 toe te passen.
2
In de statistiek komt de verdeling Gamma(n/2, 1/2) met positief gehele n zo frequent
voor, dat ze een speciale benaming heeft gekregen.
Definitie 6.30 Voor n positief geheel wordt de verdeling Gamma(n/2, 1/2) de chikwadraat-verdeling met n vrijheidsgraden (degrees of freedom) genoemd en genoteerd
als χ2n . Het is de verdeling van de som van de kwadraten van n onafhankelijke standaardnormaal verdeelde veranderlijken.
d
Is X = χ2n , dan geldt
E[X] = n ,
var(X) = 2n .
6.3 Convolutie
Als X en Y onafhankelijke toevalsveranderlijken zijn, kan de verdeling van hun som Z =
X + Y ook rechtstreeks bekomen worden aan de hand van de convolutie.
Eigenschap 6.31 Is Z = X + Y de som van twee onafhankelijke discrete toevalsveranderlijken X en Y die gehele waarden kunnen aannemen, dan is de kansmassafunctie pZ (z) de
convolutie van de kansmassafuncties van X en Y , d.i.
X
pZ (z) =
pX (x)pY (z − x) .
x
148
Functies van toevalsveranderlijken
Bewijs
Er geldt
pZ (z) = P(X + Y = z) =
=
X
x
X
{(x,y)|x+y=z}
P(X = x, Y = z − x) =
P(X = x, Y = y)
X
x
pX (x) pY (z − x) .
2
Voorbeeld 6.32 Gegeven zijn de discrete toevalsveranderlijken X
kansmassa’s

1/2 ,



1/3 ,
1/3 , als x = 1, 2, 3 ,
pY (y)
pX (x) =
1/6 ,
0,
voor de overige x ,



0,
en Y met respectievelijk de
als y = 0 ,
als y = 1 ,
als y = 2 ,
voor de overige x .
Om de kansmassa’s van Z = X + Y via convolutie te berekenen, merkt men eerst op dat
de mogelijke waarden van Z in het interval [1, 5] liggen. Men kan hieruit reeds afleiden dat
pZ (z) = 0 als z 6= 1, 2, 3, 4, 5. De convolutieformule toepassend, vindt men voorts
pZ (1) =
X
x
pX (x) pY (1 − x) = pX (1) pY (0) =
1 1
1
· = ,
3 2
6
1 1 1 1
5
· + · =
,
3 3 3 2
18
1
1 1 1 1 1 1
pZ (3) = pX (1) pY (2) + pX (2) pY (1) + pX (3) pY (0) = · + · + · = ,
3 6 3 3 3 2
3
1 1 1 1
1
pZ (4) = pX (2) pY (2) + pX (3) pY (1) = · + · = ,
3 6 3 3
6
1 1
1
pZ (5) = pX (3) pY (2) = · =
.
6 6
18
pZ (2) = pX (1) pY (1) + pX (2) pY (0) =
2
Voor continue toevalsveranderlijken X en Y is de convolutieformule dezelfde als in het
discrete geval, behalve dat de som door een integraal en kansmassa’s door kansdichtheden
vervangen worden.
Eigenschap 6.33 Is Z = X + Y de som van twee onafhankelijke continue toevalsveranderlijken X en Y , dan is de kansdichtheidsfunctie fZ (z) de convolutie van de kansdichtheidsfuncties van X en Y , d.i.
Z ∞
fX (x)fY (z − x) dx .
fZ (z) =
−∞
Bewijs
Merk vooreerst op dat
P(Z ≤ z|X = x) = P(X + Y ≤ z|X = x) = P(x + Y ≤ z|X = x)
6.3 Convolutie
149
= P(x + Y ≤ z) = P(Y ≤ z − x) ,
waarbij de derde gelijkheid uit de onafhankelijkheid van X en Y volgt. Door af te leiden naar
z vindt men fZ|X (z|x) = fY (z − x). Substitutie in de vermenigvuldigingsregel leidt tot
fX,Z (x, z) = fX (x) fZ|X (z|x) = fX (x) fY (z − x) ,
en dus ook tot
fZ (z) =
Z
∞
fX,Z (x, z) dx =
Z
∞
−∞
−∞
fX (x) fY (z − x) dx .
2
Voorbeeld 6.34 Als X en Y onafhankelijke toevalsveranderlijken zijn die uniform verdeeld
zijn op [0, 1], wat is de kansdichtheidsfunctie van hun som?
Oplossing
De kansdichtheidsfunctie van Z = X + Y is
Z ∞
fX (x)fY (z − x) dx .
fZ (z) =
−∞
Het integrandum fX (x) fY (z − x) is enkel verschillend van 0 (en gelijk aan 1) als 0 ≤ x ≤ 1
en 0 ≤ z − x ≤ 1. Combinatie van deze twee ongelijkheden toont dat het integrandum van nul
verschilt als max(0, z − 1) ≤ x ≤ min(1, z). Bijgevolg is
fZ (z) =
(
min(1, z) − max(0, z − 1) , 0 ≤ z ≤ 2 ,
0,
voor de overige z .
De kansdichtheidsfunctie heeft de driehoekige vorm zoals getoond in Figuur 6.2.
2
fz
6
0
1
2
z
Figuur 6.2: De kansdichtheidsfunctie van de som van twee onafhankelijke op [0, 1] uniform verdeelde
veranderlijken.
Voorbeeld 6.35 Als X uniform verdeeld is op [0, 1] en Y exponentieel verdeeld is met parameter λ en als X en Y bovendien onafhankelijk zijn, wat is de kansdichtheid van hun som?
150
Functies van toevalsveranderlijken
Oplossing
De kansdichtheidsfunctie van Z = X + Y is
Z ∞
fX (x) fY (z − x) dx ,
fZ (z) =
−∞
en het integrandum is slechts van 0 verschillend als 0 ≤ x ≤ 1 en z − x ≥ 0. Men dient aldus
de gevallen 0 ≤ z ≤ 1 en z > 1 te onderscheiden. Als 0 ≤ z ≤ 1, dan is het integrandum
verschillend van 0 als 0 ≤ x ≤ z en men vindt
Z z
Z ∞
λe−λ(z−x) dx = e−λz (eλz − 1) = 1 − e−λz .
fX (x) fY (z − x) dx =
0
−∞
Als z > 1, dan is het integrandum verschillend van 0 als 0 ≤ x ≤ 1 en men vindt
Z
∞
−∞
fX (x) fY (z − x) dx =
Z
1
0
λe−λ(z−x) dx = e−λz (eλ − 1) .
Deze resultaten samenvoegend, bekomt men


1 − e−λz ,
als 0 ≤ z ≤ 1 ,



fZ (z) = e−λz (eλ − 1) , als z > 1 ,



0,
voor de overige z .
2
6.4 Randomgeneratoren
Simulatie is een krachtig middel om inzicht te verwerven in het gedrag van complexe systemen.
Aangezien zulke systemen vaak stochastische kenmerken bezitten, dient men voor de simulatie
soms te beschikken over een rij van onafhankelijke toevalsveranderlijken X1 , X2 , . . . , die eenzelfde kansverdeling hebben. De verdelingsfunctie wordt bepaald door het theoretisch model
dat het systeem simuleert.
Voorbeeld 6.36 Zij t1 , t2 , t3 . . . de tijdstippen gemeten vanaf t = 0 waarop opeenvolgende
oproepen in een telefooncentrale of opeenvolgende aanvragen in een server van een computernetwerk binnenkomen. Meestal kunnen de tijdsverschillen t2 − t1 , t3 − t2 , . . . tussen
twee opeenvolgende oproepen of aanvragen gemodelleerd worden d.m.v. onafhankelijke toevalsveranderlijken met zelfde exponentiële verdeling. De parameter λ van die verdeling volgt
uit een statistische analyse van de reële trafiek. Voor de simulatie van een rij van oproepen
of aanvragen zal men bijgevolg een rij van onafhankelijke toevalsveranderlijken X1 , X2 , . . .
genereren die alle exponentieel verdeeld zijn met parameter λ.
2
Bijna alle methoden om een rij van onafhankelijke toevalsveranderlijken X1 , X2 , . . . met
zelfde cumulatieve verdelingsfunctie FX (x) te genereren, steunen impliciet op het vooraf
genereren van een rij onafhankelijke toevalsveranderlijken U1 , U2 , . . . die alle uniform verdeeld
zijn op het interval [0, 1]. Het genereren van dergelijke rijen is dus van prioritair belang.
6.4 Randomgeneratoren
151
Definitie 6.37 Zij U1 , U2 , . . . een rij van onafhankelijke toevalsveranderlijken uniform
verdeeld op [0, 1]. Men noemt ze onafhankelijke randomgetallen (random numbers) omdat ze elk onafhankelijk van elkaar een willekeurige waarde in het interval [0, 1] kunnen
aannemen.
Vóór het computertijdperk werden rijen van randomgetallen gegenereerd door het uitvoeren van realistische toevalsexperimenten. Men gebruikte daartoe dobbelstenen, rouletteschijven, urnen, e.d.. Om niet steeds opnieuw tijdrovende experimenten te moeten opzetten, werden tabellen van randomgetallen samengesteld. In 1927 compileerde de Engelse statisticus
L. Tippett een tabel van 41600 willekeurige cijfers door het middelste cijfer in de oppervlaktes van Engelse kerken te registreren. Hiermee konden dan bijvoorbeeld 4 160 randomgetallen tussen 0 en 1 en met tien beduidende cijfers na de komma gemaakt worden. In 1939
publiceerden M. Kendall (1907-1983) en B. Babington-Smith een tabel met 100 000 mechanisch gegenereerde randomcijfers. Omstreeks dezelfde tijd tabelleerden ook R. Fisher (18901962) en F. Yates (1902-1994) 15 000 randomcijfers die ze haalden uit onderdelen van logaritmentafels. De laatste omvangrijke tabel met 1 000 000 randomcijfers werd in 1955 gepubliceerd door de Rand Corporation en bekomen door elektronische simulatie van een roulettewiel.
Met de opkomst van computers startte de zoektocht naar deterministische algoritmen om
rijen randomgetallen te genereren die binnen aanvaardbare beperkingen niet van echte rijen
random getallen te onderscheiden zijn. Men noemt ze daarom pseudo-randomgetallen. Vrijwel alle algoritmen maken gebruik van de multiplicatieve congruentiemethode.
Definitie 6.38 multiplicatieve congruentiemethode
Zij gegeven drie positieve gehele getallen, respectievelijk de multiplicator r, de modulus m
en de startwaarde (seed) x0 van de multiplicatieve congruentie genoemd. Door iteratieve
toepassing van de formule
xn = r xn−1 mod m ,
n = 1, 2, . . . ,
wordt een rij x1 , x2 , . . . van gehele getallen in het interval [0, m − 1] gegenereerd. De
corresponderende rationale getallen xm1 , xm2 . . . in het interval [0, m−1
m ] worden pseudorandomgetallen genoemd.
Niet alle waarden van r, m en x0 geven aanleiding tot een aanvaardbare generator. Zo
bijvoorbeeld levert de keuze r = 11, m = 100 en x0 = 3 een zich periodiek herhalende rij op
van slechts 10 gehele getallen die alle eindigen op 3. Goede rijen van gehele randomgetallen
worden bijvoorbeeld bekomen met de keuzes m = 231 − 1 (een priemgetal!), r = 16 807 of
r = 397 204 094 of r = 950 706 376 en x0 een geheel getal tussen 0 en 231 − 2.
Om uit de gegenereerde rij randomgetallen U1 , U2 , . . . een rij van onafhankelijke toevalsveranderlijken X1 , X2 , . . . met gegeven cumulatieve verdelingsfunctie FX te construeren,
maakt men meestal gebruik van de pseudo-inverse van FX .
152
Functies van toevalsveranderlijken
Definitie 6.39 pseudo-inverse van de cumulatieve verdelingsfunctie FX
(−1)
De pseudo-inverse functie FX van de cumulatieve verdelingsfunctie FX van een discrete
of continue toevalsveranderlijke X is voor alle y ∈ [0, 1] gedefinieerd door
(−1)
FX
(y) = min{x ∈ R̄ | FX (x) ≥ y} ,
waarbij R̄ = R ∪ {−∞, ∞}. Als FX een continue strikt stijgende functie is, dan valt haar
(−1)
pseudo-inverse FX samen met de inverse functie FX−1 van FX .
Merk op dat het minimum altijd bestaat wegens het rechts-continu zijn van de cumulatieve
verdelingsfunctie FX .
FX
6
FX
6
1
1
z
y
y
(−1)
FX
(y)
x
(−1)
FX
(y)
(−1)
FX
(z)
x
(−1)
Figuur 6.3: Illustratie van de berekening van FX voor een gegeven cumulatieve verdelingsfunctie
FX , links voor een discrete toevalsveranderlijke X, rechts voor een continue toevalsveranderlijke.
(−1)
Eigenschap 6.40 Voor een cumulatieve verdelingsfunctie FX en haar pseudo-inverse FX
geldt de equivalentie
(−1)
FX (y)) ≤ u ⇔ y ≤ FX (u)
Bewijs
(−1)
(−1)
Zij y ∈ [0, 1] en u ∈ R̄ zodanig dat FX (y)) ≤ u. Stel x = FX (y). Per definitie is
FX (x) ≥ y. Aangezien u ≥ x en FX een niet-dalende functie is, is FX (u) ≥ FX (x) ≥ y.
Omgekeerd, zij y ∈ [0, 1] en u ∈ R̄ zodanig dat FX (u) ≥ y, dan is per definitie F (−1) (y) ≤ u.
2
Eigenschap 6.41 Zij gegeven een niet-dalende functie F : R̄ → [0, 1] met F (−∞) = 0
en F (+∞) = 1. Is U een toevalsveranderlijke die uniform verdeeld is op [0, 1], dan is
X = F (−1) (U ) een toevalsveranderlijke die F als cumulatieve verdelingsfunctie bezit.
Bewijs
Dit volgt onmiddellijk uit Eigenschap 6.31 en de cumulatieve verdelingsfunctie van een
uniform op [0, 1] verdeelde toevalsveranderlijke:
P(F (−1) (U ) ≤ x) = P(U ≤ F (x)) = F (x) .
2
6.4 Randomgeneratoren
153
Beschikt men bijgevolg over een rij van onafhankelijke toevalsveranderlijken U1 , U2 , . . .,
die uniform verdeeld zijn over [0, 1], dan is X1 , X2 , . . ., met Xi = F (−1) (Ui ), een rij onafhankelijke toevalsveranderlijken met cumulatieve verdelingsfunctie F .
Voorbeeld 6.42 Is X exponentieel verdeeld met parameter λ, dan is
FX (x) = 1 − e−λx
x ≥ 0.
De pseudo-inverse van FX is wegens het continu en strikt stijgend zijn FX tevens de inverse
van FX , zodat
1
F (−1) (y) = − ln(1 − y) .
λ
Bijgevolg is X1 , X2 , . . . met Xi = −(1/λ)ln(1 − Ui ) een rij toevalsveranderlijken met de
gegeven exponentiële verdeling.
2
De inverse van een verdelingsfunctie is niet altijd in analytisch gesloten vorm te brengen. De volgende eigenschap illustreert hoe toch een rij onafhankelijke normaal verdeelde
toevalsveranderlijken gegenereerd kan worden.
Eigenschap 6.43 Als U1 en U2 twee onafhankelijke toevalsveranderlijken zijn, uniform verdeeld
op [0, 1], dan is
p
X = −2 ln(U1 ) sin(2πU2 ) ,
standaardnormaal verdeeld.
Zonder bewijs
2
Als men beschikt over een rij onafhankelijke randomgetallen U1 , U2 , . . ., dan is
p
p
X1 = −2 ln(U1 ) sin(2πU2 ) , X2 = −2 ln(U3 ) sin(2πU4 ) , . . .
een rij onafhankelijke standaardnormaal verdeelde toevalsveranderlijken. Merk op dat het
voorschrift
p
p
X1 = −2 ln(U1 ) sin(2πU2 ) , X2 = −2 ln(U2 ) sin(2πU3 ) , . . .
weliswaar standaardnormale toevalsveranderlijken genereert, maar dat deze niet onafhankelijk
zijn.
De meeste programmeeromgevingen hebben een generator van pseudo-randomgetallen als
standaardfunctie of -procedure ingebouwd.
In Java bevindt de ingebouwde generator voor pseudo-random toevalsveranderlijken zich
in de klasse Random uit het java.util package. Het generatiealgoritme is gebaseerd op
de congruentiemethode. Een dergelijke methode heeft een startwaarde (een seed), en iedere
waarde in de sequentie wordt gegenereerd op basis van de vorige waarde. Nadat een object
van het type Random is aangemaakt kunnen verschillende methoden voor het genereren van
willekeurige getallen opgeroepen worden. Een seed kan optioneel in de vorm van een long
meegegeven worden als argument van de constructor; indien de seed niet wordt gepreciseerd
kiest Java zelf een getal dat met grote waarschijnlijkheid verschillend is bij opeenvolgende
oproepen van de constructor. Merk op dat meerdere Random objecten creëren met eenzelfde
seed zal zorgen voor een identieke sequentie toevalsveranderlijken.
Een overzicht van de beschikbare methoden voor het genereren van uniform verdeelde toevalsveranderlijken:
154
Functies van toevalsveranderlijken
• int nextInt() geeft een uniform verdeelde pseudorandom int-waarde terug.
• int nextLong() geeft een uniform verdeelde pseudorandom long-waarde terug.
• int nextInt(int n) geeft een uniform verdeelde pseudorandom int-waarde uit
het interval [0, n[ terug.
• boolean nextBoolean() geeft een uniform verdeelde pseudorandom booleanwaarde terug.
• double nextDouble() geeft een uniform verdeelde pseudorandom double-waarde
tussen 0.0 en 1.0 terug.
• float nextFloat() geeft een uniform verdeelde pseudorandom float-waarde
tussen 0.0 en 1.0 terug.
• void nextBytes(byte[] bytes) genereert random bytes en plaatst ze in een
array bytes.
De ingebouwde methoden voor het genereren van uniforme toevalsveranderlijken kunnen op
een eenvoudige manier gebruikt worden om random getallen met een niet-uniforme distributie
te genereren. In de ingebouwde klasse Random is enkel een implementatie voor normaal
verdeelde veranderlijken beschikbaar:
• double nextGaussian() geeft een pseudorandom normaal verdeelde doublewaarde terug met µ = 0.0 en σ 2 = 1.0.
Tips
• Gebruik de klasse klasse java.util.Random voor het genereren van willekeurige
getallen, niet de methode Math.random.
• Gebruik steeds één instantie van de klasse Random voor het genereren van een sequentie
willekeurige getallen en creëer nooit nieuwe Random objecten voor ieder nieuw getal.
Het volgend codefragment illustreert het gebruik van een pseudo-randomgenerator in Java.
Voorbeeld 6.44 De volgende methode genereert een Poisson-verdeelde toevalsveranderlijke
met als verwachtingswaarde verwachteWaarde.
public int poisson(double verwachteWaarde) {
double limiet = Math.exp(-verwachteWaarde);
double product = randomDouble();
int aantal;
for (aantal = 0; product > limiet; aantal++)
product *= randomDouble();
return aantal;
}
Merk op dat hier niet de methode is geı̈mplementeerd die steunt op de pseudo-inverse van
de cumulatieve verdelingsfunctie. Er is gebruik gemaakt van een eigenschap van de Poissonverdeling die volgt uit de studie van Poisson-processen. De afleiding van deze eigenschap valt
buiten het kader van deze cursus.
6.5 Statistieken
155
6.5 Statistieken
Na trekking van een steekproef van omvang n beschikt men over n steekproefwaarden. Aangezien n vrij groot kan zijn, is er de noodzaak om de informatie bevat in de steekproefwaarden
samen te vatten. Dit wordt gerealiseerd door functies van de steekproefwaarden te beschouwen.
Definitie 6.45 Zij X1 , X2 , . . . , Xn een aselecte steekproef van omvang n. Een statistiek
(statistic) is een functie g(X1 , X2 , . . . , Xn ) van de toevalsveranderlijken X1 , X2 , . . ., Xn .
De grootheid g(x1 , x2 , . . . , xn ), waarbij x1 , x2 , . . . , xn de geobserveerde steekproefwaarden
zijn, wordt de waarde van de statistiek genoemd.
Aangezien het de bedoeling is de totaliteit van de steekproefwaarden te herleiden tot een
beperkt aantal statistiekwaarden, ligt het voor de hand statistieken te kiezen die zo informatief
mogelijk zijn over de verdeling van de steekproefwaarden. Men onderscheidt dan ook statistieken die de lokalisatie van de steekproefwaarden (lokaliteitsmaten), de spreiding (spreidingsmaten) en het evenwicht van de spreiding (scheefheidsmaten) in de verdeling van de
steekproefwaarden weergeven.
6.5.1
Het steekproefgemiddelde
Vaak berekent men het gemiddelde van alle steekproefwaarden om een schatting te bekomen
voor de verwachtingswaarde van de volledige populatie. Als men bijvoorbeeld bij een kwaliteitstoets de kans op een foutief stuk in een productieproces wil bepalen, neemt men hiervoor
als schatting de relatieve frequentie van foute stukken in een (aselecte) steekproef. De vraag
is nu, hoe goed de schatting vanuit de steekproef voor de echte kans is, dus hoe sterk het
gemiddelde van de steekproef van de verwachtingswaarde van de populatie afwijkt. Om hierop
een antwoord te kunnen geven, is het van belang zich voor te stellen dat de steekproef vaak
wordt herhaald en dat iedere steekproef als een toevalsexperiment wordt beschouwd.
Definitie 6.46 Het steekproefgemiddelde (sample mean) van een steekproef van omvang n
is de statistiek gedefinieerd door:
n
1X
Xi .
X̄n =
n
i=1
De waarde van deze statistiek is de gemiddelde waarde van de steekproefwaarden, nl. :
n
x̄n =
1X
xi .
n
i=1
Merk op dat X̄n dus zelf een toevalsveranderlijke is. Voor elke steekproef van omvang
n die uit de populatie getrokken wordt, bekomt men een waarde x̄n van X̄n . Aangezien
de toevalsveranderlijke X̄n het gemiddelde is van n onafhankelijke toevalsveranderlijken Xi ,
(i = 1, 2, . . . , n) elk verdeeld met cumulatieve verdelingsfunctie FX (x), kan in principe de
cumulatieve verdelingfunctie FX̄n (x) van X̄n uit FX (x) berekend worden. In eerste instantie
volstaat het evenwel de verwachtingswaarde en variantie van X̄n te berekenen.
156
Functies van toevalsveranderlijken
Eigenschap 6.47 De verwachtingswaarde en variantie van X̄ zijn
E[X̄n ] = E[X] ,
var(X̄n ) =
1
Var[X] .
n
Bewijs
Men berekent rechtstreeks
" n
#
n
n
1X
1X
1X
E[X̄n ] = E
Xi =
E[Xi ] =
E[X] = E[X] ,
n
n
n
i=1
i=1
i=1
waarbij gebruik is gemaakt van het feit dat alle Xi verdeeld zijn zoals de populatie X, zodat
in het bijzonder E[Xi ] = E[X] voor alle i. Aangezien de steekproef onafhankelijk is, volgt
anderzijds uit Eigenschap 5.52 dat
!
n
n
n
1 X
1 X
var(X)
1X
.
Xi = 2
var(Xi ) = 2
var(X) =
var(X̄n ) = var
n
n
n
n
i=1
i=1
i=1
2
Het steekproefgemiddelde heeft dus dezelfde verwachtingswaarde als de populatie maar
een variantie die een factor n kleiner is dan de variantie van de populatie. Dit betekent dat
als een aselecte steekproef van omvang n genomen wordt uit een populatie met verwachtingswaarde µ en variantie σ 2 , n waarden zullen gevonden worden, die verspreid liggen rond
µ, waarbij de grootte van σ een maat voor de spreiding is. Worden m aselecte steekproeven van
omvang n uit deze populatie genomen en berekent men voor elke steekproef het gemiddelde,
dan bekomt men zo m gemiddelde waarden die eveneens, maar sterker geconcentreerd, rond
µ liggen. Naarmate de omvang n van de steekproeven toeneemt, neemt de concentratie van de
steekproefgemiddelden rond µ toe.
Het blijkt dat het steekproefgemiddelde van een steekproef genomen uit een normaal verdeelde populatie, normaal verdeeld is.
d
Eigenschap 6.48 Als X = N (µ, σ 2 ), dan geldt voor het steekproefgemiddelde dat
d
X̄n = N (µ, σ 2 /n) .
Bewijs
Is de populatie X normaal verdeeld met verwachting µ en variantie σ 2 , dan is wegens
Eigenschap 6.26 de som X1 + X2 + . . . Xn normaal verdeeld met verwachtingP
nµ en variantie
2
nσ . Gebruik makend van Eigenschap 4.47 volgt hieruit dat X̄n = (1/n) Xi eveneens
normaal verdeeld is met verwachting (1/n)nµ = µ en variantie (1/n2 )nσ 2 = σ 2 /n .
2
6.5.2
De steekproefvariantie
Zoals men het steekproefgemiddelde als het rekenkundig gemiddelde x̄n = (x1 + · · · + xn )/n
van de waarden in de steekproef definieert, zou men een steekproefvariantie of steekproefstandaardafwijking kunnen definiëren. De voor de hand liggende gedachte is dan, de steekproefvariantie door (x1 − x̄n )2 + · · · + (xn − x̄n )2 )/n te definiëren. Maar met het steekproefgemiddelde is al een afhankelijkheid tussen de xi gegeven, al men namelijk x1 , . . . , xn−1 en
x̄n kent, ligt xn vast. Men zegt daarom dat slechts nog n − 1 vrijheidgraden overblijven,
6.5 Statistieken
157
omdat met x̄n een afhankelijkheid tussen de xi ingevoerd werd. In plaats van de som van
de kwadratische afstanden door n te delen, deelt men door n − 1, het aantal onafhankelijke
waarden in de steekproef.
Definitie 6.49 De steekproefvariantie (sample variance) van een steekproef van omvang n
is de statistiek gedefinieerd door:
n
1 X
(Xi − X̄n )2 ,
n−1
Sn2 =
i=1
en de geobserveerde waarde s2 van de steekproefvariantie is
n
s2 =
1 X
(xi − x̄n )2 .
n−1
i=1
De vierkantwortel S van de steekproefvariantie Sn2 wordt de steekproefstandaardafwijking
genoemd en haar geobserveerde waarde is
v
u
n
u 1 X
t
s=
(xi − x̄n )2 .
n−1
i=1
De steekproefvariantie is een maat voor de spreiding van de steekproefwaarden t.o.v. hun
gemiddelde waarde. De steekproefvariantie is zelf een toevalsveranderlijke: elke (aselecte)
steekproef van omvang n die uit de populatie genomen wordt, levert een waarde van de steekproefvariantie Sn2 op.
Eigenschap 6.50 De verwachtingswaarde van de steekproefvariantie is de variantie van de
onderliggende distributie, d.i.:
E[Sn2 ] = var(X) .
Bewijs
Uit
n
X
(n − 1)Sn2 =
n
X
(Xi − X̄n )2 =
=
n
X
n
X
(Xi − E[X])
(Xi − E[X]) + n(X̄n − E[X]) + 2(E[X] − X̄)
n
X
(Xi − E[X])2 − n(X̄n − E[X])2
i=1
i=1
=
i=1
i=1
(Xi − E[X] + E[X] − X̄n )2
2
2
i=1
volgt, mits gebruik te maken van Eigenschap 6.47, dat
(n −
1)E[Sn2 ]
=
n
X
i=1
E[(Xi − E[X])2 ] − nE[(X̄n − E[X̄])2 ]
= n var(X) − n var(X̄) = n var(X) − var(X)
158
Functies van toevalsveranderlijken
= (n − 1) var(X) .
2
De variantie van de steekproefvariantie is een ingewikkelde uitdrukking in de momenten
van de populatie. Beperkt men zich evenwel tot normaal verdeelde populaties, dan is de verdeling van de steekproefvariantie bekend en kan hieruit gemakkelijk de variantie berekend worden.
Stelling 6.51 De steekproefvariantie S 2 van een aselecte steekproef van omvang n, genomen
d
uit een normaal verdeelde populatie X = N (µ, σ 2 ), heeft de volgende eigenschappen:
(i)
(n − 1)Sn2 d 2
= χn−1 ,
σ2
(ii) Sn2 is onafhankelijk van X̄n .
Voor het bewijs wordt de geı̈nteresseerde lezer verwezen naar de appendix bij dit hoofdstuk.
Eigenschap 6.52 Voor de steekproefvariantie Sn2 van een aselecte steekproef, genomen uit
een normaal verdeelde populatie met verwachtingswaarde µ en variantie σ 2 , geldt dat
E[Sn2 ] = σ 2 ,
var(Sn2 ) =
2σ 4
.
n−1
Bewijs
d
Wetend dat (n − 1)Sn2 /σ 2 = χ2n−1 en dat een χ2n -verdeling verwachtingswaarde n en
variantie 2n bezit, zijn
E
(n − 1)Sn2
= n − 1,
σ2
var
(n − 1)Sn2
σ2
= 2(n − 1) .
2
6.5.3
De steekproefmomenten
Definitie 6.53 Het k-de moment Mk van een steekproef X1 , . . . , Xn is gedefinieerd door
n
Mk =
1X k
Xi ,
n
i=1
en het k-de centrale moment Mk′ door
n
Mk′ =
1X
(Xi − X̄n )k .
n
i=1
De geobserveerde waarden van het k-de moment en k-de centrale moment zijn respectievelijk
n
1X k
xi ,
mk =
n
i=1
n
m′k
1X
=
(xi − x̄n )k .
n
i=1
6.6 Ordestatistieken
159
Merk op dat het eerste moment M1 samenvalt met het steekproefgemiddelde X̄, maar dat
het tweede centrale moment M2′ niet de steekproefvariantie is (aangezien niet door (n − 1)
maar door n gedeeld is).
Om momenten voor verschillende steekproeven goed te kunnen vergelijken is het handig
om ze te normaliseren. Dit gebeurt, naar analogie met de theoretische verdelingen (zie Sectie 4.11), door het beschouwde moment te delen door een geschikte macht van het tweede
centrale moment van de steekproef.
Definitie 6.54 De scheefheid van een steekproef is gegeven door
α3 =
M3′
,
(M2′ )3/2
en de scherptoppigheid of kurtosis door
α4 =
M4′
,
(M2′ )2
6.6 Ordestatistieken
Wanneer men de uitkomsten x1 , . . . , xn van een steekproef X1 , . . . , Xn , in stijgende volgorde
sorteert, dan bekomt men een nieuwe rij van n numerieke grootheden die de variationele rij
(variational series) van waarnemingen wordt genoemd en die genoteerd wordt als y1 ≤ y2 ≤
· · · ≤ yn−1 ≤ yn , waarbij yk (k = 1, 2, . . . , n), de k-de kleinste waarde uit de verzameling der
steekproefwaarden voorstelt. De analoge ordening van de toevalsveranderlijken X1 , . . . , Xn
geeft aanleiding tot de volgende definitie.
Definitie 6.55 Zij X1 , . . . , Xn een aselecte steekproef van omvang n, genomen uit een populatie met cumulatieve verdelingsfunctie FX (x). De toevalsveranderlijke Yk , die de k-de
kleinste waarde in de steekproef aanneemt, wordt de k-de ordestatistiek (kth order statistic)
genoemd. De toevalsveranderlijken
Y1 ≤ Y2 ≤ · · · ≤ Yn−1 ≤ Yn ,
zijn de ordestatistieken (order statistics) van de steekproef.
In tegenstelling tot de toevalsveranderlijken X1 , . . . , Xn zijn de ordestatistieken Y1 , . . . , Yn
niet onafhankelijk van elkaar en hebben ze niet dezelfde kansverdeling. Dit laatste wordt onmiddellijk bevestigd door de volgende afleiding van de cumulatieve verdelingsfunctie van de
k-de ordestatistiek Yk .
160
Functies van toevalsveranderlijken
Eigenschap 6.56 Zij FX (x) de cumulatieve verdelingsfunctie van de populatie waaruit een
aselecte steekproef van omvang n genomen wordt. De cumulatieve verdelingsfunctie van de
k-de ordestatistiek is gegeven door
n X
n
[FX (y)]j [1 − FX (y)]n−j .
FYk (y) =
j
j=k
Is X continu, dan is de kansdichtheidsfunctie van de k-de ordestatistiek gegeven door
n
fYk (y) = k
F k−1 (y)[1 − FX (y)]n−k fX (y) .
k X
Bewijs
Steunend op de probabilistische betekenis van een cumulatieve verdelingsfunctie, vindt
men achtereenvolgens
FYk (y) = P(Yk ≤ y) = P(ten minste k van de X1 , . . . , Xn zijn ≤ y)
=
n
X
j=k
=
P(juist j van de X1 , . . . , Xn zijn ≤ y)
n X
n
j
j=k
[FX (y)]j [1 − FX (y)]n−j .
Als X continu is, berekent men de kansdichtheid van Yk door FYk (y) eerst naar y af te leiden.
Men bekomt
n X
n
fYk (y) =
jFXj−1 (y)[1 − FX (y)]n−j fX (y)
j
j=k
−
n−1
X
j=k
n
(n − j)FXj (y)[1 − FX (y)]n−j−1 fX (y) ,
j
waarbij in de tweede som de term voor j = n is weggevallen wegens het optreden van de factor
(n − j). Maakt men in de tweede som gebruik van de eigenschap
n
n
(n − j)
= (j + 1)
,
j
j+1
dan vindt men onmiddellijk
n X
n
fYk (y) =
jFXj−1 (y)(1 − FX (y))n−j fX (y)
j
j=k
−
=
n−1
X
j=k
n
(j+1)−1
(j + 1)
(FX
(y)[1 − FX (y)]n−(j+1) fX (y)
j+1
n
kFXk−1 (y)[1 − FX (y)]n−k fX (y) .
k
6.6 Ordestatistieken
161
2
In het bijzonder leidt men hieruit de verdeling van de extreme ordestatistieken (extreme
order statistics) Y1 en Yn af.
Eigenschap 6.57 Zij FX (x) de cumulatieve verdelingsfunctie van de populatie waaruit een
aselecte steekproef van omvang n getrokken wordt. De eerste ordestatistiek
Y1 = min(Y1 , Y2 , . . . , Yn )
heeft de cumulatieve verdelingsfunctie
FY1 (y) = 1 − [1 − FX (y)]n ,
terwijl de laatste ordestatistiek
Yn = max(Y1 , Y2 , . . . , Yn )
de cumulatieve verdelingsfunctie
FYn (y) = [FX (y)]n
heeft. Als X continu is, dan zijn de kansdichtheden van Y1 en Yn respectievelijk gegeven
door
fY1 (y) = n[1 − FX (y)]n−1 fX (y) ,
fYn (y) = n FXn−1 (y)fX (y) .
Voorbeeld 6.58 Zij de populatie uniform verdeeld op [0, 1]. De kansdichtheden van de ordestatistieken van een aselecte steekproef van omvang n zijn
n k−1
n!
y k−1 (1 − y)n−k
fYk (y) = k
y (1 − y)n−k =
(k − 1)!(n − k)!
k
=
Γ(n + 1)
y k−1 (1 − y)n−k .
Γ(k)Γ(n − k + 1)
Vergelijking met Definitie 4.40 toont dat de k-de ordestatistiek van een aselecte steekproef
van omvang n getrokken uit een op [0, 1] uniform verdeelde populatie, beta-verdeeld is met
d
parameters α = k en β = n − k + 1, d.i. Yk = Beta(k, n + k − 1).
2
Op basis van de ordestatistieken worden nog verscheidene alternatieve lokaliteits- en spreidingsmaten gedefinieerd.
162
Functies van toevalsveranderlijken
Definitie 6.59 Zijn Y1 , . . . , Yn de ordestatistieken van een aselecte steekproef van omvang
n, dan definieert men
• het steekproefbereik (sample range) R door
R = Yn − Y1 ,
• het midden van het steekproefbereik (sample mid-range) M R door
MR =
Y1 + Yn
,
2
• de steekproefmediaan (sample median)M door

Y n + Y n2 +1

 2
, als n even is ,
2
M=

 Y n+1 ,
als n oneven is .
2
• het percentiel (percentile) Pp van orde p ∈]0, 100[ door
Pp = (1 − q)Yk + qYk+1 ,
met k = ⌊(n + 1)p/100⌋ het geheel deel van (n + 1)p/100 en q = (n + 1)p/100 − k
het fractioneel deel van (n+1)p/100. Het percentiel P25 , ook Q1 genoteerd, wordt het
onderste kwartiel of eerste kwartiel en het percentiel P75 , ook Q3 genoteerd, wordt
het bovenste kwartiel of derde kwartiel genoemd. Het percentiel P50 is de mediaan
M en tevens het tweede kwartiel, ook Q2 genoteerd.
• het interkwartielbereik (interquartile range) IRQ door
IRQ = Q3 − Q1 .
Het is een maat voor de spreiding van de steekproefwaarden rond de mediaan.
Om de kansverdeling van deze statistieken uit de populatieverdeling af te leiden, dient men
op zijn minst te beschikken over de gezamenlijke cumulatieve verdelingsfunctie van ieder koppel ordestatistieken. Zonder bewijs wordt de formule voor de bivariate kansdichtheid gegeven.
Eigenschap 6.60 Zij Y1 ≤ Y2 · · · ≤ Yn de ordestatistieken van een steekproef van omvang
n getrokken uit een continue populatie X. De gezamenlijke kansdichtheidsfunctie van Yj en
Yk met j < k is gegeven door

n!

F (y)j−1 (y)fX (y)


 (j − 1)!(k − j − 1)!(n − k)! X
fYj ,Yk (y, z) = ×[FX (z) − FX (y)]k−j−1 fX (z)[1 − FX (z)]n−k , als y ≤ z ,




0,
voor de overige (y, z) .
Ter illustratie wordt hieronder de kansdichtheidsfunctie van het steekproefbereik R afgeleid.
6.7 Grafische voorstelling van een steekproef
163
Eigenschap 6.61 Zij de populatie X continu met cumulatieve verdelingsfunctie FX (x) en
dichtheidsfunctie fX (x), dan is de kansdichtheidsfunctie fR (r) van het steekproefbereik R
van een aselecte steekproef van omvang n gegeven door

R
 n(n − 1) +∞ [FX (x) − FX (x − r)]n−2 fX (x − r) fX (x) dx , als r > 0 ,
−∞
fR (r) =
0,
als r ≤ 0 .
Bewijs
Uit Eigenschap 6.60 volgt met j = 1 en k = n dat
(
n(n − 1)fX (y)[Fx (z) − FX (y)]n−2 fX (z) , als y ≤ z ,
fY1 ,Yn (y, z) =
0,
als y > z .
Aangezien R = Yn − Y1 , stelt men z − y = r en gaat men over van de veranderlijken (y, z)
naar de nieuwe veranderlijken (r, z). Aangezien de transformatie lineair is, komt er
(
n(n − 1)fX (z − r)[FX (z) − FX (z − r)]n−2 fX (z) , als r ≥ 0, ,
fR,Yn (r, z) =
0,
voor de overige r .
Na het uitintegreren van z bekomt men de marginale kansdichtheidsfunctie
R∞
(
n(n − 1) −∞ fX (z − r)[Fx (z) − FX (z − r)]n−2 fX (z) dz , als r ≥ 0, ,
fR (r) =
0,
voor de overige r .
2
Voorbeeld 6.62 Wat is de kans dat het bereik van een steekproef van omvang 10, getrokken
uit een op [0, 1] uniform verdeelde populatie, groter is dan 0.8?
Oplossing
Aangezien fX (x) = 1 en FX (x) = x als 0 ≤ x ≤ 1 en fX (x) = 0 als x 6∈ [0, 1], vindt
men uit Eigenschap 6.61 dat
Z 1
rn−2 dx = n(n − 1)rn−2 (1 − r) ,
0 < r < 1.
fR (r) = n(n − 1)
r
De gevraagde kans is bijgevolg
P(R > 0.8) =
Z
1
0.8
90 r8 (1 − r) dr = 0.62419 .
2
6.7 Grafische voorstelling van een steekproef
In de statistiek gaat het vooral om het onderzoeken van gegevens die op een of andere manier
verzameld zijn, bijvoorbeeld door een of meerdere metingen of door een enquête. Om uitspraken over de steekproefgegevens te kunnen doen en structuren erin te kunnen herkennen,
164
Functies van toevalsveranderlijken
is het belangrijk om overzicht over de gegevens te krijgen. Een eenvoudige mogelijkheid om
waarden te representeren bestaat erin de waarden op een lijn te markeren. Dit geeft soms al
een overzicht waar de waarden liggen en waar bijvoorbeeld veel punten dicht bij elkaar liggen
en hoe ver ze verspreid zijn. Natuurlijk is er dan een probleem als meer keer dezelfde waarde
voorkomt, wat natuurlijk vooral het geval is bij discrete gegevens. Men kan dit oplossen door
de relatieve frequenties in een puntdiagram uit te zetten.
Definitie 6.63 Het puntdiagram van een steekproef van omvang n genomen uit een discrete
populatie X, bekomt men door in een assenstelsel de punten te tekenen met als abscis de mogelijke waarden van X en als ordinaat de relatieve frequentie waarmee de corresponderende
waarde in de steekproef optreedt.
Merk op dat wegens de stelling van Bernoulli (zie Stelling 3.14) de relatieve frequenties bij
toenemende n stochastisch convergeren naar de kansen pX (x) dat X de betreffende waarden
x aanneemt. Bijgevolg is te verwachten dat het puntdiagram van de relatieve frequenties voor
voldoend grote n weinig afwijkt van de grafiek van de theoretische kansmassafunctie pX (x).
In Figuur 6.4 is het puntdiagram getekend voor een steekproef met n = 100 getrokken uit een
Poisson-verdeelde populatie met parameter λ = 5. Hiertoe werden met een pseudo-random
generator 100 met parameter λ = 5 Poisson-verdeelde gehele getallen gegenereerd. Op
dezelfde figuur zijn met bolletjes de exacte kansen pX (k) = λk e−λ /k! voor k = 0, 1, . . . , 12
uitgezet.
6
0.18
0.16
0.14
0.12
0.1
0.08
0.06
0.04
0.02
-
0
0
2
4
6
8
10
12
Figuur 6.4: Illustratie van een staafdiagram waarbij relatieve frequenties zijn uitgezet. De bolletjes
stellen de exacte kansen voor.
Vaak is het handig om verschillende waarden samen te vatten die op een of andere manier
op elkaar gelijken. De zo samengevatte waarden noemt men dan een klasse van waarden.
Als de populatieveranderlijke X continu is, worden de klassen meestal als aanliggende, elkaar
niet overlappende intervallen van het waardengebied gekozen.Als men eindig veel gegevens
over klassen verdeelt, krijgt men een frequentieverdeling voor de klassen, en als men naar de
relatieve frequenties van de klassen kijkt, voldoen deze aan de eisen van een kansverdeling.
De indeling in klassen is een belangrijke voorwaarde voor de interpretatie van de gegevens.
Te veel klassen geven vaak alleen maar versplinterde informatie omdat heel weinig gegevens in
een klasse terecht komen, terwijl te weinig klassen geen structuur meer laten herkennen. Soms
wordt als vuistregel gehanteerd, bij n gegevens het aantal klassen als 1 + log2 (n) te kiezen,
6.7 Grafische voorstelling van een steekproef
165
maar dit is ook niet meer dan een heuristische gok. De belangrijkste grafische representatie van
de frequentieverdeling van klassen is het histogram
Definitie 6.64 Een histogram van een steekproef is een grafische voorstelling van de relatieve frequenties van de klassen, waarbij iedere klasse door een rechthoek wordt vertegenwoordigd en de oppervlakte van de rechthoek de frequentie van de klasse representeert. Als
alle rechthoeken dezelfde breedte hebben, zijn de hoogtes van de rechthoeken evenredig met
de klassefrequenties.
In Figuur 6.5 is een voorbeeld van een histogram gegeven. Als de populatieveranderlijke
continu is, is te verwachten dat bij een goed gekozen aantal klassen en voor een voldoend
groot aantal gegevens n, het contour van het histogram een beeld geeft van de grafiek van de
kansdichtheidsfunctie fX (x) van de populatieveranderlijke X.
0.05
0.04
0.03
0.02
0.01
0
20
40
60
80
100
Figuur 6.5: Illustratie van een histogram.
Een eveneens vaak aangewende grafische voorstelling van een steekproef maakt enkel gebruik van de extreme waarden, de mediaan en het eerste en derde kwartiel. Deze informatie
wordt in een zogenaamde doos-en-snorren figuur samengevat.
Definitie 6.65 Een doos-en-snorren figuur (box-and-whiskers plot), ook kortweg boxplot
genoemd, is een doos die zich t.o.v. van een getallenas uitstrekt tussen het eerste en derde
kwartiel en met de mediaan gemarkeerd is. De doos is langs elke kant voorzien van een snor.
Voor het einde van de snorren geldt dat het respectievelijk de minimale en maximale waarden
van de steekproef zijn die binnen een afstand van 1.5 keer het interkwartielbereik IQR van
de kwartielen liggen. De andere waarden worden als uitschieters (outliers) beschouwd en
soms als geı̈soleerde punten voorgesteld.
In Figuur 6.6 is een boxplot van de steekproef met steekproefwaarden
54, 41, 59, 45, 34, 49, 58, 30, 61, 47, 43, 48, 80, 27, 56, 45 ,
getekend. Hieruit kan men aflezen dat de mediaan van de steekproef 47.5, het eerste kwartiel
42, en het derde kwartiel 57 is. Het interkwartielbereik is 57 − 42 = 15. Anderhalf keer
dat bereik is 22.5 en de snorren kunnen zich dus in principe uitstrekken respectievelijk tot
166
Functies van toevalsveranderlijken
42 − 22.5 − 19.5 en 57 + 22.5 = 79.5. De linker snor strekt zich slechts uit tot 27 omdat dit de
laagste steekproefwaarde is, de rechter tot 61 omdat dit de grootste steekproefwaarde is kleiner
of gelijk aan 79.5. De steekproefwaarde 80 wordt bijgevolg als een uitschieter beschouwd en
apart in de figuuur met een stip genoteerd.
0
20
40
60
Figuur 6.6: Illustratie van een boxplot.
80
100
6.8 Appendix
167
6.8 Appendix
Discrete toevalsveranderlijken 6.66
• discreet uniform op [a, b]
1
, als k = a, a + 1, . . . , b ,
pX (k) = b − a + 1

0,
voor de overige k .


MX (s) =
e(b−+1)s − 1
eas
·
.
b−a+1
es − 1
d
• Bernoulli met parameter p: X = Bin(1, p)
pX (k) =
(
p , als k = 1 ,
0 , als k = 0 ,
MX (s) = 1 − p + pes .
d
• binomiaal met parameters n en p: X = Bin(n, p)
n k
pX (k) =
p (1 − p)n−k ,
k
k = 0, 1, . . . n .
MX (s) = (1 − p + pes )n .
• negatief binomiaal met parameters r en p
r+k−2 r
pX (k) =
p (1 − p)k−1 ,
k−1
r
p
.
1 − (1 − p)es
k = 1, 2, . . . .
d
• geometrisch met parameter p: X = Geo(p)
pX (k) = (1 − p)k−1 p ,
MX (s) =
k = 1, 2, . . . .
pes
.
1 − (1 − p)es
d
• Poisson met parameter λ: X = Poisson(λ)
pX (k) = e−λ
λk
,
k!
k = 0, 1, . . . .
s −1)
MX (s) = eλ(e
.
168
Functies van toevalsveranderlijken
Continue toevalsveranderlijken 6.67
• continu uniform op [a, b]
1
, als a ≤ x ≤ b ,
fX (x) = b − a

0,
voor de overige x ,


MX (s) =
1 esb − esa
.
b−a
s
• exponentieel met parameter λ
fX (x) =
(
λe−λx , als x ≥ 0 ,
0,
(
voor de overige x ,
1 − e−λx , als x ≥ 0 ,
0,
voor de overige x ,
λ
.
λ−s
MX (s) =
d
• normaal met parameters µ en σ > 0: X = N (µ, σ 2 )
fX (k) = √
1
2
2
e−(x−µ) /2σ .
2πσ
MX (s) = e(σ
2 s2 /2)+µs
.
d
• gamma met parameters α en β: X = Gamma(α, β)

 1 β α xα−1 e−βx , als x > 0 ,
fX (x) = Γ(α)

0,
voor de overige x .
MX (s) =
β
β−s
α
.
d
• beta met parameters α en β: X = Beta(α, β)

 Γ(α + β) xα−1 (1 − x)β−1 , als 0 < x < 1 ,
fX (x) = Γ(α)Γ(β)

0,
voor de overige x .
MX (s) = 1 +
∞
X
k=1
k=1
Y
r=0
α+r
α+β+r
!
sk
.
k!
6.8 Appendix
6.8.1
169
Bewijs van Eigenschap 6.51
Het bewijs maakt gebruik van inductie. Voor n = 2 geldt dat
X̄2 =
en
S22
=
2
X
i=1
2
(Xi − X̄2 ) = 2
X1 + X2
,
2
X1 − X2
2
2
=
(X1 − X2 )2
.
2
Vermits X1 en X2 onafhankelijk zijn, zijn ook X1 +X2 en X1 −X2 onafhankelijk (men kan dit aantonen
door de gezamenlijke kansdichtheidsfunctie van Y1 := X1 + X2 en Y2 := X1 − X2 te construeren
en vast te stellen dat die het product is van de twee marginale kansdichtheidsfuncties). Hieruit volgt
d
d
dat X̄2 en S22 onafhankelijk zijn. Voorts is gegeven dat X1 = N (µ, σ 2 ) en X2 = N (µ, σ 2 ), zodat
d
X1 − X2 = N (0, 2σ 2 ). Voor de gestandaardiseerde toevalsveranderlijke geldt dat
X1 − X2 d
√
= N (0, 1) .
2σ
Uit Eigenschap 6.5 en Definitie 6.30 volgt onmiddellijk dat
(X1 − X2 )2 d 2
S22
=
= χ1 ,
2
σ
2 σ2
zodat (i) en (ii) bewezen zijn voor n = 2.
Veronderstel dat (i) en (ii) gelden voor een arbitraire n. Er wordt aangetoond dat (i) en (ii) dan
eveneens gelden voor n + 1. Merk eerst op dat
(n + 1)X̄n+1 = nX̄n + Xn+1 ,
te herschrijven is in de vorm
(n + 1)(X̄n+1 − X̄n ) = Xn+1 − X̄n .
(∗)
Hiervan wordt gebruik gemaakt in de volgende afleiding:
2
nSn+1
=
n+1
X
(Xi − X̄n+1 )2 =
n+1
X
(Xi − X̄n )2 +
i=1
=
i=1
=
n
X
i=1
n+1
X
i=1
n+1
X
i=1
(Xi − X̄n + X̄n − X̄n+1 )2
(X̄n − X̄n+1 )2 + 2(X̄n − X̄n+1 )
n+1
X
i=1
(Xi − X̄n )2 + (Xn+1 − X̄n )2 + (n + 1)(X̄n − X̄n+1 )2
+2(X̄n − X̄n+1 )(n + 1)(X̄n+1 − X̄n )
= (n − 1)Sn2 + (Xn+1 − X̄n )2 − (n + 1)(X̄n − X̄n+1 )2
= (n − 1)Sn2 + (Xn+1 − X̄n )2 −
= (n − 1)Sn2 +
1
(Xn+1 − X̄n )2
n+1
n
(Xn+1 − X̄n )2 ,
n+1
waaruit volgt dat
n
2
Sn+1
S2
1 n
= (n − 1) n2 + 2
(Xn+1 − X̄n )2 .
2
σ
σ
σ n+1
(Xi − X̄n )
170
Functies van toevalsveranderlijken
d
d
Bij onderstelling is Xn+1 = N (µ, σ 2 ) en tevens is bekend uit Eigenschap 6.?? dat X̄n = N (µ, σ 2 /n).
Aangezien Xn+1 onafhankelijk is van X̄n , is
d
Xn+1 − X̄n = N (0,
n+1 2
σ ),
n
of na standaardisering
1
σ
Men bekomt ten slotte dat
r
n
d
(Xn+1 − X̄n ) = N (0, 1) .
n+1
1 n
d
(Xn+1 − X̄n )2 = χ21 .
σ2 n + 1
d
Uit de inductiehypothese volgt dat (n−1)Sn2 /σ 2 = χ2n−1 en dat X̄n onafhankelijk is van Sn2 . Aangezien
2
/σ 2 de som is van twee
Xn+1 ook onafhankelijk is van X̄n en Sn2 kan worden besloten dat nSn+1
2
2
onafhankelijke toevalsveranderlijken, de ene χn−1 verdeeld, de andere χ1 verdeeld. Bijgevolg is
n
2
Sn+1
d
= χ2n .
σ2
2
2
Er rest nog aan te tonen dat X̄n+1 en Sn+1
onafhankelijk zijn. Sn+1
is een functie van Sn2 en Xn+1 −
2
X̄n . Maar X̄n+1 is onafhankelijk van Sn , ook wegens (*) onafhankelijk van Xn+1 − X̄n , en dus
2
onafhankelijk van Sn+1
.
2
Hoofdstuk 7
Wet van de grote aantallen en
centrale limietstelling
7.1 Convergentie in verdeling
Lange ervaring heeft geleerd dat een fenomeen waarvan de kans van voorkomen zeer dicht bij
1 ligt, met quasi zekerheid optreedt, en analoog, dat een fenomeen waarvan de kans zeer dicht
bij 0 ligt, slechts bij hoge uitzondering optreedt. Dit feit speelt een fundamentele rol voor de
voorspellende waarde van de probabiliteitstheorie. Inderdaad, in de praktijk biedt dit empirisch
gegeven de mogelijkheid om de gebeurtenissen waarvan de kans zeer klein is praktisch onmogelijk te noemen en die gebeurtenissen waarvan de kans zeer dicht bij 1 ligt praktisch zeker
te noemen. Hierbij is de vraag welke drempelwaarde de kans moet overschrijden opdat een
gebeurtenis praktisch onmogelijk of praktisch zeker mag genoemd worden. Hierop kan evenwel geen ondubbelzinnig antwoord gegeven worden, omdat in iedere praktische toepassing
het belang en de draagwijdte van het bestudeerde fenomeen dient gewogen te worden. Alleen
praktische overwegingen kunnen de criteria helpen vastleggen volgens dewelke gebeurtenissen
als praktisch onmogelijk of praktisch zeker mogen geı̈nterpreteerd worden.
Tevens moet men voor ogen houden dat elk verschijnsel met positieve kans, hoe klein die
ook weze, zich steeds kan voordoen. Als bovendien in elk experiment de kans dat een gebeurtenis optreedt dezelfde blijft en als men het aantal uitvoeringen onbeperkt laat toenemen, dan kan
de kans dat het verschijnsel ten minste één keer voorkomt, zo dicht bij 1 gebracht worden als
men wenst. Als de kans van een gebeurtenis zeer klein is, dan kan men het optreden ervan
in één particuliere en vooraf gespecifieerde uitvoering van de proef als praktisch onmogelijk
beschouwen.
Gebeurtenissen met kans zeer dicht bij 0 of 1 zijn zowel voor de praktische toepassingen als
bij de theoretische ontwikkeling van de probabiliteitstheorie van groot belang. Het is namelijk
één van de fundamentele doelstellingen van de probabiliteitstheorie wetmatigheden te vinden
die gelden met kans zeer dicht bij 1. Sommige van die wetmatigheden manifesteren zich in
fenomenen waarbij een groot aantal onafhankelijke of zwak afhankelijke toevalsfactoren een
rol spelen. De wet van de grote aantallen behoort tot deze categorie en is zelf een agglomeraat
van stellingen die betrekking hebben op het gedrag van het rekenkundig gemiddelde van een
rij toevalsveranderlijken.
Het limietbegrip voor rijen toevalsveranderlijken wijkt af van dat voor getallenrijen. Een
rij reële getallen a1 , a2 , . . . , convergeert naar het reëel getal a als voor elke ǫ > 0 geldt dat er
172
Wet van de grote aantallen en centrale limietstelling
een positief gehele n0 bestaat zodanig dat |an − a| ≤ ǫ voor alle n ≥ n0 .
Toevalsveranderlijken zijn in essentie verzamelingen van reële getallen die voorzien zijn
van een kans of kansdichtheid. Aangezien zowel discrete als continue toevalsveranderlijken
gekarakteriseerd zijn door hun cumulatieve verdelingsfunctie, ligt het voor de hand de convergentie van toevalsveranderlijken bijvoorbeeld te associr̈en met de puntsgewijze convergentie
van hun cumulatieve verdelingsfuncties.
Definitie 7.1 Zij X, X1 , X2 , . . ., een oneindige rij van toevalsveranderlijken over een kansruimte (Ω, F, P). Men zegt dat Xn in verdeling convergeert (convergence in distribution)
naar X als voor elke x ∈ R waarin FX continu is, geldt dat de getallenrij
FX1 (x), FX2 (x) . . . FXn (x) . . . ,
convergeert naar FX (x) , d.i.
lim FXn (x) = FX (x) ,
n→∞
Men noteert
∀x ∈ R waarin FX continu is .
d
Xn → X .
Voorbeeld 7.2 Beschouw een rij X1 , X2 , . . . , Xn . . . van onafhankelijke toevalsveranderlijken
die uniform verdeeld zijn op het interval [0, 1]. Zij voorts voor alle n = 1, 2, . . .
(n)
Y1
= min(X1 , X2 , . . . , Xn )
de laagste ordestatistiek van de eerste n toevalsveranderlijken. Het is duidelijk dat de waarden
(n)
van Y1 voor n = 1, 2, . . . een niet-stijgende getallenrij vormen en intuı̈tief verwacht men dat
die getallenrij naar 0 convergeert, en dus ook dat de cumulatieve verdeling FYn van Yn convergeert naar de cumulatieve verdelingsfunctie van de constante 0, d.i. de toevalsveranderlijke
die met kans 1 de waarde 0 aanneemt.
Uit Eigenschap 6.57 volgt dat

als y < 0 ,

0,
n
FY (n) (y) = 1 − (1 − y) , als 0 ≤ y < 1 ,

1

1,
als 1 ≤ y .
In de limiet voor n → ∞ bekomt men
lim FY (n) (y) =
n→∞
1
(
0 , als y ≤ 0 ,
1 , als 0 < y .
Deze limietfunctie komt in alle punten, behalve in het discontinuı̈teitspunt y = 0 overeen met
de cumulatieve verdelingsfunctie van de constante 0, d.i.
(
0 , als y < 0 ,
F0 (y) =
1 , als 0 ≤ y .
Dit voorbeeld illustreert dat een convergente rij van rechts-continue functies niet noodzakelijk
naar een rechts-continue functie convergeert, zodat de discontinuı̈teitspunten van de limietfunctie voor het convergentiebegrip buiten beschouwing worden gelaten.
2
7.2 Convergentie in kans
173
7.2 Convergentie in kans
De convergentie in verdeling blijkt een zwakke vorm van convergentievoorwaarde te zijn,
aangezien ze alleen de marginale verdelingsfuncties van de toevalsveranderlijken in beschouwing neemt, en aldus geen rekening houdt met de afhankelijkheden die er tussen de toevalsveranderlijken kunnen bestaan.
Definitie 7.3 Zij X, X1 , X2 , . . . een oneindige rij toevalsveranderlijken (al of niet onafhankelijk en al of niet met gelijke verdeling) over een kansruimte (Ω, F, P). Men zegt
dat Xn in kans convergeert (convergence in probability) of stochastisch convergeert naar
X als voor elke ǫ > 0 geldt dat
lim P(|Xn − X| ≥ ǫ} = 0 ,
n→∞
of equivalent daarmee, als voor elke ǫ > 0 geldt dat
lim P{|Xn − X| ≤ ǫ} = 1 .
n→+∞
Men noteert
p
Xn → X .
Voorbeeld 7.4 Beschouw opnieuw de rijen toevalsveranderlijken uit Voorbeeld 7.2. Gelet
op de onafhankelijkheid van de toevalsveranderlijken in de rij X1 , X2 , . . ., bekomt men voor
iedere ǫ > 0 dat
(n)
P(|Y1
− 0| ≥ ǫ) = P(X1 ≥ ǫ, . . . , Xn ≥ ǫ) = P(X1 ≥ ǫ) · · · P(Xn ≥ ǫ) = (1 − ǫ)n .
In het bijzonder is
(n)
lim P(|Y1
n→∞
− 0| ≥ ǫ) = lim (1 − ǫ)n = 0 .
n→∞
(n)
Aangezien deze limiet geldt voor alle ǫ > 0, kan men besluiten dat Y1
vergeert.
in kans naar 0 con2
Voorbeeld 7.5 Zij X1 , X2 , . . . een rij toevalsveranderlijken waarbij Xn Bernoulli-verdeeld is
met parameter (1/2)n , d.i. voor alle n = 1, 2, . . . geldt dat

n
1 − 12 , als x = 0 ,


 1 n
p(Xn = x) =
,
als x = 1 ,
2



0,
voor de overige x .
Merk op dat hiermee geenszins is bepaald of de toevalsveranderlijken al of niet onafhankelijk
zijn. Zij voorts X een toevalsveranderlijke die met kans 1 de waarde 0 aanneemt (X is dus de
constante 0). Voor elke n zijn X en Xn onafhankelijk. Voorts is voor elke 0 < ǫ ≤ 1
n
1
,
P(|Xn − X| ≥ ǫ) = P(|Xn | ≥ ǫ) =
2
en voor elke ǫ > 1 is
P(|Xn | > ǫ) = 0 .
174
Wet van de grote aantallen en centrale limietstelling
Hieruit volgt dat
lim P(|Xn − X| ≥ ǫ) = 0 ,
n→∞
∀ǫ > 0 ,
p
waarmee is aangetoond dat Xn → X.
2
Voorbeeld 7.6 Zij Ω = [0, 1], F = B[0, 1], d.i. de verzameling van alle Borel-deelverzamelingen van het eenheidsinterval, en P de uniforme probabiliteitsmaat, d.i. voor elke gebeurtenis
A ∈ F, m.a.w. voor elk Borel-deelinterval van [0, 1], is P(A) de lengte van dat deelinterval.
Zij X de discrete toevalsveranderlijke die de waarde 1 aanneemt als ω ∈ [1/2, 1], zoniet 0 is.
Zij voorts voor n = 1, 2, . . . Xn de discrete toevalsveranderlijke die de waarde 1 aanneemt als
ω ∈ [0, 1/2 + 1/n], zoniet 0 is. X en Xn zijn niet onafhankelijk. Immers, de gezamenlijke
kansmassafunctie pX,Xn van X en Xn wordt bepaald door de volgende kansen:
P(X = 0, Xn = 0) = 0 ,
P(X = 0, Xn = 1) =
1 1
− ,
2 n
De marginale kansmassafunctie van X is
1
,
2
P(X = 1, Xn = 1) =
P(X = 1, Xn = 0) =
P{X = 0} = P{X = 1} =
1
.
n
1
,
2
en de marginale kansmassafunctie van Xn is voor n = 1, 2, . . . gegeven door
P(Xn = 0) =
1
1
− ,
2
n
P(Xn = 1) =
1 1
+ .
2 n
Kiest men bijvoorbeeld ǫ = 1/2 , dan is
P(|Xn − X| ≥ 1/2) = P(X = 0, Xn = 1) + P(X = 1, Xn = 0) = 1 −
1
,
n
en deze kans nadert tot 1 als n → ∞. Bijgevolg convergeert de rij Xn niet in kans naar
X. Anderzijds convergeert de cumulatieve verdelingsfunctie van Xn wel naar de cumulatieve
verdelingsfunctie van X. Inderdaad,

0,
als x < 0 ,



FX (x) = 1 , als 0 ≤ x < 1 ,


2
1,
als 1 ≤ x ,

0,
als x < 0 ,



FXn (x) = 1 − 1 , als 0 ≤ x < 1 ,

n

2
1,
als 1 ≤ x ,
en dus is limn→∞ FXn (x) = FX (x) voor alle x ∈ R.
2
Convergentie in kans is een sterkere convergentievoorwaarde dan convergentie in verdeling.
Dit wordt bevestigd in de volgende eigenschap, waarvan het bewijs evenwel achterwege wordt
gelaten.
p
d
Eigenschap 7.7 Als Xn → X, dan geldt dat Xn → X.
7.3 De ongelijkheden van Markov en Chebyshev
175
Het omgekeerde is niet noodzakelijk waar, zoals bijvoorbeeld blijkt uit Voorbeeld 7.6. Een
rij toevalsveranderlijken X1 , X2 , . . . kan in verdeling convergeren naar X zonder dat ze in kans
naar X convergeert.
Wetmatigheden die gesteund zijn op het begrip convergentie in kans noemt men desondanks zwakke wetmatigheden (weak laws). De reden voor die benaming is dat men nog
strengere vormen van convergentie kan definiëren.
De zogenaamd zwakke wet van de grote aantallen is de verzamelnaam voor een aantal stellingen die voor een rij van toevalveranderlijken X1 , X2 , . . ., voorwaarden vastleggen
waaronder de rij van de gemiddelden X1 , (X1 + X2 )/2, (X1 + X2 + X3 )/3, . . . stochastisch
convergeert. De reden waarom men zich op de rij van gemiddelden toespitst heeft te maken met
het empirisch feit dat in massafenomenen factoren die geen verband houden met het algemeen
karakter van dit fenomeen maar zich enkel manifesteren in individuele realisaties ervan, elkaar
opheffen als het gemiddelde wordt gemaakt van een groot aantal realisaties.
Voorbeeld 7.8 Een gas is samengesteld uit een enorm aantal moleculen in chaotische beweging. Basiseigenschappen van het gas, zoals druk, temperatuur, viscositeit, enz., worden niet
bepaald door het ingewikkelde gedrag van een individuele molecule, maar door de collectieve actie van alle moleculen. Zo meet de druk van het gas het gezamenlijke effect van de
moleculen die in een eenheid van tijd botsen op een eenheidsoppervlak. Het aantal botsende
moleculen en hun snelheden veranderen op toevallige wijze, maar ten gevolge van de wet van
de grote aantallen is de druk nagenoeg constant. Deze fysische wetmatigheid wordt met grote
nauwkeurigheid experimenteel bevestigd. Alleen wanneer men er in slaagt een gering aantal
moleculen te isoleren kan men ook significante variaties in druk opmeten.
2
7.3 De ongelijkheden van Markov en Chebyshev
Als aanloop tot het bewijs van de zwakke wet van de grote getallen, worden twee ongelijkheden
afgeleid die een afschatting geven van de kans van bepaalde gebeurtenissen als de verwachtingswaarde en/of variantie van een toevalsveranderlijke maar niet noodzakelijk zijn verdelingsfunctie bekend zijn.
De Markov-ongelijkheid houdt in dat als de verwachtingswaarde van een niet-negatieve
toevalsveranderlijke klein is, de kans dat de toevalsveranderlijke een grotere waarde aanneemt,
ook klein moet zijn.
Eigenschap 7.9 ongelijkheid van Markov
Als een toevalsveranderlijke X uitsluitend niet-negatieve waarden aanneemt, dan geldt voor
alle a > 0 dat
E[X]
P(X ≥ a) ≤
.
a
Bewijs
Kies een willekeurige positieve a en beschouw de toevalsveranderlijke Ya gedefinieerd
door
(
0 , als X < a ,
Ya =
a , als X ≥ a .
Men ziet dat de ongelijkheid
Ya ≤ X
176
Wet van de grote aantallen en centrale limietstelling
altijd voldaan is, en vermits zowel X als Ya uitsluitend niet-negatieve waarden kunnen aannemen, volgt hieruit dat
E[Ya ] ≤ E[X] .
Anderzijds is
E[Ya ] = a P(Ya = a) = a P(X ≥ a) ,
zodat
aP(X ≥ a) ≤ E[X] .
2
Voorbeeld 7.10 Zij X uniform verdeeld op het interval [0, 4], zodat E[X] = 2. De Markovongelijkheid leidt tot de afschattingen:
P(X ≥ 2) ≤
2
= 1,
2
P(X ≥ 3) ≤
2
= 0.67 ,
3
P(X ≥ 4) ≤
2
= 0.5 .
4
Vergelijking met de exacte kansen
P(X ≥ 2) = 0.5 ,
P(X ≥ 3) = 0.25 ,
P(X ≥ 4) = 0 ,
illustreert dat de grenzen die men uit de Markov-ongelijkheid vindt, nogal onnauwkeurig kunnen zijn.
2
Met de Chebyshev-ongelijkheid wordt een afschatting gemaakt van de kans dat een toevalsveranderlijke weinig afwijkt van haar verwachtingswaarde.
Eigenschap 7.11 ongelijkheid van Chebyshev
Zij X een toevalsveranderlijke met eindige variantie. Dan geldt voor elke c > 0 dat
P(|X − E[X])| ≥ c) ≤
var(X)
.
c2
Bewijs
Beschouw de niet-negatieve toevalsveranderlijke (X − E[X])2 en pas er de ongelijkheid
van Markov op toe met a = c2 . Er komt
P((X − E[X])2 ≥ c2 ) ≤
var(X)
E[(X − E[X])2 ]
=
.
2
c
c2
Het bewijs wordt vervolledigd met de observatie dat de kans dat de gebeurtenis {(X−E[X])2 ≥
c2 } zich voordoet, identiek is aan de kans dat de gebeurtenis {|X − E[X]| ≥ c} zich voordoet,
zodat
var(X)
P(|X − E[X]| ≥ c) = P((X − E[X])2 ≥ c2 ) ≤
.
c2
Een alternatieve vorm van de Chebyshev-ongelijkheid wordt bekomen door c = k var(X) te
stellen, met k positief getal, waardoor
P(|X − E[X]| ≥ k var(X)) ≤
1
.
k2
De kans dat een toevalsveranderlijke een waarde aanneemt, die meer dan k keer de standaardafwijking van haar verwachte waarde afwijkt, is bijgevolg ten hoogste 1/k 2 .
2
7.3 De ongelijkheden van Markov en Chebyshev
177
De ongelijkheid van Chebyshev levert over het algemeen scherpere begrenzingen dan de
ongelijkheid van Markov, aangezien ook informatie over de variantie van de toevalsveranderlijke erin wordt aangewend. Niettenmin leveren de verwachtingswaarde en variantie van een
toevalsveranderlijke slechts summiere informatie over de verdeling, zodat niet mag verwacht
worden dat de afschattingen voor de kansen heel nauwkeurig zijn.
Voorbeeld 7.12 Beschouw opnieuw de toevalsveranderlijke X die uniform verdeeld is op
[0, 4] en waarvoor E[X] = 2 en var(X) = 16/12 = 4/3. Toepassing van de ongelijkheid
van Chebyshev met c = 1 levert
4
,
3
een afschatting die geen enkele relevante informatie oplevert, aangezien elke kans ten hoogste
1 is. Anderzijds, bekomt men met c = 2
P(|X − 2| ≥ 1) ≤
1
,
3
wat opnieuw zonder relevantie is, aangezien de kans dat continue X de waarden 0 of 4 aanneemt gelijk is aan 0.
2
P(|X − 2| ≥ 2) = P(X ∈ {0, 4}) ≤
Volgend voorbeeld illustreert dat de toepassing van de ongelijkheid van Chebyshev niet
steeds zonder relevantie is.
Voorbeeld 7.13 Zij X exponentieel verdeeld met parameter λ = 1, zodat E[X] = var(X) =
1. Voor c > 1 bekomt men met de ongelijkheid van Chebyshev dat
P(X ≥ c) = P(X − 1 ≥ c − 1) ≤ P(|X − 1| ≥ c − 1) ≤
1
.
(c − 1)2
Dit is een relevante, maar nog steeds vrij onnauwkeurige bovengrens, aangezien P(X ≥ c) =
e−c .
2
De ongelijkheid van Chebyshev wordt niet alleen toegepast om afschattingen van kansen
te maken. Ze laat ook toe in bepaalde omstandigheden aan te tonen dat een rij toevalsveranderlijken in kans naar een bepaalde constante convergeert.
Eigenschap 7.14 De steekproefvariantie Sn2 van een aselecte steekproef van omvang n
getrokken uit een normale populatie met verwachtingwaarde µ en variantie σ 2 convergeert
d
in kans naar de populatievariantie σ 2 , d.i. als X = N (µ, σ) dan geldt dat
p
Sn2 → σ 2 .
Bewijs
Uit Eigenschap 6.52 is bekend dat E[Sn2 ] = σ 2 en var(Sn2 ) = 2σ 4 /(n − 1). Substitueert
men deze resultaten in de ongelijkheid van Chebyshev, dan bekomt men voor elke ǫ > 0 dat
P(|Sn2 − σ 2 | ≥ ǫ) ≤
2σ 2
,
ǫ2 (n − 1)
en vermits het rechterlid naar 0 nadert als n → ∞, is
lim P(|Sn2 − σ 2 | ≥ ǫ) = 0 .
n→∞
2
178
7.4
Wet van de grote aantallen en centrale limietstelling
De zwakke wet van de grote aantallen
Met behulp van de ongelijkheid van Chebyshev kan gemakkelijk een versie van de zwakke wet
van de grote aantallen bewezen worden, die bekend is als de stelling van Chebyshev.
Stelling 7.15 stelling van Chebyshev
Zij gegeven een rij X1 , X2 , . . . van onafhankelijke toevalsveranderlijken waarvan de variantie begrensd is door een constante v < ∞, d.i. var(Xi ) ≤ v voor i = 1, 2, . . .. Dan geldt
voor elke ǫ > 0 dat
!
n
n
1 X
1X
lim P Xi −
E[Xi ] ≥ ǫ = 0 .
n→∞
n
n
i=1
i=1
Bewijs
Beschouw de toevalsveranderlijken
n
1X
Xi ,
Zn =
n
n = 1, 2, . . . .
i=1
Er geldt dat
#
n
n
1X
1X
E[Zn ] = E
Xi =
E[Xi ] ,
n
n
"
i=1
i=1
en wegens de onafhankelijkheid van de toevalsveranderlijken Xi en het uniform begrensd zijn
van de varianties, geldt ook dat
!
n
n
1X
1 X
v
var(Zn ) = var
Xi = 2
var(Xi ) ≤ .
n
n
n
i=1
i=1
Met behulp van de ongelijkheid van Chebyshev, toegepast op de rij toevalveranderlijken Z1 , Z2 , . . .,
bekomt men
n
!
P
n
1 X
var n1 ni=1 Xi
1X
v
Xi −
E[Xi ] ≥ ǫ ≤
P ≤ 2.
n
n
ǫ2
nǫ
i=1
i=1
In de limietovergang voor n → ∞ vindt men
n
!
n
1 X
X
1
Xi −
E[Xi ] ≥ ǫ ≤ 0 ,
lim P n→∞
n
n
i=1
i=1
maar omdat een kans niet kleiner dan 0 kan zijn, is
n
!
n
1 X
1X
Xi −
E[Xi ] ≥ ǫ = 0 .
lim P n→∞
n
n
i=1
i=1
2
De stelling van Bernoulli die reeds in Hoofdstuk 3 werd afgeleid uit de integrale limietstelling van DeMoivre-Laplace, is ook een rechtstreeks gevolg van de stelling van Chebyshev.
7.4 De zwakke wet van de grote aantallen
179
Stelling 7.16 stelling van Bernoulli
Zij Sn het aantal keer dat in een rij van n onafhankelijke Bernoulli-experimenten een
gebeurtenis A zich voordoet als p de kans is dat A zich in een experiment voordoet. Dan
nadert voor om het even welke ǫ > 0 de kans P(|Sn /n − p| ≥ ǫ) tot 0 wanneer n → ∞.
Bewijs
Zij de toevalsveranderlijke Xk het aantal keren dat A optreedt in het k-de experiment (k =
1, 2, . . .). Iedere Xk kan dus slechts de waarde 0 of 1 aannemen en is Bernoulli-verdeeld met
parameter p Voorts is Sn = X1 + X2 + · · · + Xn . Aangezien
var(Xk ) = p(1 − p) ≤
E[Xk ] = p ,
1
,
4
k = 1, 2, . . . ,
en bijgevolg de variantie van Xk begrensd is, volstaat het de stelling van Chebyshev op de rij
X1 , X2 , ... toe te passen.
2
Zoals reeds in Hoofdstuk 3 is uiteengezet, impliceert de stelling van Bernoulli dat de relatieve frequentie van een gebeurtenis in een rij van onafhankelijke Bernoulli-experimenten
stochastisch nadert tot de kans p van de gebeurtenis als n toeneemt.
Een ander bijzonder geval van de stelling van Chebyshev doet zich voor wanneer alle toevalsveranderlijken dezelfde verwachte waarde a bezitten.
Eigenschap 7.17 Zij X1 , X2 , . . . een rij van onafhankelijke toevalsveranderlijken zodanig
dat voor alle i = 1, 2, . . . geldt dat
E[Xi ] = a ,
var(Xi ) ≤ v < ∞
en
i = 1, 2, . . . , n, . . . .
Dan geldt voor elke ǫ > 0 dat
lim P
n→+∞
n
!
1 X
Xi − a ≥ ǫ = 0 .
n
i=1
Dit bijzonder geval van de stelling van Chebyshev vormt de grondslag voor de zogenaamde
regel van het rekenkundig gemiddelde, die voornamelijk in de theorie van waarnemingen wordt
toegepast. Veronderstel dat een bepaalde fysische grootheid a wordt opgemeten en dat de meting n keer onder dezelfde voorwaarden wordt herhaald. Over het algemeen zijn de opeenvolgende meetresultaten x1 , x2 , . . . , xn niet alle gelijk. Het is gebruikelijk het rekenkundig
gemiddelde van de meetresultaten als benadering voor de grootheid a te nemen, d.i.
a≈
x1 + x2 + · · · + xn
.
n
Als de metingen gevrijwaard zijn van systematische fouten, dan kan elke meting ook opgevat
worden als de uitkomst van een toevalsveranderlijke, waarvoor respectievelijk
E[X1 ] = E[X2 ] = · · · = E[Xn ] = a .
Ten gevolge van de wet van de grote aantallen kan met kans zo dicht bij 1 als gewenst, de
grootheid a zo dicht als gewenst benaderd worden mits het aantal metingen n maar voldoende
groot is.
De volgende stelling is een andere vorm van de zwakke wet van de grote aantallen, waarbij
voldoende voorwaarden worden gegeven voor het geval dat alle toevalsveranderlijken gelijk
verdeeld zijn. Het bewijs valt buiten het kader van deze cursus.
180
Wet van de grote aantallen en centrale limietstelling
Stelling 7.18 stelling van Khinchin
Zij X1 , X2 , . . . een rij onafhankelijke toevalsveranderlijken met zelfde kansverdeling en met
eindige verwachtingswaarde a. Dan geldt dat
n
!
1 X
lim P Xi − a ≥ ǫ = 0 .
n→∞
n
i=1
Dit wordt ook genoteerd als
X1 + X2 + · · · + Xn p
→ a.
n
Bemerk in Stellingen 7.17 en 7.18 het subtiele verschil tussen de voldoende voorwaarden
opdat de wet van de grote aantallen van toepassing zou zijn: in de eerste stelling volstaat het
dat alle toevalveranderlijken dezelfde verwachting en eindige variantie hebben, in de tweede
stelling volstaat het dat ze dezelfde verdeling hebben met eindige verwachting. De variantie
mag in dit geval dus eventueel oneindig zijn.
In de statistiek kent de zwakke wet van de grote aantallen in de vorm de stelling van
Khinchin een aantal toepassingen. Een aselecte steekproef kan immers gezien worden als een
rij van toevalsveranderlijken die dezelfde verdeling hebben.
Eigenschap 7.19 Het steekproefgemiddelde convergeert in kans naar de verwachtingswaarde van de populatie wanneer de steekproef onbeperkt in omvang toeneemt, d.i.
p
X̄n → E[X] .
Bewijs
De steekproefveranderlijken X1 , X2 , . . . hebben dezelfde verdeling als de populatieveranderlijke X en verwachtingswaarde E[X]. In de veronderstelling dat E[X] < ∞, is de stelling
van Khinchin van toepassing en bekomt men voor elke ǫ > 0
lim P(|X̄n − E[X]| ≥ ǫ) = 0 ,
n→∞
p
wat gelet op Definitie 7.3 genoteerd wordt als X̄n → E[X].
2
De volgende stelling van Markov veralgemeent de stelling van Chebyshev voor toevalsveranderlijken die niet noodzakelijk onafhankelijk zijn. Het bewijs van deze stelling valt buiten het
kader van deze cursus.
Stelling 7.20 stelling van Markov
Als een rij toevalsveranderlijken X1 , X2 , . . . zodanig is dat
!
n
X
1
lim
var
Xi = 0 ,
n→+∞ n2
i=1
dan geldt voor elke ǫ > 0 dat
lim P
n→+∞
n
!
n
1 X
1X
Xi −
E[Xi ] ≥ ǫ = 0 .
n
n
i=1
i=1
7.5 De empirische cumulatieve verdelingsfunctie
181
Indien de toevalsveranderlijken onafhankelijk zijn, neemt Markov’s voorwaarde de vorm
n
1 X
lim
var(Xi ) = 0 ,
n→∞ n2
i=1
aan, waaruit blijkt dat de stelling van Chebyshev een bijzonder geval is van de stelling van
Markov.
In alle voorgaande stellingen worden telkens voldoende voorwaarden geformuleerd opdat
de wet van de grote aantallen zou gelden. Men is er evenwel ook in geslaagd nodige voorwaarden te vinden. Aangezien deze voorwaarden in de praktijk moeilijk te verifiëren zijn, worden
ze hier buiten beschouwing gelaten.
In de praktische toepassing van de wet der grote aantallen neemt men over het algemeen a
priori aan dat het bestudeerde (massa)-fenomeen (bijvoorbeeld de druk in een gas) het resultaat
is van een (groot) aantal onafhankelijke oorzakelijke fenomenen of processen (de beweging
van de individuele moleculen). Men kan opmerken dat het concept van onafhankelijkheid
in tegenstrijd is met de idee dat alle fenomenen in de reële wereld causaal verbonden zijn
(de beweging van één molecule is afhankelijk van de beweging van alle overige moleculen).
Empirisch onderzoek zal bijgevolg moeten bevestigen of de hypothese van onafhankelijkheid
voor een eerste orde benadering van de realiteit kan gehandhaafd worden. Is dat niet het geval,
dan zal men het onderliggend model moeten aanpassen en in eerste instantie zwakke vormen
van afhankelijkheid incorporeren (bijvoorbeeld, modellering met Markov-ketens, enz.)
7.5 De empirische cumulatieve verdelingsfunctie
Het is intuı̈tief duidelijk dat de steekproefwaarden een globaal beeld verschaffen van de onderliggende verdeling en dat dit beeld des te nauwkeuriger is naarmate de steekproef in omvang toeneemt. In deze Sectie wordt een theoretische ondersteuning van dit intuı̈tief inzicht
gegeven.
Definitie 7.21 Is X1 , X2 , . . . , Xn een aselecte steekproef met onderliggende cumulatieve
verdelingsfunctie FX (x), dan wordt de functie
Fn (x) =
aantal van de X1 , . . . , Xn ≤ x
,
n
de empirische cumulatieve verdelingsfunctie of kortweg empirische verdelingsfunctie
(empiric distribution function) of ook de verdelingsfunctie van de steekproef genoemd.
Merk op dat Fn (x) inderdaad alle nodige kenmerken van een cumulatieve verdelingsfunctie
heeft: ze is niet-dalend, rechts continu en heeft de limieten Fn (∞) = 1 en Fn (−∞) = 0. De
grafiek van de empirische verdelingsfunctie maakt bij elke steekproefwaarde een sprong die
een geheel veelvoud is van 1/n.
Het blijkt dat de cumulatieve verdelingsfunctie van de steekproef puntsgewijs de cumulatieve verdelingsfunctie van de populatieveranderlijke in kans benadert.
Eigenschap 7.22 Zij Fn (x) de empirische cumulatieve verdelingsfunctie van een aselecte
steekproef X1 , X2 , . . . , Xn , getrokken uit een populatie met cumulatieve verdelingsfunctie
FX (x). Er geldt voor elke x ∈ R dat
p
Fn (x) → FX (x) .
182
Wet van de grote aantallen en centrale limietstelling
Bewijs
Voor een vaste x en n is Fn (x) een toevalsveranderlijke: met elke steekproef van omvang
n correspondeert een waarde van Fn (x). Om de verwachtingswaarde en variantie van Fn (x)
te berekenen, voert men n nieuwe onafhankelijke toevalsveranderlijken Wi (i = 1, 2, . . . , n)
in, gedefinieerd door
(
1 als Xi ≤ x ,
Wi =
0 als Xi > x .
De onafhankelijkheid van de Wi ’s volgt uit de onafhankelijkheid van de Xi ’s en bovendien is
P(Wi = 1) = FX (x) en P(Wi = 0) = 1 − FX (x). Hieruit volgt dat
E[Wi ] = 0 · P(Wi = 0) + 1 · P(Wi = 1) = FX (x) ,
en
E[Wi2 ] = 02 · P(Wi = 0) + 12 · P(Wi = 1) = FX (x) ,
zodat
var(Wi ) = E[Wi2 ] − (E[Wi ])2 = FX (x)[1 − FX (x)] .
Uit de definitie van Fn (x) volgt dat
Fn (x) =
Pn
i=1 Wi
,
n
en dus is
E[Fn (x)] = FX (x) ,
var(Fn (x)) =
FX (x)[1 − FX (x)]
.
n
Substitueert men deze resultaten in de ongelijkheid van Chebyshev, dan ziet men dat voor elke
ǫ > 0 geldt dat
FX (x)[1 − FX (x)]
.
P(|Fn (x) − FX (x)| ≥ ǫ) ≤
nǫ2
Deze kans nadert tot nul als n → ∞.
2
Merk op dat de empirische verdelingsfunctie niet in klassieke zin de theoretische verdelingsfunctie puntsgewijs benadert: voor elk punt x is FX (x) wel een constante waarde, maar
Fn (x) is, voor vaste n, een toevalsgrootheid, aangezien elke aselecte steekproef van omvang n
een andere waarde van Fn (X) kan opleveren.
Dit resultaat kan nog worden versterkt door aan te tonen dat het grootste verschil tussen
Fn (x) en FX (x), berekend over alle x, eveneens in kans tot 0 nadert als n → ∞. Dit laatste
resultaat wordt ook de grondstelling van de statistiek genoemd.
Stelling 7.23 stelling van Glivenko-Cantelli: grondstelling van de statistiek
Zijn X1 , X2 , . . . , Xn onafhankelijke toevalsveranderlijken met zelfde cumulatieve verdelingsfunctie FX (x), dan geldt voor hun hun empirische verdelingsfunctie Fn (x) dat
p
sup |Fn (x) − FX (x)| → 0 .
x
In 1933 bewees Kolmogorov de volgende limietstelling.
7.6 Centrale limietstelling
183
Stelling 7.24 limietstelling van Kolmogorov
Zij X een continue toevalsveranderlijke met cumulatieve verdelingsfunctie FX en Fn de
empirische verdelingsfunctie van een aselecte steekproef. Er geldt dat

0
als z ≤ 0 ,
√
lim P( n sup |Fn (x) − FX (x)| ≤ z) = P
n→∞
 +∞ (−1)k e−2k2 z 2 als z > 0 .
x
k=−∞
In de statistiek wordt deze stelling onder meer aangewend om te testen of de populatie
waaruit een steekproef getrokken werd, een welbepaalde verdelingsfunctie bezit.
7.6 Centrale limietstelling
Waar de wet van de grote aantallen verband houdt met de convergentie in kans van het gemiddelde van toevalsveranderlijken, heeft de centrale limietstelling betrekking op de convergentie
in verdeling van het gemiddelde. In het bijzonder legt deze stelling vast onder welke voorwaarden de verdeling van het gemiddelde convergeert naar een normale verdeling.
Stelling 7.25 stelling van Lindberg-Levy: centrale limietstelling
Zij X1 , X2 , . . . een rij onafhankelijke toevalsveranderlijken met zelfde kansverdeling en met
eindige verwachtingswaarde E[Xi ] = µ en eindige variantie var(Xi ) = σ 2 > 0. Dan geldt
voor elke x ∈ R dat
Z x
1
(X1 − µ) + · · · + (Xn − µ)
2
√
≤x = √
e−z /2 dz ,
lim P
n→∞
nσ
2π −∞
wat ook genoteerd wordt als
Zn =
√
n (X̄n − µ) d
→ N (0, 1) ,
σ
met
X̄n :=
n
1 X
Xi .
n
i=1
Bewijs
Zij MX (s) de momentgenererende functie van X. Vermits
nX̄n = X1 + X2 + · · · + Xn ,
en de Xi onafhankelijk zijn en verdeeld zijn zoals X, volgt uit Eigenschap 6.21 dat
MnX̄n (s) =
n
Y
MX (s) = [MX (s)]n .
i=1
Toepassing van Eigenschap 6.17 met a = 1/n en b = 0 toont dat
s in
h
.
MX̄n (s) = MX
n
√
√
Nogmaals deze laatste eigenschap toepassend, nu met a = n/σ en b = −µ n/σ, bekomt
men
n
√
s
MZn (s) = e−µ ns/σ MX ( √
.
σ n
184
Hieruit volgt dat
Wet van de grote aantallen en centrale limietstelling
√
s
µ n
√
s + n ln MX
ln[MZn (s)] = −
.
σ
σ n
De MacLaurin-reeksontwikkeling van MX (s) is wegens Eigenschap 6.19 te schrijven als
MX (s) = MX (0) + µ1 (X)
s
s
+ µ2 (X) + · · · ,
1!
2!
met µ1 (X) = E[X] = µ en µ2 (X) = E[X 2 ] = var(X) + (E[X])2 = σ 2 + µ2 . Bijgevolg is
2
1
1
s
1 s
s
2
2
√
√
+ (σ + µ )
+O
.
=1+µ √
MX
σ n
σ n 1!
σ n 2!
n3/2
Gelet op de MacLaurin-machtreeksontwikkeling
ln(1 + x) = x −
x2 x3
+
− ··· ,
2
3
volgt hieruit dat
2
1
1
1
1 s 2
s
1 s
s
2
2
√
√
+O
+ (σ + µ )
−
µ √
=µ √
ln MX
2
σ n
σ n 1!
σ n 2!
σ n 1!
n3/2
µs
s2
+O
= √ +
σ n 2n
1
n3/2
.
Daarmee bekomt men uiteindelijk
√
µs
1
s2
µ n
√ +
s+n
+O
ln[MZn (s)] = −
σ
σ n 2n
n1/2
s2
=
+O
2
1
n1/2
.
Tenslotte volgt na de limietovergang voor n → ∞ dat
lim ln[MZn (s)] =
n→∞
of nog
lim MZn (s) = es
n→∞
s
,
2
2 /2
.
Uit Voorbeeld 6.18 en Appendix 6.8 ziet men dat het rechterlid de momentgenererende functie
voorstelt van de standaardnormale veranderlijke, en aangezien een momentgenererende functie
de toevalsveranderlijke karakteriseert, betekent dit dat in de limiet n → ∞ de verdeling van Zn
de standaardnormale verdeling is, d.i.
√
n (X̄n − µ) d
Zn =
→ N (0, 1) .
σ
2
Wanneer de rij toevalsveranderlijken X1 , X2 , . . . geı̈dentificeerd wordt met de steekproefveranderlijken van een aselecte steekproef getrokken uit een willekeurige populatie X met
verwachtingswaarde µ en variantie σ 2 krijgt de centrale limietstelling de volgende betekenis.
7.6 Centrale limietstelling
185
Eigenschap 7.26 Het steekproefgemiddelde X̄n van een aselecte steekproef van omvang n,
getrokken uit een populatie met verwachtingswaarde µ en variantie σ 2 , convergeert in verdeling naar een normale verdeling met verwachtingswaarde µ en variantie σ 2 /n, d.i.
σ2
d
X̄n → N µ,
.
n
Bewijs
De steekproefveranderlijken X1 , X2 , . . . , Xn zijn alle gelijk verdeeld met verwachtingswaarde
µ en variantie σ 2 . Uit Eigenschap 6.47 volgt onmiddellijk dat het steekproefgemiddelde X̄n
verwachtingswaarde en variantie heeft, gegeven door
E[X̄n ] = µ
en
var(X̄n ) =
σ2
.
n
Anderzijds volgt uit de centrale limietstelling dat
Zn =
(X̄n − µ) d
√
→ N (0, 1) ,
σ/ n
hetgeen betekent dat het gestandaardiseerde steekproefgemiddelde , d.i.
q
(X¯n − E[X̄n ])/ var(X̄n )
in verdeling nadert tot een standaardnormale veranderlijke. Wegens Eigenschap 4.47 is
σ
X¯n = √ Zn + µ
n
in de limiet voor n → ∞ normaal verdeeld met verwachtingswaarde µ en variantie σ 2 /n.
2
Merk op dat de integrale limietstelling van DeMoivre-Laplace die in Hoofdstuk 3 besproken werd, slechts een bijzonder geval is van de centrale limietstelling. Inderdaad, zijn
X1 , X2 , . . ., onafhankelijke Bernoulli-verdeelde toevalsveranderlijken, dan is E[Xi ] = p en
var(Xi ) = pq met q = 1 − p. Uit de centrale limietstelling volgt dat
√
n(X̄n − p)
Sn − np d
= √
→ N (0, 1) ,
√
pq
npq
P
waarbij de som Sn = ni=1 Xi binomiaal verdeeld is met parameters n en p. Wegens Eigenschap 4.47 volgt hieruit dat de binomiale verdeling voor toenemende n puntsgewijs nadert tot
een normale verdeling.
d
Eigenschap 7.27 Is Xn = Bin(n, p) dan convergeert Xn in verdeling naar een normale
veranderlijke met verwachtingswaarde np en variantie npq, d.i.
d
Bin(n, p) → N (np, npq) .
Ook in de volgende voorbeelden wordt de centrale limietstelling aangewend om verdelingsfuncties door een normale verdeling te benaderen.
186
Wet van de grote aantallen en centrale limietstelling
Voorbeeld 7.28 Zij X1 , X2 , . . . , Xn een rij onafhankelijke standaardnormaal verdeelde toevalsveranderlijken. De toevalsveranderlijken X12 , X22 , . . . , Xn2 zijn eveneens onafhankelijk en
χ21 -verdeeld met 1 vrijheidsgraad en met verwachtingswaarde 1 en variantie 2. De som Sn =
X12 + X22 + · · · + Xn2 is χ2n -verdeeld met n vrijheidsgraden. Wegens de centrale limietstelling
is
√
n(Sn /n − 1)
Sn − n d
√
→ N (0, 1) ,
= √
2
2n
zodat ook
d
d
Sn = χ2n → N (n, 2n) .
Zij a een gegeven constante, dan kan men de kans P(Sn ≤ a) voor voldoend grote n benaderen
door :
a−n
a−n
Sn − n
√
≤ √
≈Φ √
,
P(Sn ≤ a) = P
2n
2n
2n
met Φ(x) de cumulatieve verdelingsfunctie van de standaardnormale verdeling. Is bijvoorbeeld
n = 100, en wenst men bij benadering de waarde van a te vinden waarvoor P(χ2100 ≤ a) =
0.95, dan volstaat het a op te lossen uit de vergelijking
a − 100
= 0.95 .
Φ √
200
Vermits uit de Tabel met Φ-waarden blijkt dat Φ(1.645) = 0.95, bekomt men
√
a ≈ 100 + 1.645 200 = 123.26 .
Dit is een goede benadering aangezien de exacte waarde gegeven is door a = 124.34.
2
Voorbeeld 7.29 Als men 300 willekeurige decimale getallen eerst tot op de dichtstbijzijnde
eenheid afrondt en vervolgens optelt, wat is de kans dat de bekomen som ten hoogste 5 eenheden afwijkt van de som van de decimale getallen?
Oplossing
De fout die door afronding wordt gemaakt kan worden opgevat als een toevalsveranderlijke
die uniform op het interval [−0.5, 0.5] verdeeld is. De totale fout bij optelling van n afgeronde
getallen is dus een toevalsveranderlijke Sn die de som is van n uniform verdeelde toevalsveranderlijken met verwachtingswaarde 0 en variantie 1/12. Wegens de centrale limietstelling geldt
dat
S −0 d
pn
→ N (0, 1) ,
n/12
of
d
Sn → N (0, n/12) .
Bijgevolg geldt voor voldoend grote n dat
)
(
Sn
a
−a
≤p
≤p
P(|Sn | ≤ a) = P p
n/12
n/12
n/12
p
p
p
≈ Φ(a 12/n) − Φ(−a 12/n) = 2Φ(a 12/n) − 1 .
7.6 Centrale limietstelling
187
Voor a = 5 en n = 300 vindt men dat
P(|S300 | ≤ 5) = 2Φ(1) − 1 = 0.6826 ,
zodat er ongeveer 68% kans is dat het bekomen resultaat minder dan 5 eenheden van de echte
som afwijkt.
2
Ook voor de centrale limietstelling is men er in geslaagd nodige voorwaarden op te stellen
die er de geldigheid van verzekeren. Daarnaast zijn ook heel wat stellingen gevonden die
verband houden met andere vormen van convergentie dan convergentie in probabiliteit of convergentie in distributie. Die stellingen vallen evenwel buiten het kader van deze inleidende
cursus.
Hoofdstuk 8
Schatten, schatters en
betrouwbaarheidsintervallen
8.1 Statistische inferentie
De benaming ‘statistiek’ is afkomstig van het Latijnse woord ‘status’ dat toestand of stand
(van zaken) betekent. Toen in de loop van de 18de eeuw de statistiek zich als een wetenschappelijke discipline begon te ontpoppen, werd de term ‘statistiek’ geassocieerd met het
verzamelen van feitelijke gegevens over de toestand van een land (staat).
Vandaag heeft de term ‘statistiek’ in de betekenis van wetenschappelijke discipline of
vakgebied terzelfdertijd een ruimere maar ook een preciesere inhoud verworven. Meer in het
bijzonder kan men stellen dat de statistiek is onder te verdelen in drie deelgebieden:
• het vergaren op basis van (aselecte) steekproeven van statistische gegevens, namelijk
gegevens over individuele componenten, geselecteerd uit een aggregaat of verzameling
van een groot aantal gelijksoortige componenten, meestal de populatie genoemd;
• het statistisch onderzoek van de bekomen gegevens, dat tot doel heeft uit de gegevens
regelmatigheden of wetmatigheden in de populatie af te leiden;
• de ontwikkeling van statistische controle- en beslissingsmethoden.
De statistische analyse van data is heden ten dage uitgegroeid tot een fundamenteel instrument, niet alleen in wetenschappelijk en industrieel-technologisch onderzoek, maar ook
op alle terreinen van het maatschappelijk en economisch leven, waar beleidsbeslissingen door
empirisch vooronderzoek ondersteund worden.
Met statistische inferentie wordt aangegeven dat op basis van een steekproef uitspraken
worden gedaan over een populatie en over de mate van vertrouwen die men aan die conclusies
mag hechten. De populatie is over het algemeen slechts in formele zin gegeven in termen van
een kansverdeling met enkele onbekende parameters. Het zijn deze parameters die men graag
zou kennen, maar om uiteenlopende redenen niet kent. Een steekproef verschaft informatie
over de parameters, door het geven van een schatting, het toetsen van een hypothese over een
parameter, e.d. Zo is er de verwachtingswaarde van de populatie, meestal onbekend, en als
schatting daarvan het steekproefgemiddelde. Evenzo is de steekproefvariantie een schatting
van de populatievariantie, enzovoorts.
190
Schatten, schatters en betrouwbaarheidsintervallen
Een categorie van methoden die de statistiek hanteert om informatie te verkrijgen, wordt
gevormd door de schattingsmethoden. Een onbekende parameter van een populatie (of verdeling) wordt geschat door een uit de steekproef berekende grootheid, de schatting. Het
voorschrift dat bepaalt hoe de schatting uit de steekproef moet worden berekend, wordt schatter
genoemd.
Voorbeeld 8.1 Een vreemde munt ziet er niet bepaald symmetrisch uit, zodat de kans p op
kop vermoedelijk niet 1/2 zal zijn. Daarom gooit men 10 keer de munt. Stel dat men in deze
steekproef 3 keer kop vindt. We zouden dan de onbekende parameter p (de populatiefractie)
kunnen schatten door de steekproeffractie 3/10.
2
Dit voorbeeld verduidelijkt ook het fundamenteel onderscheid tussen probabiliteitstheorie
en mathematische statistiek. In de probabiliteitstheorie is een typische vraag: “Wat is de kans
dat in n = 10 gooien van een onvervalst muntstuk 3 of minder keer kop wordt gegooid?” In de
statistiek is een typische vraag: “Indien in n = 10 gooien van een muntstuk 3 keer kop werd
bekomen, wat kan worden gezegd over de kans om met dit muntstuk kop te gooien?”
Om de eerste vraag te beantwoorden voert men een probabilistisch model in, nl. dat de
uitkomst van een gooi kan opgevat worden als een toevalsveranderlijke die Bernoulli-verdeeld
is met parameter p = 1/2, dit laatste omdat het een onvervalst muntstuk betreft. Als elke gooi
onafhankelijk gebeurt, dan is het aantal keren ‘kop’ op n = 10 gooien te modelleren door een
binomiaal verdeelde toevalsveranderlijke met parameters n = 10 en p = 1/2. Hieruit kan de
gevraagde kans gemakkelijk berekend worden.
Om op de tweede vraag een antwoord te formuleren voert men eerst een statistisch model
in, nl. dat de uitkomst van een gooi kan opgevat worden als een toevalsveranderlijke die
Bernoulli-verdeeld is met parameter p = θ en dat het aantal keren kop in n = 10 gooien
binomiaal verdeeld is met parameters n = 10 en p = θ. De waarde θ van de parameter p is niet
bekend en kan niet eenduidig uit de meting gehaald worden. Op basis van het statistisch model
kan bijvoorbeeld wel een interval aangegeven worden waarbinnen θ met een voorafgegeven
kans een waarde aanneemt.
In dit hoofdstuk worden een aantal methoden besproken om uit steekproeven informatie
te halen aangaande één of meer onbekende parameters. Men noemt dit algemeen parameterschatten. Men kan daarbij drie types van resultaten voor ogen hebben:
• het schatten van de verdeling van de onbekende parameter θ.
• het schatten van één waarde voor θ; men spreekt dan van een puntschatting.
• het schatten van een interval voor θ; men spreekt dan van een intervalschatting.
8.2
A priori en a posteriori verdeling van een parameter
Veronderstel dat men van een onbekende parameter θ toch over voldoende informatie beschikt
(bijvoorbeeld uit vroegere experimenten, uit ervaring, enz.) om een kansverdeling van de parameter voorop te stellen. Men noemt dit de a priori verdeling van de onbekende parameter θ. De Bayesiaanse statistiek is een methode om aan de hand van een steekproef een
nauwkeuriger schatting van die kansverdeling te maken. De kansverdeling bekomen door de
a priori verdeling te ‘verbeteren’ aan de hand van de informatie die uit de steekproef gehaald
8.2 A priori en a posteriori verdeling van een parameter
191
wordt, noemt men de a posteriori verdeling. Het schema van de Bayesiaanse statistiek ziet er
als volgt uit.
Definitie 8.2 Zij θ een onbekende parameter. Vertrekkend van een a priori verdeling ξ(θ)
van θ, wordt in de Bayesiaanse statistiek uit een rij waarnemingen x1 , x2 , . . . , xn met gezamenlijke kansmassafunctie pX1 ,...,Xn |Θ (x1 , . . . , xn |θ) of gezamenlijke kansdichtheidsfunctie
fX1 ,...,Xn |Θ (x1 , . . . , xn |θ), een a posteriori verdeling ξ(θ|x1 , . . . , xn ) gegenereerd.
De X1 , . . . , Xn vormen een aselecte steekproef: ze zijn conditioneel onafhankelijk en identiek verdeeld, gegeven θ.
Voorbeeld 8.3 In een experiment wordt een munt gegooid. Men weet dat de munt óf zuiver is,
óf aan beide kanten ‘kop’ heeft. De parameter θ geeft de kans op ‘kop’ weer. Als men meent
te weten dat de a priori kans dat de munt zuiver is, gelijk is aan p, dan is de a priori verdeling
van θ
(
p,
als θ = 1/2 ,
ξ(θ) =
1 − p , als θ = 1 .
2
Voorbeeld 8.4 De fractie defecte goederen in een grote partij goederen is θ. Als verder niets
over die parameter bekend is, dan kan men als a priori verdeling van die parameter de uniforme
verdeling op het interval [0, 1] kiezen, d.i.
(
1 , als 0 < θ < 1 ,
ξ(θ) =
0 , voor de overige θ .
2
Voorbeeld 8.5 In een experiment wordt de levensduur van TL-buizen bijgehouden. Men weet
dat de levensduur T van een TL-buis een exponentiële verdeling heeft met parameter θ, d.i.
( −θt
θe , als t ≥ 0 ,
fT |Θ (t|θ) =
0,
voor de overige t .
De parameter θ is niet bekend, maar men weet (op basis van eerdere experimenten bijvoorbeeld) dat θ een gamma-verdeling heeft met verwachting 0.0002 en standaardafwijking 0.0001.
De parameter θ heeft dan een gamma-verdeling met parameters (zie Sectie 4.8.2)
β=
dus
E[Θ]
= 0.0002/(0.0001)2 = 20 000 ,
var(Θ)
α = βE[Θ] = 20 000 · 0.0002 = 4 ,

4
 20 000) θ3 e−20 000 θ , als θ > 0 ,
3!
ξ(θ) =

0,
voor de overige θ .
2
192
Schatten, schatters en betrouwbaarheidsintervallen
Definitie 8.6 De a posteriori verdeling van θ is de conditionele verdeling van θ, gegeven
de waargenomen data uit de steekproef.
Om de a posteriori verdeling van θ te berekenen, gaat men als volgt te werk. Er wordt
aangenomen dat de steekproef uit een continu verdeelde populatie afkomstig is. Voor discrete
steekproefveranderlijken, dient men kansdichtheden systematisch door kansmassa’s te vervangen.
Eigenschap 8.7 berekening van de a posteriori verdeling
De berekening van ξ(θ|x) loopt als volgt:
1. Bepaal de a priori kansverdeling ξ(θ) van θ.
2. Neem een aselecte steekproef X1 , X2 , . . . , Xn uit een populatie met conditionele
verdeling fX|Θ (x|θ), gegeven θ.
3. De gezamenlijke kansdichtheidsfunctie van X1 , X2 , . . . , Xn , gegeven θ, is
fn (x1 , . . . , xn |θ) = fX|Θ (x1 |θ) · · · fX|Θ (xn |θ) .
4. X1 , . . . , Xn en Θ hebben de gezamenlijke kansdichtheidsfunctie
h(x1 , . . . , xn , θ) = fn (x1 , . . . , xn |θ) ξ(θ) .
5. Bepaal de marginale gezamenlijke verdeling van X1 , . . . , Xn , d.i.
Z ∞
Z ∞
fn (x1 , . . . , xn |θ) ξ(θ) dθ .
h(x1 , . . . , xn , θ) dθ =
gn (x1 , . . . , xn ) =
−∞
−∞
6. De conditionele kansdichtheid van Θ, gegeven X1 = x1 , . . . , Xn = xn , is
ξ(θ|x1 , . . . , xn ) =
h(x1 , . . . , xn , θ)
fn (x1 , . . . , xn |θ) ξ(θ)
=
.
gn (x1 , . . . , xn )
gn (x1 , . . . , xn )
Merk op dat de uitdrukking gn (x1 , . . . , xn ) in Stap 6 onafhankelijk is van θ en dient om
ξ(θ|x1 , . . . , xn ) te normeren tot een echte kansdichtheidsfunctie. Men kan daarom ook schrijven dat
ξ(θ|x1 , . . . , xn ) ∝ fn (x1 , . . . , xn |θ) ξ(θ) ,
met ∝ het symbool dat een evenredigheid voorstelt. De juiste normering wordt dan bekomen
door de normaliseringsvoorwaarde
Z ∞
ξ(θ|x1 , . . . , xn ) dθ = 1
−∞
op te leggen.
Voorbeeld 8.8 Een fabrikant produceert elektronische componenten, waarvan een fractie θ
defect is. Men neemt de a priori verdeling van Θ uniform op [0, 1], d.i.
(
1 , als 0 ≤ θ ≤ 1 ,
ξ(θ) =
0 , voor de overige θ .
8.2 A priori en a posteriori verdeling van een parameter
193
Men neemt een aselecte steekproef van omvang n en stelt Xi = 1 als item i defect is, en
0 anders. De Xi zijn conditioneel onafhankelijk, gegeven θ. Bovendien hebben ze elk een
Bernoulli-verdeling met parameter θ. De kansmassa voor elke Xi is
( x
θ (1 − θ)1−x , als x ∈ {0, 1} ,
pX|Θ (x|θ) =
0,
voor de overige x .
Definieert men y =
Pn
i=1 xi ,
dan is
pn (x, . . . , xn |θ) =
n
Y
i=1
θxi (1 − θ)1−xi = θy (1 − θ)n−y .
Dit levert
ξ(θ|x1 , . . . , xn ) ∝ pn (x1 , . . . , xn |θ) ξ(θ) = θy (1 − θ)n−y .
Hieruit volgt (zie Sectie 4.8.3) dat ξ(θ|x1 , . . . , xn ) een beta-verdeling is en met inachtname
van de normalisering, komt er
ξ(θ|x1 , . . . , xn ) =
Γ(n + 2)
θy (1 − θ)n−y .
Γ(y + 1)Γ(n − y + 1)
2
Voorbeeld 8.9 Herneem de gegevens uit Voorbeeld 8.5. In een aselecte steekproef van n TLbuizen bepaalt men de levensduur van elke buis. De kansdichtheidsfunctie voor de levensduur
T van één TL-buis, gegeven θ, is
( −θt
θe , als t ≥ 0 ,
fT |Θ (t|θ) =
0,
voor de overige t .
Definieer y = t1 + · · · + tn , dan is de gezamenlijke kansdichtheid voor de steekproef
fn (t1 , . . . , tn |θ) =
n Y
i=1
θe−θti = θn e−θy .
Met de a priori kansdichtheid ξ(θ) uit Voorbeeld 8.5 volgt dan
ξ(θ|t1 , . . . , tn ) ∝ fn (t1 , . . . , tn |θ) ξ(θ) ∝ θn+3 e−(y+20000)θ .
De a priori verdeling was een gamma-verdeling met parameters α = 4 en β = 20 000. Ook de
a posteriori verdeling blijkt een gamma-verdeling (zie Sectie 4.8.2) met parameters α = n + 4
en β = y + 20 000, waarbij y = t1 + · · · + tn , d.i.
ξ(θ|t1 , . . . , tn ) =
(y + 20 000)n+4 n+3 −(y+20000)θ
θ
e
.
(n + 3)!
De a posteriori verdeling kan gebruikt worden om een uitspraak te doen over de uitkomst
van een volgende steekproef. Veronderstel dat men van 5 TL-buizen de volgende levensduren
194
Schatten, schatters en betrouwbaarheidsintervallen
heeft geteld: 2911, 3403, 3237, 3509 en 3118 uur. De a posteriori verdeling van θ, gegeven de
steekproefwaarden t1 , . . . , t5 is nu (met y = 2911 + 3403 + 3237 + 3509 + 3118 = 16178)
ξ(θ|t1 , . . . , t5 ) = 2.633 × 1036 × θ8 e−36178 θ ,
en de conditionele verdeling van T6 (de levensduur van de zesde TL-buis), gegeven de eerste
vijf levensduren, krijgt men uit
Z ∞
9.555 × 1041
fT |Θ (t6 |θ) ξ(θ|t1 , . . . , t5 ) dθ =
f (t6 |t1 , . . . , t5 ) =
.
(t6 + 36178)10
0
Er geldt bijvoorbeeld
P(T6 > 3000|t1 , . . . , t5 ) =
Z
∞
3000
f (t6 |t1 , . . . , t5 ) dt6 = 0.4882 .
2
8.3 Geconjungeerde verdelingen
In sommige gevallen levert de keuze van een bepaalde a priori verdeling een a posteriori verdeling van hetzelfde type op. Zo’n type noemt men dan geconjungeeerde verdelingen.
Voorbeeld 8.10 steekproef uit een Bernoulli-verdeling Herneem Voorbeeld 8.8 waarbij
van de elektronische componenten nu wordt aangenomen dat de a priori verdeling van θ een
Beta(α, β) verdeling is, d.i.
ξ(θ) =
Γ(α + β) α−1
θ
(1 − θ)β−1 ,
Γ(α)Γ(β)
0 < θ < 1.
Neem een aselecte steekproef X1 , . . . , Xn van n componenten uit de Bernoulli-verdeling met
parameter θ. Definieer opnieuw y = x1 + · · · + xn en de gezamenlijke kansmassafunctie van
X1 , . . . , Xn , gegeven θ, is nu
pn (x1 , . . . , xn |θ) ∝ θy (1 − θ)n−y .
Hieruit volgt dat de a posteriori verdeling van θ, gegeven de waarnemingen x1 , . . . , xn , evenredig
is met
pn (x1 , . . . , xn |θ) ξ(θ) ∝ θα+y−1 (1 − θ)β+n−y−1 .
Hieruit volgt dat θ, gegeven de waarnemingen x1 , . . . , xn , een Beta(α′ , β ′ )-verdeling heeft met
α′ = α + y en β ′ = β + n − y.
2
Hiermee is de volgende eigenschap aangetoond.
Eigenschap 8.11 Zij X1 , . . . , Xn , een aselecte steekproef uit een Bernoulli-verdeling met
een onbekende parameter θ (0 < θ < 1). Neem aan dat de a priori verdeling van θ een
beta-verdeling is met parameters α en β. Dan is de a posteriori verdeling van θ, gegeven de
steekproefresultaten x1 , . . . , xn , een beta-verdeling met parameters
α′ = α +
n
X
i=1
xi
en
β′ = β + n −
n
X
xi .
i=1
Men zegt dat de beta-verdelingen een geconjungeerde familie van verdelingen is voor een
steekproef uit een Bernoulli-verdeling.
8.3 Geconjungeerde verdelingen
195
Voorbeeld 8.12 steekproef uit een Poisson-verdeling Neem een aselecte steekproef uit een
Poisson-verdeling met verwachtingswaarde θ, d.i.
pX|Θ (x|θ) =
e−θ θx
,
x!
x = 0, 1, 2, . . . .
Veronderstel voorts dat de parameter θ a priori een gamma-verdeling heeft met parameters α
en β, d.i.
1
ξ(θ) =
β α θα−1 e−βθ ,
θ > 0.
Γ(α)
De gezamenlijke kansmassafunctie voor een steekproefuitslag x1 , . . . , xn , is met y = x1 +
· · · + xn gegeven door
pn (x1 , . . . , xn |θ) ∝ e−nθ θy .
De a posteriori verdeling is dus evenredig met
ξ(θ|x1 , . . . , xn ) ∝ θα+y−1 e−(n+β)θ ,
en hieruit volgt dat θ, gegeven de steekproefuistlag, een gamma-verdeling heeft met parameters
α′ = α + y en β ′ = β + n.
2
Eigenschap 8.13 De gamma-verdelingen zijn een geconjungeerde familie van verdelingen
voor een steekproef X1 , . . . , Xn uit een Poisson-verdeling met onbekende parameter θ. Is θ
a priori gamma-verdeeld met parameters α en β, dan is de a posteriori verdeling van θ een
gamma-verdeling met parameters
′
α =α+
n
X
xi
β′ = β + n .
en
i=1
Voorbeeld 8.14 steekproef uit een normale verdeling Men neemt een aselecte steekproef
uit een normale verdeling, waarvan de variantie bekend maar de verwachtingswaarde θ een
onbekende parameter is. Neem aan dat de a priori verdeling van θ een normale verdeling is
met verwachtingswaarde µ en variantie v 2 , d.i.
ξ(θ) ∝ e−(θ−µ)
2 /2v 2
.
De gezamenlijke kansdichtheidsfunctie voor de steekproef is
#
"
n
1 X
(xi − θ)2 .
fn (x1 , . . . , xn |θ) ∝ exp − 2
2σ
i=1
Met behulp van
n
X
i=1
2
2
(xi − θ) = n(θ − x̄n ) +
kan deze dichtheid herschreven worden als
n
X
i=1
(xi − x̄n )2 ,
i
h
n
fn (x1 , . . . , xn |θ) ∝ exp − 2 (θ − x̄n )2 .
2σ
196
Schatten, schatters en betrouwbaarheidsintervallen
De combinatie met de a priori verdeling van θ levert de volgende a posteriori verdeling van θ,
gegeven de steekproefuitslag:
1
1 n
2
2
(θ − x̄n ) + 2 (θ − µ)
.
ξ(θ|x1 , . . . , xn ) ∝ exp −
2 σ2
v
Dit kan worden herschreven als
"
1
ξ(θ|x1 , . . . , xn ) ∝ exp −
2
met
µ′ =
σ 2 µ + nv 2 x̄n
,
σ 2 + nv 2
en
2 #
θ − µ′
v′
(v ′ )2 =
,
σ2v2
.
+ nv 2
σ2
De a posteriori verdeling van θ, gegeven de steekproefuitslag, is N (µ′ , v ′ 2 )-verdeeld.
2
Eigenschap 8.15 De normale verdelingen zijn een geconjungeerde familie van verdelingen voor een steekproef X1 , . . . , Xn uit een normale verdeling met onbekende verwachtingswaarde θ en bekende variantie σ 2 . Is de a priori verdeling van θ normaal met verwachting µ en variantie v 2 , dan is de a posteriori verdeling van θ een normale verdeling met
parameters
σ 2 µ + nv 2 x̄n
σ2v2
′ 2
µ′ =
,
(v
)
=
.
σ 2 + nv 2
σ 2 + nv 2
Merk op dat de verwachting µ′ van de a posteriori verdeling ook te schrijven is als
µ′ =
σ2
σ2
nv 2
×µ+ 2
× x̄n ,
2
+ nv
σ + nv 2
d.i. als een gewogen som van de oorspronkelijke verwachting µ en het steekproefgemiddelde
x̄n .
Men kan ook de omvang van de steekproef bepalen waarvoor de variantie van de a posteriori verdeling een vooraf bepaalde grens haalt. Neem bijvoorbeeld aan dat v 2 = 4 (horend bij
de a priori normale verdeling van de parameter θ) en neem aan dat σ 2 = 1. De variantie van
de a posteriori verdeling is dan
4
,
(v ′ )2 =
4n + 1
waaruit bijvoorbeeld kan berekend worden dat (v ′ )2 ≤ 0.01 als en slechts als n ≥ 99.75.
Voorbeeld 8.16 steekproef uit een exponentiële verdeling Men neemt een aselecte steekproef
uit een exponentiële verdeling met onbekende parameter θ. Neem aan dat de a priori verdeling
van θ een gamma-verdeling is met parameters α en β, d.i.
ξ(θ) ∝ θα−1 e−βθ ,
θ > 0.
Voor een steekproefuitslag x1 , . . . , xn definieert men weer y = x1 +· · ·+xn . De gezamenlijke
kansdichtheidsfunctie van de steekproef, gegeven θ, is
fn (x1 , . . . , xn |θ) ∝ θn e−θy ,
8.4 Bayes schatters
197
en de a posteriori verdeling van θ wordt dan:
ξ(θ|x1 , . . . , xn ) ∝ θα+n−1 e−(β+y)θ .
Hieruit volgt dat θ, gegeven de steekproefuitslag, een gamma-verdeling heeft met parameters
α′ = α + n en β ′ = β + y.
2
Eigenschap 8.17 De gamma-verdelingen zijn een geconjungeerde familie van verdelingen
voor een steekproef X1 , . . . , Xn uit een exponentiële verdeling met onbekende parameter θ.
Is θ a priori gamma-verdeeld met parameters α en β, dan is de a posteriori verdeling van θ
een gamma-verdeling met parameters
α′ = α + n ,
en
β′ = β +
n
X
xi .
i=1
8.4
Bayes schatters
Meestal is men niet zozeer geı̈nteresseerd in de a posteriori verdeling van een parameter θ,
maar in een schatting van de parameter. Hoe bepaalt men echter wat een goede schatting van
een parameter is?
Een aselecte steekproef is een rij toevalsveranderlijken X1 , . . . , Xn , en een schatting van
een parameter θ zal altijd gebeuren aan de hand van een functie van de steekproef, d.i. aan de
hand van een statistiek van de steekproef.
Definitie 8.18 Een schatter (estimator) van een parameter θ, gebaseerd op een aselecte
steekproef X1 , . . . , Xn , is een reëelwaardige functie δ(X1 , . . . , Xn ).
Een schatting (estimation) is de waarde van de schatter voor een gegeven realisatie
x1 , . . . , xn , van de steekproef, d.i. δ(x1 , . . . , xn ).
Het is de bedoeling dat een schatter een goede schatting van een parameter θ levert, d.w.z.
een schatting die dicht ligt bij de werkelijke waarde van de parameter. Een schatter is een
toevalsveranderlijke en men wil de functie δ zo kiezen, dat de fout δ(X1 , . . . , Xn ) − θ met
grote kans in de buurt van 0 ligt.
Definitie 8.19 Een verliesfunctie (loss function) is een functie L(θ, a), die een maat is voor
de strafboete of de kosten of verlies als a de schatting voor de parameter is.
Zou men geen waarnemingen kunnen doen, en de a priori verdeling van de parameter is
ξ(θ), dan is het verwachte verlies bij schatting a:
Z ∞
E[L(θ, a)] =
L(θ′ , a) ξ(θ′ ) dθ′ .
−∞
Als men wel waarnemingen x1 , . . . , xn doet, dan gebruikt men de a posteriori verdeling
Z ∞
L(θ′ , a) ξ(θ′ |x1 , . . . , xn ) dθ′ .
E[L(θ, a)|x1 , . . . , xn ] =
−∞
Voor elke mogelijke realisatie van de steekproef zou men het getal a kunnen berekenen dat
E[L(θ, a)|x1 , . . . , xn ] minimaliseert. De waarde van a is een functie van de steekproefwaarden. Die functie wordt genoteerd als δ ∗ (x1 , . . . , xn ).
198
Schatten, schatters en betrouwbaarheidsintervallen
Definitie 8.20 Bayes schatter
Een functie δ ∗ (x1 , . . . , xn ) die voor elke mogelijke realisatie x1 , . . . , xn , de uitdrukking
E[L(θ, a)|x1 , . . . , xn ]
minimaliseert, heet een Bayes schatter voor θ, d.i.
E[L(θ, δ ∗ (x1 , . . . , xn ))|a] = min E[L(θ, a)|x1 , . . . , xn ] .
a
De Bayes schatter hangt in het algemeen af van de gekozen verliesfunctie L en de a priori
verdeling ξ(θ).
Veelal kiest men voor L een kwadratische functie en in het bijzonder
L(θ, a) = (θ − a)2 .
Voor deze verliesfunctie heeft de Bayes schatter een eenvoudige vorm. Het bewijs wordt hier
achterwege gelaten.
Eigenschap 8.21 Wanneer een kwadratische verliesfunctie wordt gebruikt, dan is de Bayes
schatter δ ∗ voor θ de verwachtingswaarde van θ in de a posteriori verdeling ξ(θ|x1 , . . . , xn )
van θ, d.i.
δ ∗ (X1 , . . . , Xn ) = E[θ|X1 , . . . , Xn ] ,
d.i. voor alle x1 , . . . , xn geldt dat
∗
δ (x1 , . . . , xn ) = E[θ|x1 , . . . , xn ] =
Z
∞
θ ξ(θ|x1 , . . . , xn ) dθ .
−∞
Voorbeeld 8.22 Herneem Voorbeeld 8.10. Daarin is aangetoond dat bij een aselecte steekproef
uit een Bernoulli-verdeling de a posteriori verdeling van de parameter θ, gegeven de waarneming x1 , . . . , xn , en y = x1 + · · · + xn , een beta-verdeling heeft met parameters α′ = α + y
en β ′ = β + n − y. Dit levert
P
α + ni=1 xi
α′
α+y
E[θ|x1 , . . . , xn ] = ′
=
=
.
α + β′
α+β+n
α+β+n
Hieruit volgt dat de Bayes schatter δ ∗ gegeven is door
δ ∗ (X1 , . . . , Xn ) =
P
α + ni=1 Xi
.
α+β+n
2
Voorbeeld 8.23 Herneem Voorbeeld 8.14 waarin een aselecte steekproef werd bekeken uit
een normale verdeling met onbekende verwachting θ en bekende variantie σ 2 , en waarbij de a
priori verdeling van θ een N (µ, v 2 )-verdeling had. De a posteriori verdeling van θ, gegeven de
waarnemingen x1 , . . . , xn , is een normale verdeling met verwachting
µ′ =
σ 2 µ + nv 2 x̄n
.
σ 2 + nv 2
8.5 Meest aannemelijke schatter
199
Hieruit volgt dat de Bayes schatter δ ∗ gegeven is door
δ ∗ (X1 , . . . , Xn ) =
σ 2 µ + nv 2 X̄n
.
σ 2 + nv 2
2
8.5 Meest aannemelijke schatter
Er bestaat de mogelijkheid om een parameter te schatten, als er geen a priori verdeling voor
die parameter beschikbaar is. In dat geval is ξ(θ) dus onbekend, maar kent men wel de
gezamenlijke kansdichtheidsfunctie fn (x1 , . . . , xn |θ) (of de gezamenlijke kansmassafunctie
pn (x1 , . . . , xn |θ)).
Definitie 8.24 De gezamenlijke kansdichtheidsfunctie fn (x1 , . . . , xn |θ) is voor elke waarde
van de parameter θ een functie van de n veranderlijken x1 , . . . , xn . Zijn x1 , . . . , xn gegeven
en vat men fn op als een functie van θ, dan wordt fn de aannemelijkheidsfunctie (likelihood
function) genoemd.
Men kan een schatting van θ maken, gebaseerd op de overweging dat de meest aannemelijke schatting voor θ die waarde is, die aan de gevonden waarnemingen x1 , . . . , xn in
het discrete geval de grootste kans, en in het continue geval de grootste kansdichtheid, toekent.
Definitie 8.25 Zij x1 , . . . , xn een realisatie van een aselecte steekproef met aannemelijkheidsfunctie fn (x1 , . . . , xn |θ). Een waarde van θ̂ = δ(x1 , . . . , xn ) waarvoor
fn (x1 , . . . , xn |θ̂) = max fn (x1 , . . . , xn |θ) ,
θ
heet een meest aannemelijke schatting van θ, gegeven x1 , . . . , xn . Als θ̂ voor iedere realisatie x1 , . . . , xn eenduidig bepaald is, dan wordt δ(X1 , . . . , Xn ) de meest aannemelijke
schatter (maximum likelihood estimator) van θ genoemd.
Voorbeeld 8.26 Een discrete toevalsveranderlijke heeft een Bernoulli-verdeling met parameter
θ waarvan geweten is dat óf θ = 0.1, óf θ = 0.6. Men doet een enkele aselecte steekproef en
de uitkomst is x. De aannemelijkheidsfunctie van x is
f (x|θ) = θx (1 − θ)1−x .
Voor de mogelijke uitkomst x = 0 geldt nu
0.9 , als θ = 0.1 ,
f (0|θ) =
0.4 , als θ = 0.6 ,
dus voor x = 0 is θ̂ = 0.1. Als x = 1 wordt waargenomen, dan is
0.1 , als θ = 0.1 ,
f (1|θ) =
0.6 , als θ = 0.6 ,
en het maximum wordt waargenomen voor θ̂ = 0.6. De meest aannemelijke schatter is dus
0.1 , als X = 0 ,
θ̂ =
0.6 , als X = 1 .
2
200
Schatten, schatters en betrouwbaarheidsintervallen
Voorbeeld 8.27 parameter van een Bernoulli-verdeling Een toevalsveranderlijke is Bernoulliverdeeld met onbekende parameter θ (0 ≤ θ ≤ 1). Men neemt een aselecte steekproef
X1 , . . . , Xn , en de waargenomen waarden zijn x1 , . . . , xn . De aannemelijkheidsfunctie is
fn (x1 , . . . , xn |θ) =
n
Y
i=1
θxi (1 − θ)1−xi .
Om θ̂ te bepalen, neemt men de waarde van θ die de logaritme van fn d.i.
!
!
n
n
X
X
xi ln(θ) + n −
ln(fn (x1 , . . . , xn |θ)) =
xi ln(1 − θ) ,
i=1
i=1
maximaliseert.
De extrema van deze functie van θ worden gevonden door de afgeleide ervan naar θ gelijk
aan 0 te stellen en de bekomen vergelijking naar θ op te lossen. Men bekomt
!
!
n
n
X
X
1
1
xi
+ n−
= 0,
xi
θ
1−θ
i=1
i=1
waaruit
n
1X
xi = x̄n .
θ̂ =
n
i=1
De meest aannemelijke schatter voor θ is dus
θ̂(X1 , . . . , Xn ) = X̄n ,
d.i. het steekproefgemiddelde.
2
Voorbeeld 8.28 verwachting van een normale verdeling Men neemt een aselecte steekproef
X1 , . . . , Xn , uit een normale verdeling met een onbekende verwachting θ en een bekende
variantie σ 2 . Voor steekproefwaarnemingen x1 , . . . , xn , is de aannemelijkheidsfunctie
"
#
n
n
Y
X
1
1
1
2
2
√
exp − 2
fn (x1 , . . . , xn |θ) =
(xi − θ)2 .
e(xi −θ) /2σ =
2σ
(2πσ 2 )n/2
2πσ
i=1
i=1
Men ziet dat fn (x1 , . . . , xn |θ) maximaal is (als functie van θ) als
n
X
(xi − θ)2
i=1
minimaal is. Door de afgeleide naar θ gelijk aan 0 te stellen, bekomt men θ̂ = x̄n . De meest
aannemelijke schatter voor θ is dus
θ̂(X1 , . . . , Xn ) = X̄n ,
d.i. opnieuw het steekproefgemiddelde.
2
8.5 Meest aannemelijke schatter
201
Voorbeeld 8.29 verwachting en variantie van een normale verdeling Neem opnieuw een
aselecte steekproef X1 , . . . , Xn uit een normale verdeling met een onbekende verwachting µ
en onbekende variantie σ 2 . Noem voor het gemak s = σ 2 . De onbekende parameter is nu
θ = (µ, s). Voor steekproefwaarnemingen x1 , . . . , xn is de aannemelijkheidsfunctie
#
"
n
1
1 X
2
fn (x1 , . . . , xn |θ) =
(xi − θ) .
exp −
2s
(2πs)n/2
i=1
Ook hier is het gemakkelijker om ln(fn (x1 , . . . , xn |µ, s)) te maximaliseren:
n
n
1 X
n
(xi − µ)2 .
L(µ, s) = ln(fn (x1 , . . . , xn |θ)) = − ln(2π) − ln(s) −
2
2
2s
i=1
Hou s vast en stel de afgeleide van L naar µ gelijk aan 0. Hieruit blijkt dat bij vaste s, L
maximaal is voor
µ̂(s) = x̄n ,
en de waarde µ̂ die L maximaliseert is bovendien onafhankelijk van s. Men maximaliseert
vervolgens L(µ̂, s) op de gebruikelijke wijze door de afgeleide naar s gelijk aan 0 te stellen en
de bekomen vergelijking naar s op te lossen:
n
n
n
1 X
L(µ̂, s) = − ln(2π) − ln(s) −
(xi − x̄n )2
2
2
2s
i=1
leidt tot
n
n1
1 X
dL(µ̂, s)
=−
+
(xi − x̄n )2 = 0
ds
2 s 2s2
i=1
en levert
n
ŝ =
1X
(xi − x̄n )2 .
n
i=1
De meest aannemelijke schatter voor θ is dus
n
θ̂(X1 , . . . , Xn ) = (µ̂, ŝ) =
1X
(Xi − X̄n )2
X̄n ,
n
i=1
!
n−1 2
Sn .
= X̄n ,
n
De meest aannemelijke schatter voor de verwachting is het steekproefgemiddelde, de meest
aannemelijke schatter voor de variantie is, op de factor (n − 1)/n na, de steekproefvariantie
Sn2 .
2
Voorbeeld 8.30 parameter van een uniforme verdeling ZijX1 , . . . , Xn een aselecte steekproef
uit een uniforme verdeling op het interval [0, θ] met onbekende parameter θ. De kansdichtheidsfunctie is

 1 , als 0 ≤ x ≤ θ ,
f (x|θ) = θ

0 , voor de overige x .
202
Schatten, schatters en betrouwbaarheidsintervallen
De aannemelijkheidsfunctie voor een steekproefresultaat x1 , . . . , xn , is dan

 1 , als θ ≥ max(x , . . . , x ) ,
1
n
fn (x1 , . . . , xn |θ) = θn

0 , voor de overige θ .
De waarde van fn (x1 , . . . , xn |θ) is maximaal voor θ = max(x1 , . . . , xn ), dus de meest aannemelijke schatter voor θ is
θ̂ = max(X1 , . . . , Xn ) .
2
Tot hiertoe werden twee types van puntschatters besproken: De Bayes schatter δ ∗ die gebruikt wordt als een a priori verdeling van de parameter gegeven is, de meest aannemelijke
schatter als geen a priori verdeling gegeven is. Beide types van schatters hebben de consistentieeigenschap.
Eigenschap 8.31 consistentie van puntschatters
De Bayes schatter δ ∗ en de meest aannemelijke schatter θ̂ van een parameter θ convergeren
in kans naar de parameter θ als de steekproefomvang naar ∞ gaat.
Voorbeeld 8.32 Beschouw de meest aannemelijke schatter θ̂ van de onbekende parameter θ
van een Bernoulli-verdeling. Uit Voorbeeld 8.27 is bekend dat θ̂ = X̄n . De parameter θ is
ook de verwachtingswaarde van de Bernoulli-verdeling. Wegens de zwakke wet van de grote
p
aantallen convergeert het steekproefgemiddelde in kans naar de verwachting, d.i. X̄n → θ, dus
convergeert de meest aannemelijke schatter θ̂ in kans naar θ. Beschouw vervolgens de Bayes
schatter δ ∗ (X1 , . . . , Xn ) van θ als de a priori verdeling een beta-verdeling met parameters α
en β is:
α + nX̄n
.
δ ∗ (X1 , . . . , Xn ) =
α+β+n
Nadert n naar ∞, dan nadert de Bayes schatter naar X̄n , die op zijn beurt in kans naar θ nadert.
Bijgevolg nadert ook de Bayes schatter in kans naar θ.
2
De meest aannemelijke schatter van een parameter bezit daarenboven de invariantie-eigenschap.
Eigenschap 8.33 invariantie van de meest aannemelijke schatter
Als θ̂ de meest aannemelijke schatter is voor een parameter θ, dan is voor om het even welke
reëelwaardige functie g : R → R, g(θ̂) de meest aannemelijke schatter voor g(θ).
√
Voorbeeld 8.34 Bij een normale verdeling is σ̂ 2 de meest aannemelijke schatter voor de
standaardafwijking σ, en µ̂2 + σ̂ 2 is de meest aannemelijke schatter voor E[X 2 ].
2
8.6 De momentenmethode
De momentenmethode is een door Karl Pearson ontwikkelde alternatieve methode voor het
vinden van schatters.
8.6 De momentenmethode
203
Definitie 8.35 Is X1 , . . . , Xn een aselecte steekproef uit een verdeling met onbekende parameters θ = (θ1 , . . . , θr ), dan worden met de momentenmethode schatters voor deze parameters bekomen door het stelsel
µk = mk
k = 1, 2, . . . , s ,
op te lossen naar de onbekende parameters, op voorwaarde dat alle optredende momenten
µk bestaan. Hierbij is s ≥ r het minimum aantal vergelijkingen nodig om een eenduidige
oplossing voor de schattingen van θ1 , . . . , θr te bekomen.
Bij de momentenmethode legt men dus de gelijkheid op tussen momenten van de onderliggende verdeling en de corresponderende steekproefmomenten.
Voorbeeld 8.36 Zij X1 , . . . , Xn een aselecte steekproef uit een normale verdeling N (µ, σ 2 )
met onbekende µ en onbekende σ 2 . Men wenst schatters voor deze parameters te construeren
op basis van de momentenmethode. In dit geval is r = 2 en bouwt men het stelsel
µ1 = m1 ,
µ2 = m2 ,
op. Dus is

n

1X


Xi ,

 E[X] = µ = n
i=1
n

1X 2

2
2
2
2

Xi .

 E[X ] = var(X) + (E[X]) = σ + µ = n
i=1
2
σ̂M
σ2,
Hieruit volgt dat de schatters µ̂M en
van µ en
bekomen met de momentenmethode,
gegeven zijn door

µ̂M = X̄n ,



n
n
1X
n−1 2
1X 2
2
2

X
−
X̄
=
(Xi − X̄n )2 =
Sn .
σ̂
=

i
n
 M
n
n
n
i=1
i=1
Merk op dat dit precies dezelfde schatters zijn als de meest aannemelijke schatters (zie Voorbeeld 8.29).
2
Niet zelden vindt men met de momentenmethode de meest aannemelijke schatters terug.
Het volgende voorbeeld illustreert dat dit nochtans niet algemeen het geval is.
Voorbeeld 8.37 Herneem Voorbeeld 8.30 waarin van een uniforme verdeling op het interval
[0, θ] de onbekende parameter θ werd geschat op basis van een aselecte steekproef X1 , . . . , Xn .
De meest aannemelijke schatter van θ is θ̂ = max(X1 , . . . , Xn ). Toepassing van de momentenmethode levert de vergelijking
µ1 = E[X] = m1 = X̄n ,
en aangezien voor de uniforme verdeling op [0, θ] geldt dat E[X] = θ/2, bekomt men bijgevolg met de momentenmethode de schatter
θ̂M = 2X̄n .
2
204
Schatten, schatters en betrouwbaarheidsintervallen
8.7 De kwaliteit van schatters
Een schatter van een parameter θ, gebaseerd op een aselecte steekproef X1 , . . . , Xn , is een
reëelwaardige functie δ(X, . . . , Xn ). Het is dus eigenlijk niet moeilijk een schatter te vinden
of te maken, want elke functie δ voldoet. Men wil echter niet zo maar een schatter, men wil
een ‘goede’ schatter. Een goede schatter voor een parameter θ is een schatter die, voor elke
realisatie van de steekproef, een schatting oplevert die ‘dicht’ bij θ ligt. Om dit te meten wordt
het begrip van kwadratische fout geı̈ntroduceerd. Hiertoe moet echter eerst de notatie ietwat
verfijnd worden.
Definitie 8.38 Neem aan dat de toevalsveranderlijken X1 , . . . , Xn een aselecte steekproef
vormen uit een verdeling met kansdichtheidsfunctie (of kansmassafunctie) f (x|θ) met een
onbekende parameter θ. Voor elke toevalsveranderlijke Z = g(X1 , . . . , Xn ) gebruikt men
de notatie Eθ [Z] om aan te geven dat de verwachting is berekend met behulp van de kansdichtheid (of kansmassa) f (x|θ).
Als men de gezamenlijke kansdichtheid (kansmassa) van X1 , . . . , Xn aanduidt met
fn (x1 , . . . , xn |θ), dan is dus
Z ∞
Z ∞
g(x1 , . . . , xn )fn (x1 , . . . , xn |θ) dx1 · · · dxn .
···
Eθ [Z] = Eθ [g(X1 , . . . , Xn )] =
−∞
−∞
Intuı̈tief lijkt een schatter goed te zijn als zijn verwachte waarde gelijk is aan de gezochte
parameterwaarde. Zo’n schatter wordt zuiver genoemd.
Definitie 8.39 Een schatter δ wordt zuiver (unbiased) genoemd voor θ als
Eθ (δ) = θ .
De uitdrukking
bias(δ) = Eθ [δ] − θ ,
wordt de onzuiverheid (bias) van δ genoemd.
In Sectie 8.4 is het begrip verliesfunctie gedefinieerd om als maat voor de geschiktheid
van een schatter te dienen. De verliesfunctie L(θ, a) is de strafboete als de schatting voor de
parameter θ gelijk is aan a. Voor L wordt meestal een kwadratische functie genomen.
Een schatter is een reëelwaardige functie van de steekproef X1 , . . . , Xn , en dus is
δ(X1 , . . . , Xn ) zelf een toevalsveranderlijke. Dit houdt in dat het zinvol is om te kijken naar
het verwachte verlies bij gebruik van de schatter δ, d.i.
Z ∞
Z ∞
L(θ, δ(x1 , . . . , xn ))fn (x1 , . . . , xn |θ) dx1 · · · dxn .
···
Eθ [L(θ, δ(X1 , . . . , Xn ))] =
−∞
−∞
Kiest men L(θ, a) = (θ − a)2 , dan wordt deze uitdrukking de gemiddelde kwadratische fout
genoemd.
Definitie 8.40 De gemiddelde kwadratische fout (mean square error) MSE van een schatter δ van een onbekende parameter θ, op basis van een aselecte steekproef X1 , . . . , Xn , is
gedefinieerd door
MSE(δ) = Eθ [(δ(X1 , . . . , Xn ) − θ)2 ] .
Men kan de MSE(δ) uitdrukken in bias(δ) en var(δ).
8.7 De kwaliteit van schatters
205
Eigenschap 8.41 Er geldt voor de gemiddelde kwadratische fout MSE(δ) van een schatter δ
dat
MSE(δ) = var(δ(X1 , . . . , Xn )) + bias(δ) .
In het bijzonder, als δ een zuivere schatter is, dan is
MSE(δ) = var(δ(X1 , . . . , Xn )) .
Bewijs
Voor de eenvoud worden bij het uitrekenen van verwachtingen en varianties nu systematisch de steekproefveranderlijken X1 , . . . , Xn weggelaten. Rechtstreekse berekening levert
dan
MSE(δ) = Eθ [(δ − θ)2 ] = Eθ [(δ − Eθ [δ] + Eθ [δ] − θ)2 ]
= Eθ [(δ − Eθ [δ])2 ] + Eθ [(Eθ [δ] − θ)2 ] + 2Eθ [(δ − Eθ [δ])(Eθ [δ] − θ)]
= var(δ) + (Eθ [δ] − θ)2 + 2(Eθ [δ] − θ)Eθ [(δ − Eθ [δ])] = var(δ) + [bias(δ)]2 .
Als de schatter δ zuiver is voor θ, dan is bias(δ) = 0 en volgt hieruit dat
MSE(δ) = var(δ) .
2
Het lijkt aantrekkelijk om een zuivere schatter te verkiezen, omdat dan de term bias(δ) in
MSE(δ) wegvalt. Het is echter heel goed mogelijk dat juist de variantie van δ groter wordt.
Dus zullen er toch steeds twee termen tegenover elkaar moeten afgewogen worden.
Voorbeeld 8.42 schatten van de verwachting Zij X1 , . . . , Xn een aselecte steekproef uit
dezelfde verdeling met E[Xi ] = µ en var(Xi ) = σ 2 . Het steekproefgemiddelde X̄n is een
zuivere schatter voor µ, immers E[X̄n ] = µ. De MSE is gelijk aan var(X̄n ) = σ 2 /n.
d
• Als Xi = N (µ, σ 2 ), dan is E[X̄n ] = µ en MSE(X̄n ) = σ 2 /n.
• Als Xi Bernoulli-verdeeld is met parameter p, dan is E[Xi ] = p en var(Xi ) = p(1−p).
Hieruit volgt E[X̄n ] = p en MSE(X̄n ) = p(1 − p)/n.
• Als Xi exponentieel verdeeld is met parameter λ, dan is E[Xi ] = 1/λ en var(Xi ) =
1/λ2 . Er volgt nu E[X̄n ] = 1/λ en MSE(X̄n ) = 1/λ2 n.
2
Voorbeeld 8.43 schatten van de variantie Neem X1 , . . . , Xn , een aselecte steekproef uit een
verdeling met verwachting E[Xi ] = µ en variantie var(Xi ) = σ 2 . Wanneer µ bekend is, kan
men σ 2 schatten m.b.v.
n
1 X
2
σ̂0 =
(Xi − µ)2 .
n
i=1
σ2.
Deze schatter is zuiver voor
Wanneer µ niet bekend is, kan men µ vervangen door een
schatter, bijvoorbeeld X̄n . De schatter wordt nu
σ̂12
n
1 X
(Xi − X̄n )2 .
=
n
i=1
206
Schatten, schatters en betrouwbaarheidsintervallen
Eigenschap 6.50 leert dat de verwachting van de steekproefvariantie Sn2 gelijk is aan de variantie σ 2 . Bijgevolg is σ̂12 geen zuivere schatter voor σ 2 , maar anderzijds is
n
σ̂22 =
n
1 X
σ̂12 = Sn2 =
(Xi − X̄n )2 ,
n−1
n−1
i=1
wel een zuivere schatter voor σ 2 .
Merk ook op dat σ̂22 wel een zuivere schatter is voor σ 2 , maar dat σ̂2 geen zuivere schatter is
voor σ. Immers, men weet dat var(σ̂2 ) = E[σ̂22 ] − (E[σ̂2 ])2 > 0. Hieruit volgt dat (E[σ̂2 ])2 <
E[σ̂22 ] = σ 2 , en dit impliceert E[σ̂2 ] 6= σ.
2
Voorbeeld 8.44 schatten van een uniforme verdeling Neem aan dat X1 , . . . , Xn , een aselecte steekproef is uit een uniforme verdeling op het interval [0, θ], waarbij θ een onbekende te
schatten parameter is. In Voorbeeld 8.30 is aangetoond dat de meest aannemelijke schatter θ̂1
gelijk is aan
θ̂1 = max(X1 , . . . , Xn ) .
Hieruit volgt al onmiddellijk dat θ̂1 ≤ θ, wat doet vermoeden dat θ̂1 altijd te laag zal schatten en dus geen zuivere schatter kan zijn. Dit is inderdaad gemakkelijk te bewijzen. Men
bepaalt hiertoe eerst de cumulatieve kansverdelingsfunctie Fθ̂1 en dan de kansdichtheid fθ̂1 .
Uit Eigenschap 6.57 volgt dat
Fθ̂1 (t) = [FX (t)]n .
Hieruit vindt men
Fθ̂1 (t) =
tn
,
θn
fθ̂1 (t) =
d
n tn−1
Fθ̂1 (t) =
.
dt
θn
en
0 ≤ t ≤ θ,
Rechtstreekse berekening levert nu
Z
Z θ
t fθ̂1 (t) dt =
E[θ̂1 ] =
0
en
E[θ̂12 ]
waaruit volgt
=
Z
0
θ
2
t fθ̂1 (t) dt =
Z
θ
t
0
θ
nθ
ntn−1
dt =
,
n
θ
n+1
t2
0
var(θ̂1 ) = E[θ̂12 ] − (E[θ̂1 ])2 =
ntn−1
n θ2
dt
=
,
θn
n+2
nθ2
,
(n + 2)(n + 1)2
bias(θ̂1 ) = E[θ̂1 ] − θ = −
MSE(θ̂1 ) = var(θ̂1 ) + (bias(θ̂1 ))2 =
θ
,
n+1
2θ2
.
(n + 2)(n + 1)
Men kan de onzuiverheid van θ̂1 corrigeren in een nieuwe schatter θ̂2 :
θ̂2 =
n+1
θ̂1 .
n
8.8 Betrouwbaarheidsintervallen
207
Voor deze schatter geldt E[θ̂2 ] = θ en dus bias(θ̂2 ) = 0, zodat ook
MSE(θ̂2 ) = var(θ̂2 ) =
θ2
(n + 1)2
var(
θ̂
)
=
.
1
n2
n(n + 2)
Met de momentenmethode werd in Voorbeeld 8.37 nog een andere zuivere schatter gevonden,
namelijk
θ̂3 = 2X̄n .
Voor deze schatter geldt
MSE(θ̂3 ) = var(θ̂3 ) = 4var(X̄n ) =
4var(Xi )
4 θ2
θ2
=
=
.
n
n 12
3n
Van de drie genoemde schatters kan men nu de MSE vergelijken:
MSE(θ̂2 ) =
θ2
θ2
≤
= MSE(θ̂3 ) ,
n(n + 2)
3n
met gelijkheid alleen voor n = 1. Ook geldt
MSE(θ̂1 ) =
2θ2
θ2
≤
= MSE(θ̂3 ) ,
(n + 2)(n + 1)
3n
met gelijkheid alleen voor n = 1 en n = 2. De kleinste MSE krijgt men met de onzuivere
schatter
n+2
θ̂4 =
θ̂1 ,
n+1
want
θ2
.
MSE(θ̂4 ) =
(n + 1)2
2
8.8 Betrouwbaarheidsintervallen
Tot hiertoe zijn drie soorten schatters beschouwd:
• A posteriori schatter: resultaat van de schatting is een verdeling van de onbekende parameter, gegeven het resultaat van de steekproef.
• Bayes schatters: resultaat van de schatting van een onbekende parameter is een verwachte
waarde van die parameter.
• Meest aannemelijke schatters: resultaat van de schatting is één (aannemelijke) waarde
van de onbekende parameter.
Alle Bayes en meest aannemelijke schatters zijn puntschatters, en ook de voorbeelden van
zuivere (en onzuivere) schatters uit vorige secties vallen in die categorie.
Men kan echter ook een schatter maken die per schatting een interval levert waarin met
gegeven graad van betrouwbaarheid γ de juiste waarde van de onbekende parameter θ ligt.
Zo’n interval noemt men een betrouwbaarheidsinterval en de schatter een intervalschatter.
208
Schatten, schatters en betrouwbaarheidsintervallen
De lengte van het betrouwbaarheidsinterval levert een indicatie hoe nauwkeurig een parameter
kan geschat worden.
De betrouwbaarheid γ wordt als volgt geı̈nterpreteerd: voor een gegeven waarde van θ is γ
de kans dat een steekproef een interval oplevert dat θ bevat. Men kijkt dus naar alle mogelijke
steekproeven en analyseert de verdelingen van de schattingen.
Merk op dat een betrouwbaarheid van 95% voor een interval niet betekent dat de juiste
waarde θ met kans 95% in het interval ligt, maar dat de methode om het interval te schatten
voor 95% van de mogelijke steekproeven een interval oplevert, dat θ bevat.
In probabilistische taal levert dit idee het volgende concept op.
Definitie 8.45 Zij X een toevalsveranderlijke met dichtheidsfunctie fX (x|θ) en cumulatieve
verdelingsfunctie FX (x|θ) die van een onbekende parameter θ afhangen. Men noemt het
koppel toevalsveranderlijken (T1 , T2 ) een intervalschatter van betrouwbaarheid γ voor θ
als voor elke mogelijke waarde van de parameter θ geldt dat
P(T1 ≤ θ ≤ T2 ) = γ .
Een realisatie van een intervalschatter op een concrete steekproef x1 , . . . , xn , heet een betrouwbaarheidsinterval van betrouwbaarheid γ voor θ. Omdat de waarde van θ van twee
zijden wordt afgebakend, wordt het koppel (T1 , T2 ) ook een tweezijdige intervalschatter
genoemd.
Als men in de praktijk een betrouwbaarheidsinterval voor de verwachtingswaarde van X
schat, zal het interval bijna altijd symmetrisch rond het steekproefgemiddelde x̄n liggen. Dit
is geen noodzakelijke voorwaarde maar wel heel gebruikelijk. Men kan overigens aantonen
dat voor een normaal verdeelde toevalsveranderlijke X het symmetrische interval rond x̄ de
kleinste lengte van alle intervallen met betrouwbaarheid γ heeft.
Soms is het interessant om alleen maar een boven- of benedengrens voor een parameter te
schatten. Dit levert éénzijdige intervalschatters.
Definitie 8.46 Men noemt een toevalsveranderlijke T1 een rechtséénzijdige intervalschatter als voor elke mogelijke waarde van de onbekende parameter θ geldt dat
P(T1 ≤ θ) = γ ,
en men noemt een toevalsveranderlijke T2 een linkséénzijdige intervalschatter als voor elke
mogelijke waarde van de onbekende parameter θ geldt dat
P(θ ≤ T2 ) = γ .
8.9 Betrouwbaarheidsintervallen bij gegeven variantie
Als belangrijk voorbeeld wordt gekeken naar een intervalschatter die voor een normaal verdeelde
toevalsveranderlijke X met bekende variantie σ 2 een betrouwbaarheidsinterval voor de verwachtingswaarde µ van X geeft.
Hetzelfde principe werkt bij benadering voor de verwachtingswaarde van niet normaal
verdeelde toevalsveranderlijken, in het bijzonder voor de verwachte kans op succes bij een
binomiale verdeling. De centrale limietstelling zegt immers dat de som van onafhankelijke
toevalsveranderlijken benaderd wordt door een normale verdeling. Hieruit volgt dat de vorm
8.9 Betrouwbaarheidsintervallen bij gegeven variantie
209
van de toevalsveranderlijke geen grote rol speelt als de steekproefomvang n niet te klein is.
Maar er zijn wel andere problemen waardoor de verdeling van schattingen van de normale
verdeling afwijkt. Deze hebben vooral te maken met de veronderstelling dat men een aselecte
steekproef heeft genomen. Dit is in de praktijk vaak lastig omdat mensen bijvoorbeeld een
enquête weigeren, maar dit niet representatief over de populatie gebeurt. Ook is het vaak niet
realistisch dat de verschillende steekproefelementen onafhankelijk van elkaar genomen worden. Het is de kunst deze factoren zo veel mogelijk te onderdrukken of de resultaten navenant
te corrigeren.
8.9.1
Betrouwbaarheidsinterval voor de verwachtingswaarde
d
Stel dat men een normaal verdeelde toevalsveranderlijke X = N (µ, σ 2 ) heeft, dan is bekend
dat het steekproefgemiddelde X̄n een zuivere schatter is voor µ. Omdat X normaal verdeeld
is, geldt dit ook voor X̄n en weet men dat var(X̄n ) = σ 2 /n. Hieruit volgt dat de gestandaardiseerde toevalsveranderlijke
√
X̄n − µ
n(X̄n − µ)
√ =
Z=
,
σ
σ/ n
standaardnormaal verdeeld is.
Als X een niet-normaal verdeelde toevalsveranderlijke met verwachtingswaarde µ en variantie σ 2 is, geldt voor X̄n nog steeds dat E[X̄n ] = µ en var(X̄n ) = σ 2 /n, maar X̄n is niet
meer normaal verdeeld. Uit de centrale limietstelling volgt echter dat voor een niet te kleine
n de verdeling van X̄n sterk op een normale verdeling lijkt en hierdoor goed benaderd kan
worden.
d
Definitie 8.47 Voor een toevalsveranderlijke Z = N (0, 1) met standaardnormale verdeling
is de z-waarde zα van niveau (level) α = 1 − γ, gedefinieerd door
P(Z > zα ) = α .
Het niveau α = 1 − γ wordt ook wel de onbetrouwbaarheid genoemd.
Voor een betrouwbaarheid van 95% is dus α = 0.05 en geeft zα de waarde aan, waarvoor
slechts 5% van de waarden van Z boven zα liggen en de waarden van Z dus met betrouwbaarheid 95% hoogstens zα zijn.
Omdat de normale verdeling symmetrisch rond 0 is, geldt P(Z < −zα ) = α en dus
P(|Z| > zα ) = 2α. Hieruit volgt in het bijzonder dat
P(−z α2 ≤ Z ≤ z α2 ) = 1 − α = γ .
De waarden van de standaardnormale verdeling liggen dus met kans γ = 1−α tussen −zα/2 en
zα/2 . In Figuur 8.1 is dit voor γ = 0.9 aangeduid. Het witte stuk onder de grafiek bevat 90%
van de totale oppervlakte onder de kromme, de resterende 10% liggen in de grijze staarten,
dus telkens 5% in de linker- en rechterstaart. De z-waarde z0.05 is dus juist het punt waar de
rechterstaart begint.
Past men de relatie P(−zα/2 ≤ Z ≤ zα/2 ) = γ toe op de standaardnormaal verdeelde
√
toevalsveranderlijke Z = (X̄n − µ) n/σ, dan krijgt men voor de betrouwbaarheid γ en onbetrouwbaarheid α = 1 − γ:
210
Schatten, schatters en betrouwbaarheidsintervallen
6
−2
−1
0
1
2
x
z0.05
Figuur 8.1: Standaardnormale verdeling met betrouwbaarheidsinterval voor γ = 0.9.
P −z ≤ Z ≤ z
α
2
α
2
√
(X̄n − µ) n
α
α
≤ z2 = γ
= γ ⇔ P −z 2 ≤
σ
σ
σ
=γ
⇔ P −z α2 √ ≤ X̄n − µ ≤ z α2 √
n
n
σ
σ
⇔ P µ − z α2 √ ≤ X̄n ≤ µ + z α2 √
=γ
n
n
σ
σ
α
α
√
√
≤ µ ≤ X̄n + z 2
⇔ P X̄n − z 2
=γ.
n
n
Er volgt hieruit dat het steekproefgemiddelde met kans γ niet meer dan z α2
waarde µ afwijkt.
√σ
n
van de juiste
Eigenschap 8.48 Xij X normaal verdeeld met onbekende verwachting µ en bekende variantie σ 2 . De tweezijdige intervalschatter van betrouwbaarheid γ voor µ is (T1 , T2 ) met
σ
T1 = X̄n − z α2 √ ,
n
σ
T2 = X̄n + z α2 √ ,
n
en z α2 de z-waarde van niveau α/2. Het betrouwbaarheidstinterval is een realisatie van de
intervalschatter voor een concrete steekproef, d.i.
σ
σ
α
α
.
x̄n − z 2 √ , x̄n − z 2 √
n
n
Omdat
σ
σ
σ
σ
P µ − z α2 √ ≤ X̄n ≤ µ + z α2 √
= P X̄n − z α2 √ ≤ µ ≤ X̄n + z α2 √
,
n
n
n
n
is het betrouwbaarheidsinterval precies het interval van de waarden van µ waarvoor x̄n binnen het symmetrische interval rond µ met kansmassa γ valt. Merk op dat de lengte van het
betrouwbaarheidsinterval alleen maar van de gekozen betrouwbaarheid γ, de omvang van de
steekproef en de variantie van de toevalsveranderlijke X afhangt.
Voor éénzijdige betrouwbaarheidsintervallen kan men op dezelfde manier als bij de tweezijdige intervallen argumenteren. Voor een rechtséénzijdig interval met betrouwbaarheid γ en
8.9 Betrouwbaarheidsintervallen bij gegeven variantie
211
α = 1 − γ krijgt men
√
(X̄n − µ) n
σ
P (Z ≤ zα ) = γ ⇔ P
≤ zα = γ ⇔ P X̄n − µ ≤ zα √
=γ
σ
n
σ
σ
⇔ P X̄n ≤ µ + zα √
= γ ⇔ P X̄n − zα √ ≤ µ = γ .
n
n
Analoog bekomt men voor een linkséénzijdig interval
σ
=γ.
P µ ≤ X̄n + zα √
n
Eigenschap 8.49 Xij X normaal verdeeld met onbekende verwachting µ en bekende variantie σ 2 . De rechtséénzijdige intervalschatter van betrouwbaarheid γ voor µ is (T1 , ∞) met
σ
T1 = X̄n − zα √ ,
n
en de linkséénzijdige intervalschatter van betrouwbaarheid γ voor µ is (−∞, T2 ) met
σ
T2 = X̄n + zα √ .
n
Het rechtséénzijdig betrouwbaarheidstinterval is
σ
√
,∞ ,
x̄n − zα
n
en het linkséénzijdig betrouwbaarheidstinterval
σ
√
.
−∞ , x̄n + zα
n
Typische waarden voor de betrouwbaarheid γ zijn 90%, 95% en 99%. Tabel 8.1 geeft de
zα - en z α2 -waarden voor een paar gebruikelijke betrouwbaarheden.
γ
0.80
0.90
0.95
0.98
0.99
0.999
α
0.20
0.10
0.05
0.02
0.01
0.001
zα
0.8416
1.2816
1.6449
2.0537
2.3263
3.0902
α
2
0.10
0.05
0.025
0.01
0.005
0.0005
z α2
1.2816
1.6449
1.9600
2.3263
2.5758
3.2905
Tabel 8.1: Kritieke waarden voor de standaardnormale verdeling.
212
Schatten, schatters en betrouwbaarheidsintervallen
De betrouwbaarheidsintervallen worden dus door drie parameters beschreven:
1. De omvang n van de steekproef.
2. De gewenste betrouwbaarheid γ.
3. De lengte van het betrouwbaarheidsinterval.
Men kan het betrouwbaarheidsinterval alleen maar kleiner maken door of de steekproef te vergroten of een lager niveau van betrouwbaarheid te kiezen. Bij een gegeven omvang van de
steekproef zijn dus de lengte van het betrouwbaarheidsinterval en de betrouwbaarheid parameters die elkaar tegenstrijdig beı̈nvloeden.
Bij het opzetten van een experiment (bijvoorbeeld een enquête) heeft men vaak andere
voorwaarden. Voor een gegeven niveau van betrouwbaarheid γ is er een maximale lengte 2l
van het betrouwbaarheidsinterval dat als aanvaardbaar beschouwd wordt. Hierdoor wordt de
noodzakelijke omvang van de steekproef bepaald, namelijk door:
σ 2
σ2
σ
z α2 √ ≤ l ⇔ n ≥ z α2
= z 2α 2 .
2 l
l
n
8.9.2
Betrouwbaarheidsinterval voor relatieve frequenties
Om de kans p te schatten waarmee een Bernoulli-experiment een succes oplevert, telt men
het aantal Sn van successen bij n pogingen en neemt p̂ = Sn /n als schatter voor p. De toevalsveranderlijke Sn die de verdeling van de aantallen van successen beschrijft, is binomiaal
verdeeld met parameter p en er geldt E[Sn ] = np en var(Sn ) = np(1 − p). Voor de toevalsveranderlijke p̂ die de verdeling van de relatieve aantallen beschrijft, geldt dus E[p̂] = p en
var(p̂) = p(1 − p)/n. Als n niet te klein en p niet te dicht bij 0 of 1, kan men met de normale
benadering van de binomiale verdeling werken, d.i. de gestandaardiseerde toevalsveranderlijke
√
(p̂ − p) n
p̂ − p
=p
,
Z=q
p(1−p)
p(1 − p)
n
is bij benadering standaardnormaal verdeeld. In dat geval kan men de redenering van de normale verdeling toepassen en bekomt men
!
r
r
p(1 − p)
p(1 − p)
=γ.
≤ p ≤ p̂ + z α2
P p̂ − z α2
n
n
Dit geeft het tweezijdig betrouwbaarheidsinterval
"
#
r
r
p(1 − p)
p(1 − p)
p̂ − z α2
, p̂ + z α2
,
n
n
voor de schatting van de parameter p.Het probleem bij de binomiale verdeling is dat
Het probleem bij de binomiale verdeling is, dat de variantie p(1−p)/n en dus ook de lengte
van het betrouwbaarheidsinterval van de gezochte parameter afhangt. In de praktijk wordt dit
meestal opgelost door p gewoon door de schatting p̂ te vervangen.
8.9 Betrouwbaarheidsintervallen bij gegeven variantie
213
Eigenschap 8.50 Zij de relatieve frequentie p̂ = Sn /n van het aantal successen in een rij
van n Bernoulli-experimenten de schatter voor de succeskans p. Dan is
"
#
r
r
p̂(1 − p̂)
p̂(1 − p̂)
p̂ − z α2
, p̂ + z α2
,
n
n
een benadering van het tweezijdig betrouwbaarheidsinterval voor de schatting van p met
betrouwbaarheid γ = 1 − α.
Bij een precieze analyse komt men er achter dat de zuivere grenzen voor het betrouwbaarheidsinterval
r
p̂ +
z 2α
2
2n
± z α2
1+
p̂(1−p̂)
n
z 2α
+
z 2α
2
4n2
,
2
n
zijn, maar voor np̂ ≥ 50 en n(1 − p̄) ≥ 50 kunnen de correctietermen veilig verwaarloosd
worden.
Ook in het geval van de relatieve frequenties kan men de benodigde omvang van de steekproef afschatten om een betrouwbaarheid γ en een maximale lengte 2l voor het betrouwbaarheidsinterval te bereiken. Er geldt dezelfde relatie als bij de normale verdeling, met σ 2
vervangen door p(1 − p), dus
p(1 − p)
.
n ≥ z 2α
2
l2
Merk op dat hierbij ook weer de gezochte relatieve frequentie p nodig is. Omdat men juist wil
bepalen hoe groot de steekproef moet gekozen worden, kan men niet eens de schatting p̂ voor
p invullen, maar kan men natuurlijk wel een gok doen wat voor een waarde van p verwacht
wordt.
Voorbeeld 8.51 Bij een enquête onder 1000 mensen hebben 52% aangegeven voor de Europese grondwet te stemmen. Een betrouwbaarheidsinterval op het niveau 99% geeft een
nauwkeurigheid van
z α2
r
p̂(1 − p̂)
= 2.5758 ·
n
r
0.2496
≈ 0.041 ,
1000
voor de schatting p̂ = 0.52 van de echte proportie van toestemming. Het betrouwbaarheidsinterval is dus [47.9%, 56.1%]
Natuurlijk is de interessante vraag, of de toestemming boven de 50% ligt. Om hierover een
uitspraak met betrouwbaarheid 99% te kunnen doen, moet de lengte van het betrouwbaarheidsinterval tot 4% worden beperkt. De benodigde omvang van de steekproef hiervoor is
n ≥ z 2α
2
0.25
p(1 − p)
= 2.57582 ·
≈ 4147 .
2
l
0.022
Hierbij is voor p de schatting p = 0.5 ingevuld, voor p = 0.52 zou men n ≥ 4140 krijgen, dus
bijna hetzelfde.
2
214
Schatten, schatters en betrouwbaarheidsintervallen
8.10 Betrouwbaarheidsintervallen voor de variantie
Beschouw opnieuw een normaal verdeelde toevalsveranderlijke X, maar ditmaal is verondersteld dat de verwachting µ bekend is en de variantie σ 2 de onbekende parameter is. Zij
X1 , . . . , Xn een aselecte steekproef van omvang n. De toevalsveranderlijke
n
1X
(Xi − µ)2 ,
σ̂ =
n
2
i=1
d
is een schatter voor de onbekende variantie σ 2 . Aangezien Xi = N (µ, σ 2 ) voor alle i, is
d
de gestandaardiseerde veranderlijke Yi = (Xi − µ)/σ standaardnormaal verdeeld, d.i. Yi =
N (0, 1) voor alle i. Gelet op eigenschap 6.29 is de toevalsveranderlijke
n
X
n
Yi ,
Y = 2 σ̂ 2 =
σ
i=1
de som van de kwadraten van n onafhankelijke standaardnormaal verdeelde veranderlijken, en
d
dus χ2n -verdeeld met n vrijheidsgraden, d.i. Y = χ2n . Aangezien de verdeling van Y bekend
is, is deze toevalsveranderlijke uitermate geschikt om een betrouwbaarheidsinterval voor de
variantie aan te geven.
Analoog met de z-waarde voor de standaardnormale verdeling, definieert men de χ2n waarde χ2n,α door
P(Y > χ2n,α ) = α .
Omdat de χ2n -verdeling niet symmetrisch is, kan men niet meer zo gemakkelijk uit χ2n,α een
waarde χ2n,β afleiden zo dat P(Y < χ2n,β ) = P(Y > χ2n,α ) = α is. Maar uit P(Y >
χ2n,1− α ) = 1 − α2 volgt dat tussen χ2n,1− α en χ2n, α de kansmassa (1 − α2 ) − α2 = 1 − α = γ
2
2
2
ligt.
Bij symmetrische verdelingen zoals de normale verdeling zijn de symmetrische betrouwbaarheidsintervallen de intervallen van minimale lengte voor een gegeven betrouwbaarheid.
De χ2n -verdeling is niet symmetrisch, en men kan voor het interval rond Y dat de kansmassa γ
bevat ook een willekeurig interval van de vorm [χ2n,γ+c , χ2n,c ] kiezen. Zo’n interval heeft inderdaad niet voor c = α/2 de minimale lengte, maar de waarde c waarvoor de lengte minimaal
is, ligt in de praktijk meestal zo dicht bij α/2 dat men dit verwaarloost.
Met een analoge redenering als eerder, bekomt men voor de toevalsveranderlijke Y :
P χ2n,1− α ≤ Y ≤ χ2n, α = 1 − α = γ
2
2
n
⇔ P χ2n,1− α ≤ 2 σ̂ 2 ≤ χ2n, α = γ
2
2
σ
σ2
σ2
2
2
2
⇔ P χn,1− α
≤ σ̂ ≤ χn, α
=γ
2 n
2 n
!
nσ̂ 2
nσ̂ 2
2
≤σ ≤ 2
=γ.
⇔P
χ2n, α
χn,1− α
2
2
8.10 Betrouwbaarheidsintervallen voor de variantie
215
Eigenschap 8.52 Xij X normaal verdeeld met verwachting µ en onbekende variantie σ 2 . De
tweezijdige intervalschatter van betrouwbaarheid γ voor σ 2 is
"
#
nσ̂ 2
nσ̂ 2
,
,
χ2n, α χ2n,1− α
2
met σ̂ 2 =
1
n
P
i=1 (Xi
2
− µ)2 de puntschatter voor σ 2 .
Wanneer ook de verwachting van X onbekend is, wordt deze eerst ingeschat door het
steekproefgemiddelde. Wegens Stelling 6.51 is (n − 1)Sn2 /σ 2 met Sn2 de steekproefvariantie,
χ2n−1 verdeeld met n − 1 vrijheidsgraden. Om een tweezijdig betrouwbaarheidsinterval voor
de onbekende σ 2 te vinden, kan men bijgevolg bovenstaande redenering herhalen, waarbij
systematisch de schatter σˆ2 vervangen wordt door de steekproefvariantie Sn2 en het aantal vrijheidsgraden van n herleid wordt tot n − 1.
Eigenschap 8.53 Xij X normaal verdeeld met onbekende verwachting µ en onbekende variantie σ 2 . De tweezijdige intervalschatter van betrouwbaarheid γ voor σ 2 is
"
#
(n − 1)Sn2 (n − 1)Sn2
, 2
,
χ2n−1, α
χn−1,1− α
2
met Sn2 =
1
n−1
P
i=1 (Xi
2
− X̄n )2 de puntschatter voor σ 2 .
In Tabel II zijn voor waarden van n gelegen tussen 1 en 100 en voor verschillende waarden van γ = 1 − α, de waarden van χ2n,α gegeven, d.i. voor een chi-kwadraat verdeelde
toevalsveranderlijke Y met n vrijheidsgraden geldt dat
P(Y ≥ χ2n,α ) = α = 1 − γ ,
of, equivalent daarmee
P(Y ≤ χ2n,α ) = γ .
Bijgevolg is χ2n,α de waarde van het argument y van de cumulatieve verdelingsfunctie FY (y)
waarvoor FY (y) = γ.
216
Schatten, schatters en betrouwbaarheidsintervallen
Tabel II
De chi-kwadraat verdeling: waarden van χ2n,α met γ = 1 − α
n\γ
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
40
50
60
70
80
90
100
0.005
.39 10−4
.0100
.0717
.2070
.4117
.6757
.9893
1.3444
1.7349
2.1559
2.6032
3.0738
3.5650
4.0747
4.6009
5.1422
5.6972
6.2648
6.8440
7.4338
8.0337
8.6427
9.2604
9.8862
10.5197
11.1602
11.8076
12.4613
13.1211
13.7867
20.7065
27.9907
35.5345
43.2752
51.1719
59.1963
67.3276
.01
.16 10−3
.0201
.1148
.2971
.5543
.8721
1.2390
1.6465
2.0879
2.5582
3.0535
3.5706
4.1069
4.6604
5.2293
5.8122
6.4078
7.0149
7.6327
8.2604
8.8972
9.5425
10.1957
10.8564
11.5239
12.1981
12.8785
13.5647
14.2565
14.9535
22.1643
29.7067
37.4849
45.4417
53.5401
61.7539
70.0647
.025
.98 10−3
.0506
.2158
.4844
.8312
1.2373
1.6899
2.1797
2.7004
3.2470
3.8158
4.4038
5.0087
5.6287
6.2621
6.9077
7.5642
8.2308
8.9065
9.5908
10.2829
10.9823
11.6885
12.4011
13.1197
13.8439
14.5734
15.3079
16.0471
16.7908
24.4330
32.3574
40.4817
48.7576
57.1532
65.6466
74.2219
.05
.0039
.1026
.3518
.7107
1.1455
1.6354
2.1674
2.7326
3.3251
3.9403
4.5748
5.2260
5.8919
6.5706
7.2609
7.9616
8.6718
9.3905
10.1170
10.8508
11.5913
12.3380
13.0905
13.8484
14.6114
15.3792
16.1514
16.9279
17.7084
18.4927
26.5093
34.7643
43.1880
51.7393
60.3914
69.1260
77.9295
.10
.0158
.2107
.5844
1.0636
1.6103
2.2041
2.8331
3.4895
4.1682
4.8652
5.5778
6.3038
7.0415
7.7895
8.5468
9.3122
10.0852
10.8649
11.6509
12.4426
13.2396
14.0415
14.8480
15.6587
16.4734
17.2919
18.1139
18.9392
19.7677
20.5992
29.0505
37.6886
46.4589
55.3289
64.2778
73.2911
82.3581
.25
.1015
.5754
1.2125
1.9226
2.6746
3.4546
4.2549
5.0706
5.8988
6.7372
7.5841
8.4384
9.2991
10.1653
11.0365
11.9122
12.7919
13.6753
14.5620
15.4518
16.3444
17.2396
18.1373
19.0373
19.9393
20.8434
21.7494
22.6572
23.5666
24.4776
33.6603
42.9421
52.2938
61.6983
71.1445
80.6247
90.1332
.50
.4549
1.3863
2.3660
3.3567
4.3515
5.3481
6.3458
7.3441
8.3428
9.3418
10.3410
11.3403
12.3398
13.3393
14.3389
15.3385
16.3382
17.3379
18.3377
19.3374
20.3372
21.3372
22.3369
23.3367
24.3366
25.3365
26.3364
27.3362
28.3361
29.3360
39.3353
49.3349
59.3347
69.3345
79.3343
89.3342
99.3341
8.10 Betrouwbaarheidsintervallen voor de variantie
217
Tabel II (vervolg)
De chi-kwadraat verdeling: waarden van χ2n,α met γ = 1 − α
n\γ
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
40
50
60
70
80
90
100
0.75
1.3233
2.7726
4.1083
5.3853
6.6257
7.8408
9.03715
10.2189
11.3888
12.5489
13.7007
14.8454
15.9839
17.1169
18.2451
19.3689
20.4887
21.6049
22.7178
23.8277
24.9348
26.0393
27.1413
28.2411
29.3389
30.4346
31.5284
32.6205
33.7109
34.7997
45.6160
56.3336
66.9815
77.5767
88.1303
98.6499
109.141
.90
2.7055
4.6052
6.2514
7.7794
9.2364
10.6446
12.0170
13.3616
14.6837
15.9872
17.2750
18.5493
19.8119
21.0641
22.3072
23.5418
24.7691
25.9894
27.2036
28.4120
29.6151
30.8133
32.0069
33.1962
34.3816
35.5632
36.7412
37.9159
39.0875
40.2560
51.8051
63.1671
74.3970
85.5270
96.5782
107.565
118.498
.95
3.8415
5.9915
7.8147
9.4877
11.0705
12.5916
14.0671
15.5073
16.9190
18.3070
19.6752
21.0261
22.3620
23.6848
24.9958
26.2962
27.5871
28.8693
30.1435
31.4104
32.6706
33.9244
35.1724
36.4150
37.6525
38.8851
40.1133
41.3371
42.5570
43.7730
55.7585
67.5048
79.0819
90.5313
101.879
113.145
124.342
.975
5.0239
7.3778
9.3484
11.1433
12.8325
14.4494
16.0128
17.5345
19.0228
20.4832
21.9201
23.3367
24.7357
26.1189
27.4884
28.8454
30.1909
31.5264
32.8522
34.1696
35.4789
36.7806
38.0755
39.3641
40.6464
41.9232
43.1945
44.4608
45.7223
46.9792
59.3417
71.4202
83.2977
95.0232
106.629
118.136
129.561
.99
6.6349
9.2103
11.3449
13.2767
15.0863
16.8119
18.4753
20.0902
21.6661
23.2093
24.7250
26.2170
27.6883
29.1412
30.5779
31.9999
33.4087
34.8051
36.1909
37.5662
38.9322
40.2894
41.6384
42.9798
44.3137
45.6416
46.9629
48.2782
49.5881
50.8925
63.6907
76.1539
88.3794
100.425
112.329
124.116
135.807
.995
7.8794
10.5966
12.8382
14.8603
16.7496
18.5476
20.2778
21.9551
23.5894
25.1882
26.7568
28.2995
29.8196
31.3193
32.8013
34.2669
35.7184
37.1561
38.5822
39.9968
41.4008
42.7952
44.1806
45.5578
46.9275
48.2898
49.6449
50.9933
52.3356
53.6718
66.7660
79.4900
91.9519
104.215
116.321
128.300
140.169
.999
10.8276
13.8155
16.2662
18.4668
20.5150
22.4577
24.3219
26.1247
27.8772
29.5908
31.2621
32.9094
34.5282
36.1222
37.6971
39.2520
40.7970
42.3108
43.8201
45.3144
46.7961
48.2662
49.7259
51.1763
52.6182
54.0514
55.4760
56.8918
58.3006
59.7030
73.4023
86.6608
99.6076
112.317
124.839
137.208
149.451