Transcript Document 7748059

Bayesian: Multi-Parameter Model
Nur Iriawan, PhD.
Statistika – FMIPA – ITS, SURABAYA
21 Februari 2006
Bahasan yang dicakup
 Multiparameter models
 Normal model dengan mean dan variance tidak
diketahui, dengan prior:
 Non-informative
 Conjugate dan semi-conjugate
 Multinomial model with conjugate Dirichlet prior
 Multivariate Normal model dengan mean dan covariance
tidak diketahui, dengan prior
 Non-informative
 Conjugate
 Bayesian pada Model Regresi
 Bayesian pada Model Mixture
 Gibbs Sampler dan MCMC
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
2
Multiparameter Models: suatu pengantar
 Permasalahan nyata dalam statistika adalah
hampir selalu pasti akan berkecimpung dengan
banyak quantity yang tidak diketahui.
 Tetapi biasanya diantara yang banyak dan tidak
diketahui tersebut akan hanya satu atau
beberapa saja yang ingin dipelajari, baik itu
parameter maupun prediksinya.
 Hal yang lain yang tidak diketahui dinamakan/
dianggap sebagai nuisance parameters
 Anggap terdapat 2 parameter (θ1, θ2)
 Θ1 sebagai parameter yang akan dipelajari
 θ2 sebagai suatu nuisance parameter
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
3
Sebagai contoh pada model Normal
dengan μ and σ2 tidak diketahui
Kita dapat mempunyai tujuan untuk
mempelajari tentang population mean atau
μ, tetapi kita tidak perlu tahu persis
mengenai population variance σ2 .
Sehingga dalam model yang dikembangkan
kita harus memperlakukan σ2 sebagai
parameter yang tidak diketahui.
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
4
 Dalam beberapa kasus seperti ini, tujuan dalam Bayesian
adalah untuk memperoleh distribusi marginal posterior
untuk parameter yang sedang dipelajari. Sebagai contohnya
dapat direpresentasikan sebagai
p(μ|y)
 Tetapi secara umum untuk mengestimate joint posterior
distribution dari semua parameter dalam model yang ingin
dipelajari, maka dilakukan dengan mengintegralkannya
terhadap semua nuisance parameternya.
 Contoh: pada posterior normal mean, dapat diperoleh dari
p(μ, σ2|y)
dan diintegralkan seperti berikut ini
p(μ|y) = ∫p(μ, σ2|y) dσ2
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
5
p(  ,  2 | y )  p( y |  ,  2 ) p(  ,  2 )
Posterior
likelihood
prior
 Joint posterior ini dapat direpresentasikan sebagai
bentuk likelihood * prior
 Sehingga marginal dari μ dapat diperoleh dengan cara
sbb
p(  | y )   p(  |  2 , y) p( 2 | y)d 2
 Tampak bahwa p(μ|y) mempunyai bentuk sebuah
mixture dari conditional posterior distribution yang
diberikan oleh σ2, dimana p(σ2|y) adalah sebagai
fungsi pembobot untuk semua kemungkinan nilai σ2
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
6
Contoh: normal data dengan μ dan σ2 tidak
diketahui
 Diperlukan informasi joint prior untuk kedua parameter
yang tidak diketahui.
 Anggap bahwa disini digunakan bentuk conventional
noninformative prior sebagai berikut
1
p(  ,  )  2

2
Ide ini muncul dari anggapan bahwa μ dan σ2 adalah
saling dan dilakukan perkalian diantara kedua standard
noninformative priors yang digunakan untuk masingmasing.
 Suatu anggapan setiap prior adalah independen
merupakan suatu asumsi yang cukup beralasan
disini; Hal ini juga memberikan pengertian bahwa
jika kita mempunyai informasi yang cukup untuk satu
parameter, bukan berarti kita akan tahu juga bentuk
informasi dan distribusi dari parameter yang lain.
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
7
 Ingat kembali pada kasus standard noninformative
priors untuk μ apabila σ2 dianggap diketahui, dan
juga pada kasus standard noninformative priors σ2
apabila μ dianggap diketahui.
 Dalam hal ini bukan berarti kita
menggunakan suatu bentuk conjugate prior;
we will see that the posterior distribution
does not factor like this into an inverse
gamma times an independent normal.
 Note that this prior is improper, and the joint
posterior is improper if there are fewer than
two observations in the current data.
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
8
Joint posterior distribution dengan
conventional noninformative prior
 Joint posteriornya adalah
p(  ,  | y) 
2
1


2
1
n
2 2
 
 1
exp   2
 2
2
(
y


)

i

i 1

n
 1  n
2
2

exp

(
y

y
)

n
(
y


)

i
n
2 


1
2

i

1



 2  2
1

1
 
2
 1
2
2 

 
exp

vs

n
(
y


)

n
2 
1
 2

2
Dimana s2 adalah sampel variance dan v=n-1.
1 n
2
2
s 
(
y

y
)
 i
n  1 i 1
y dan s2 adalah sufficient statistics untuk μ and σ2.
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
9
Marginal posterior distribution dari μ
 Kita akan menggunakan bentuk identitas
probabilitas bersyarat seperti berikut
p( µ | y )   p(µ,  2 | y) d 2
  p( µ |  2 ,y) p( 2 | y) d 2
 Untuk distribusi posterior σ2 dapat diperoleh
dengan proses integral seperti berikut
p( | y ) 
2
1
 
2
n 1
2
 (n  1) s 2 
exp  

2
2



What parametric density is this?
 2 | y ~ Inv   2 (n  1, s 2 )
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
10
Conditional posterior distribution
dari μ diberikan σ2
Dengan menggunakan hasil posterior
mean apabila variance diketahui dan
uniform prior pada mean diperoleh :
2



2
p( µ |  ,y)  N  y , 
 n 
((Gelman et.al, 1995), (Zellner, 1971), dan (Iriawan, 2003))
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
11
 Marginal posterior distribution untuk μ (σ unknown)
p( µ | y )   p( µ |  2 ,y) p( 2 | y) d 2
0
Dengan menggunakan substitusi
z
A
2 2
dengan A  (n  1) s 2  n(   y ) 2
Diperoleh unnormalized gamma integral sbb
p(  | y)  A
n / 2

( n  2) / 2
z
exp( z )dz

0
 [(n  1) s 2  n(   y ) 2 ] n / 2
 n(   y ) 
 1 
2 
(
n

1)
s


2
What distribution is this?  t-Student,
Nur Iriawan
n / 2
tn 1 ( y ,
Bayesian Modeling, PENS – ITS – 2006
s2
n
)
12
Sehingga
 s 
µ | y ~ tn1  y , 
n

Catatan bahwa
µ y
y ~ tn 1
s/ n
2
Distribusi posterior dari μ tidak
tergantung pada data
y µ
µ ~ tn 1 Distribusi sampling dari y tidak
s/ n
tergantung pada parameter yang
menyertainya
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
13
Posterior predictive distribution
p ( y | y )   p ( y |  ,  2 ) p (  ,  2 | y ) d  d 2
  p( y |  ,  ) p(  |  , y) p( | y)d  d
2
2
2
2
  1 
  N  y , 1    p( 2 | y )d 2
  n 
  1 1/ 2 
 tn1  y , 1   s 
  n 


Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
14
Normal data with conjugate prior
distribution
μ and σ2 are independent in their joint conjugate prior density
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
15
Joint Posterior p(μ,σ2|y)
p (  ,  2 | y )  C1 exp( A)  C2 exp( B)

 n2
2
 N -Inv-   n , ; vn ,  n 
kn

 dengan
2
dimana
C1   1 ( 2 )  ( v0 / 21)
C2  ( 2 ) n / 2
A
1
2
2
[
v


k
(



)
]
0
0
0
0
2
2
1
B   2 [(n  1) s 2  n( y   )2 ]
2
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
16
An informative semi-conjugate joint prior on μ
and σ2 for the normal distribution
 An intuitive procedure for specifying a joint prior
distribution p(μ, σ2|y) if we had prior information on
both is:
 Assume a priori independence
 Place an inverse gamma prior on σ2
 Place a normal prior on μ
 Then the joint prior is the product of these two
priors
 This is called a “semi-conjugate" prior. Why?
 However, it is not a conjugate prior!
 In fact, the marginal posterior distributions p(σ2|y) and
p(μ|y) have no simple conjugate forms.
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
17
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
18
Multinomial Models
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
19
Dirichlet Prior
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
20
Multivariate Normal Models
(Gelman et.al, 1995)
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
21
Multivariate Normal With Known variance
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
22
Posterior conditional distribution of
a sub-vector μ(1) with Σ known
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
23
Posterior predictive distribution for
a new data
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
24
E[ y | y ]  E ( E ( y |  , y ) | y )
 E ( | y)
 n
var( y | y)  E (var( y |  , y) | y)  var( E ( y |  ) | y)
 E ( n | y)  var(  | y)
 n  
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
25
Multivariate Normal with unknown
mean and variance
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
26
Marginal posterior μ dan distribusi
posterior data prediksi
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
27
Apa Kegunaan Metode Markov chain
Monte Carlo (MCMC) ?


Untuk membentuk model yang sangat kompleks, berdemensi
tinggi, atau sifat data yang berkorelasi tinggi (multicolinear)
Sangat khusus digunakan oleh pengguna Bayesian untuk
pemodelan data
WinBUGS adalah merupakan general-purpose packages
program yang menggunakan Gibbs sampling untuk
membentuk Bayesian models.


Membangun suatu Markov Chain yang distribusi stationeritasny
aadalah berupa joint posterior dari semua parameter dan
missing data yang ‘unknowns’ dari suatu model tertentu yang
bersyarat pada data observasi yang diberikan.
Mengolah fakta yang diperoleh, dengan mengacu pada suatu
aturan tertentu, untuk membentuk distribusi joint posterior
dengan mengalikan antara "full conditional distributions" dari
setiap unknown parameter dengan diberikan oleh semua
parameter yang lainnya di dalam model.
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
28
 Membangkitkan sebuah deretan sampel yang menuruti sifat
Markov Chain
 Setiap iterasi akan membangkitkan data sampel sebagai
realisasi dari parameter unknown.
Apa yang harus dimasukkan USER pada program WinBUGS?
 Spesifikasi model yang memuat karakteristik distribusi yang
berkaitan dengan data observasi dan parameter modelnya
 Distribusi suatu data observasi dinyatakan sebagai fungsi dari
parameter-parameter yang menyertainya (likelihood)
 Distribusi prior dari setiap parameter
 auxiliary files yang memuat
 data
 initial values untuk semua parameter unknowns
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
29
WinBUGS output
adalah berupa samples
Yang berkorelasi
Dari suatu ‘quantities’ atau parameter
interest yang digunakan oleh user
WinBUGS untuk me-"monitor"
 parameters
 missing data
 Fungsi dari dua hal di atas
Nur Iriawan
Bayesian Modeling, PENS – ITS – 2006
30