Transcript Introducción a la Inferencia Bayesiana

Los orígenes de la aproximación
bayesiana a la inferencia
estadística
Para Seminario de Hª de la Matemática
Curso XXXVI
14 de enero de 2015
Miguel A. Gómez Villegas
Catedrático de Estadística y Cálculo de Probabilidades
Departamento de Estadística e I.O.
Universidad Complutense
IMI
AHEPE
RESUMEN
• Preliminares: Jacob Bernoulli y Nicolás Bernoulli, Christian
Huygens, Abraham de Moivre
• Aproximación bayesiana
• Aproximación frecuentista
• ¿Qué pasó luego?
• Conclusiones
• Bibliografía
3
 Escribe a Van Schooten un tratado
sobre los juegos de dados y que
dará lugar a De Ratiociniis in
Ludo Aleae (El Cálculo en los
Juegos de Azar) (1660).
 Contiene la sustitución de un
juego de azar por su valor seguro
“La esperanza que se tiene de ganar
en un juego tiene un valor tal que si
se posee ese valor, puede uno
procurarse esa misma ganancia
mediante un juego equitativo”
Christian Huygens
(1629 – 1695)
∞
𝐸 𝑋 =𝑥=
𝑥𝑖 𝑃 𝑋 = 𝑥𝑖
𝑖=1
4
Más Preliminares
Jakob Bernoulli
(1654 – 1705)
Nicolás Bernoulli
(1687 – 1759)
5
• Ars Conjectandi (El Arte de Conjeturar), publicado en
Basilea en 1713.
• Se dan cuenta de que si 𝑋~𝐵𝑒𝑟 𝜃 , entonces
𝑛
1
lim 𝑃
𝑥𝑖 − 𝜃 ≤ 𝜀 ⎸𝜃 = 1
𝑛→∞
𝑛
𝑖=1
y esto llevó a interpretar, mal, que
𝑛
1
𝑥𝑖 ≈ 𝜃
𝑛
𝑖=1
• Harald Cramér. “Es lo mismo que definir un punto como
el límite de una mancha de tiza cuando el área de ésta
se hace pequeña”
6
The Doctrine Chances (La Teoría del Azar) (1718, 1740, 1756)
 Resuelve el problema de los puntos
sobre la interrupción de un juego
 Resuelve los cinco problemas que
Huygens plantea en su libro
 Calcula la probabilidad de los
distintos resultados a los que se
puede llegar lanzando un número
arbitrario de dados y soluciona el
problema de la ruina y el problema
de la ocupación
Abraham De Moivre
(1667 – 1705)
7
 Son problemas de probabilidades directas
 Hasta aquí no hay “inferencia estadística”
8
Aproximación bayesiana
 Nace la inferencia estadística (probabilidades inversas)
con Thomas Bayes (1701? – 1761)
 An Essay Towards Solving a Problem in the Doctrine of
Chances (Un Ensayo Hacia la Resolución de un
Problema en la Doctrina del Azar)
leído ante la Real academia Inglesa en 1763 (póstumo)
9
Thomas Bayes 1701?-1761
• Su padre, Joshua Bayes, fue uno de
los primeros ministros protestantes
ordenados públicamente
• Entre 1719 y 1722 estudia en
Edimburgo
• 1731 escribió el tratado “Divina
benevolencia o un intento de probar
que el fin principal de la Divina
Providencia es la felicidad de sus
criaturas”
10
• 1736, John Noon publica el tratado “Una introducción a la doctrina
de fluxiones y una defensa de los matemáticos frente a las
objeciones del autor del analista”
• 1742, es elegido miembro de la Royal Society
• 1764, Richard Price publica “Una nota sobre la divergencia de la
serie ln(z!)”
• 1764, Richard Price publica “An essay towards solving a problem in
the doctrine of chances”
• 1761, el 21 de abril muere y es enterrado en Dunhill Fields el
cementerio reformista donde están enterrados Richard Price, Daniel
Defoe,...
• Gómez Villegas, M.A., Girón, F.J., Martínez, M.L. y Rios, D. (2001)
“Un Ensayo Encaminado a Resolver un Problema de la Doctrina del
Azar” de Thomas Bayes (Traducción) Revista de la Real Academia
de Ciencias Exactas Físicas y Naturales 95, 1-2, 63-80.
11
• Distribución inicial
p ( ) 

 1 1
(1   )
 2 1
B ( 1 ,  2 )
• Modelo
n
f ( x1 , ..., x n |  )  

1
n
xi
n
(1   )
 xi
1
• Distribución final
n
p ( | x1 , ..., x n )  B eta ( |  1 
 x ,n 
i
1
n
2

x)
i
1
12
Problema:
Dado el número de veces que un suceso ha ocurrido o fallado,
calcular la probabilidad de que la probabilidad de su ocurrencia
en un solo experimento esté entre dos valores de probabilidad
conocidos,
𝑛
𝑃 𝑎 <𝜃 <𝑏|𝑋 =𝑟
𝑋=
𝑥𝑖
𝑖=1
Definición de probabilidad:
La probabilidad de cualquier suceso es
el cociente entre el valor en el que uno
espera dependiendo de la ocurrencia
del suceso cuya probabilidad debe ser
calculada, y el valor de la cosa esperada
una vez que ésta ha ocurrido.
Richard Price
(1723 – 1791)
13
El significado de la definición de probabilidad puede verse en
Gómez-Villegas, M.A. (2001). El ensayo encaminado a resolver
un problema en la doctrina del azar. Revista de la Real Academia
de Ciencias Exactas Físicas y Naturales , 95, 1, 2, 81-85.
14
Opiniones suscitadas por el Ensayo
• Laplace (1812) sus demostraciones son algo complicadas
• Todhunter (1865) el resumen sobre la Teoría de la Probabilidad es
excesivamente obscuro
• Barnard (1958) el trabajo matemático de Bayes es de la más alta
calidad
• K. Pearson (1920) califica el Ensayo como un resultado del siglo XX
• Fisher (1956) las contribuciones matemáticas de Bayes le hacen
merecedor de ser considerado en el primer orden de los
pensadores independientes
15
Contribuciones de Thomas Bayes
 Introducción de las probabilidades inversas
𝑃 𝑎 <𝜃 <𝑏|𝑋 =𝑟
 Distribución inicial Uniforme (0,1)
𝜋 𝜃 = 𝐼 0,1 𝜃
 La expresión continua del teorema de Bayes
𝜋 𝜃 𝑃 𝑋 =𝑟|𝜃
𝜋 𝜃|𝑋 =𝑟 = 1
𝜋 𝜃 𝑃 𝑋 = 𝑟 | 𝜃 𝑑𝜃
0
 Cálculo de la distribución final Beta
𝜋 𝜃 | 𝑋 = 𝑟 = 𝐵𝑒𝑡𝑎 𝜃 | 𝑟 + 1, 𝑛 − 𝑟 + 1
16
Pierre-Simon de Laplace
• 1749-1827
• Nace en Beamount-en-Auge en
la Normandía francesa
• La revolución francesa se
produce en el 1789
• En 1789 escribe “Memoria
sobre la probabilidad de las
causas por los sucesos”
• En 1812, 1814, 1820 escribe
“Teoría Analítica de
Probabilidades”
› donde aparece la versión
discreta del teorema de Bayes
17
𝑃 𝐶𝑖 𝑃{𝐸|𝐶𝑖 }
𝑛
𝑗=1 𝑃 𝐶𝑗 𝑃{𝐸|𝐶𝑗 }
• P{𝐶𝑖 𝐸 =
Si
•
P{𝐶𝑖 } =
P{𝐶𝑖 𝐸 =
1
𝑛
la expresión queda
𝑃{𝐸|𝐶𝑖 }
𝑛
𝑗=1 𝑃{𝐸|𝐶𝑗 }
18
Distribución inicial o a priori
p ( )
Verosimilitud o modelo
f ( x1 ,..., x n |  )
Distribución predictiva
m ( x1 ,..., x n ) 
Distribución final o a posteriori


p ( | x1 , ..., x n ) 
p ( ) f ( x1 ,..., x n |  ) d 
p ( ) f ( x1 , ..., x n |  )
m ( x1 , ..., x n )
• La verosimilitud es común a la aproximación frecuentista
• Las distribuciones iniciales y finales son subjetivas
• La fórmula de Bayes permite incorporar la información
19
La aproximación frecuentista
• Históricamente es posterior
• Sólo trabaja con la verosimilitud o modelo
f ( x1 ,..., x n |  )
• Introduce un estadístico
T ( x1 ,..., xn )
• Trabaja con su distribución en el muestreo
p ( t ( x1 ,..., x n ) |  )
20
En la aproximación bayesiana
Ejemplo:
a) Una persona asegura que distingue una partitura
de Haydin de una de Mozart.
b) Un amigo asegura que predice si sale cara al tirar
una moneda.
c) Una amiga asegura distinguir si el té ha sido
hecho echando primero el agua y luego la leche o al
revés.
En los tres casos se hacen 10 pruebas y aciertan 8 veces
21
¿Qué pasó luego?
E. Borel (1871 – 1956)
R.A. Fisher (1890 – 1962)
J. Neyman (1894 – 1981)
E. S. Pearson (1895 – 1980)
22
• Críticas a la subjetividad
• La dificultad del cálculo de las distribuciones finales
• La influencia de personalidades muy destacadas en el
desarrollo de métodos “objetivos” como K. Pearson,
Wald, Lehman, Wilks, …
23
Pero actualmente se tiene que…
• La aproximación bayesiana es automática y fácil de
aplicar
• Hay problemas que solo tienen solución con la
aproximación bayesiana
• Las aplicaciones frecuentistas han de esperar al “genio”
que las desarrolle
• El teorema de Birnbaum: el principio de verosimilitud es
equivalente a los principios de condicionalidad y
suficiencia
• ¿Me querrán decir los partidarios de la aproximación
frecuentista qué argumento se puede utilizar para negar
el principio de condicionalidad o el de suficiencia?
24
Bibliografía
• Bernardo, J.M. & Smith, A.F.M.(1994) Bayesian Theory.
New York: Wiley.
• Gelman, A., Carlin, J.B., Stern, H.S.& Rubin, D.B.(2004)
Bayesian Data Analysis. London: Chapman & Hall.
• Girón, F.J. and Gómez Villegas, M.A. (1998) R.A. Fisher:
su contribución a la ciencia estadística. Historia de la
Matemática en el Siglo XX. Revista de la Real Academia
de Ciencias Exactas Físicas y Naturales, 43-61.
• Gómez Villegas, M.A. (1994). El problema de la
probabilidad inversa: Bayes y Laplace. Perspectivas
Actuales de Lógica y Filosofía de la Ciencia, (E. Bustos et
al., eds). Madrid: Siglo XXI de España Editores, 385-396.
• Gómez-Villegas, M.A. (2000) R.A.Fisher: el inicio del
análisis multivariante. 100cias@uned, 3, 51-55.
25
• Gómez Villegas, M.A. (2001) El “Ensayo encaminado a
resolver un problema en la doctrina del azar”, Revista de
la Real Academia de Ciencias Exactas Físicas y
Naturales (Esp),95, 1-2, 81-85.
• Gómez-Villegas, M.A. (2001) Thomas Bayes (17011761) en su tricentenario, Boletin de la SEIO, 17, 2, 1517.
• Gómez-Villegas, M.A. (2004) Estadísticos significativos,
271-286. Hª. de la Probabilidad y la Estadística (II) (Por
Santos, J., García, M. eds.) Madrid: Delta Publicaciones.
• Gómez Villegas, M.A. (2005-2011) Inferencia
Estadística, Madrid: Díaz de Santos.
• Gómez Villegas, M.A., Girón, F.J. & Martínez, M.L. &
Rios, D. (2001) Un Ensayo Encaminado a Resolver un
Problema en la Doctrina del Azar (traducción), Revista
de la Real Academia de Ciencias Exactas Físicas y
26
Naturales (Esp),95, 1-2, 63-80.
• Gomez Villegas, M.A. (2009) Karl Pearson, el creador de
la estadística matemática, Historia de la Probabilidad y
la Estadística IV, J. Basalto y J.J. García (Eds)
Congreso Internacional de Historia de la Estadística y la
Probabilidad, 351-356.
• Gómez-Villegas, M.A. (2010) Erich Lehman (19172009). Obituario, Boletín de Estadística e Investigación
Operativa, 26, 2, 183-185.
• Gómez-Villegas, M. A. (2011) Cómo la aproximación
bayesiana pasó a ser frecuentista, Historia de la
Probabilidad y la Estadística [V], J. Riobóo & I. Riobóo,
eds. Santiago de Compostela: Nino-Centro de Impresión
Digital, 225-235.
• Gómez-Villegas, M.A. (2012) Sobre el concepto del pvalor, Historia de la Probabilidad y la Estadística [VI],
J.M.Arribas, A.Alma, Zoín, B.Mañas y A. Vallejo, eds.
26, Madrid:UNED, 351 – 356.
27
• Gómez-Villegas, M.A. (2006) ¿Por qué la inferencia
estadística bayesiana?, Boletín de la Sociedad de
Estadística e Investigación Operativa, 22, 1, 6-8.
• Gómez-Villegas, M.A. (2006) Andrei Markov (18561922). En el 150 aniversario de su nacimiento, Boletín
de la Sociedad de Estadística e Investigación Operativa,
22, 4, 7-8.
• Gómez-Villegas, M.A. (2010) Erich Lehmann (19172009). Obituario, Boletín de la Sociedad de Estadística e
Investigación Operativa, 26, 2, 183-185.
• Gómez-Villegas, M.A. (2014) 2013. Año internacional de
la estadística: una panorámica, Historia de la
Probabilidad y la Estadística [VII], J.Santos y S.de Paz,
eds., Delta: Madrid, 11 - 29.
28
• De Mora, M. (1989) Los Inicios de la Teoría de la
Probabilidad, Siglos XVI y XVII, Erandio: Universidad del
País Vasco.
• Stigler, S.M. (1986) The History of Statistics, the
measurement of Uncertainty before 1900, Cambridge:
Harvard University Press.
29
¡Muchas gracias!
30