Transcript Estadística espacial y temporal

Estadística espacial y
temporal*
Carlos Reynoso
UNIVERSIDAD DE BUENOS AIRES
http://carlosreynoso.com.ar
* Introducción al curso y desarrollo del Módulo 1
Objetivos
• Proporcionar comprensión básica de las
herramientas estadísticas convencionales del
espacio y el tiempo, y en particular de sus
alcances y limitaciones.
• Concientizar sobre la problematicidad inherente
a herramientas que proporcionan (por
definición) información sesgada y estática,
ligada a supuestos de normalidad,
homogeneidad y monotonía.
• Informar sobre formas alternativas de elaborar
conocimiento y permitir la intervención en
asuntos temporales y espaciales.
Módulo 1 – Estadísticas
convencionales
• Argumentos, conceptos y límites de las estadísticas
convencionales. Problemas fundamentales:
distribuciones normales vs Ley de Potencia.
• Dilemas de la prueba estadística de la hipótesis nula.
Justificación del modelado complejo como alternativa y
complemento del modelado estadístico clásicos.
• Demarcación: ciencias de la complejidad vs
pensamiento complejo.
• Principales algoritmos de la complejidad. Herramientas
de estado de arte y su uso en proyectos de misión
crítica a escala real.
Módulo 2 – Estadísticas
temporales
• Estadísticas de la temporalidad. Dinámica no lineal y
series temporales complejas en ciencias humanas.
Modelos espaciales/temporales en geografía humana.
Modelos de cambio y transiciones de fase. Criticalidad
auto-organizada. Modelado complejo de procesos
temporales: sincronización y control de caos.
Significación y etiología de las medidas de análisis de
recurrencia. Estado del arte y perspectivas. Ejercicios
de análisis y diagnosis de series temporales con análisis
de recurrencia. Ejercicios de dinámica no lineal aplicada
a la hidrodinámica, modelado hidrológico y
problemáticas análogas.
Módulo 3 – Estadísticas de la
espacialidad
• Geoestadística clásica y geoestadística de
la complejidad. Conceptos fundamentales
y programas de cálculo y modelado.
Problemas y alcances del modelado a
escala regional. Ejercicios de
contrastación entre análisis clásicos y
complejos.
Módulo 4 – Estadísticas reticulares
• Estadísticas reticulares de la sociedad, el
espacio y el tiempo. Redes sociales y
redes espaciales. Alcances y limitaciones
de la estadística reticular basada en
presunciones de normalidad. Práctica
razonada en análisis, medición y
estadísticas reticulares.
Agenda de la presentación
• Tipificación de modelos
• Modelos estadísticos en la teoría y en la práctica
• La estadística como herramienta de la retórica
– Falacias, paradojas y técnicas de prevaricación
• Dilemas de la prueba estadística de la hipótesis
nula
• Estadísticas robustas y no paramétricas
• Complejidad estadística como proyecto en
construcción 
Secuencia del desarrollo
estadístico
• Estadísticas convencionales
–
–
–
–
–
–
Estadísticas descriptivas
Inferencia estadística y proyección
Reconocimiento de patrones
Prueba estadística de la hipótesis nula
Doble inflexión: frecuentista y bayesiana
Estadísticas robustas – estadísticas no paramétricas
• Geoestadísticas (1960s, G. Matheron)
• Geocomputación (1990s)
Tipificación de modelos
Estadísticas
• Estadísticas en general
– Presunciones de normalidad
– No robustas, paramétricas
• Estadísticas espaciales
– Presunciones de homogeneidad
• Estadísticas temporales
– Presunciones de monotonía
• Análisis de series temporales
• Series temporales no lineales
– Presentación separada
• Transiciones de fase
– Presentación separada
Estadísticas – Demasiadas cosas
• Conceptos y técnicas de muestreo
• Estadísticas descriptivas
– Medidas de tendencia central
– Teoremas del límite central (TLC / CLT)
• Probabilidad
– Distribuciones de probabilidad (PDF)
– Multiplicidad de distribuciones
• Regresión lineal simple y múltiple
• Análisis de frecuencia acumulativa, intervalos de
confianza
• Descubrimiento de patrones
– Patrones espaciales, atractores, minería de datos, minería de
Web
Introducción a la estadística
Distribución normal
• Cerca del 68% del conjunto se encuentra a 1
desviación estándar de la media, 95 a 2 y 99,7 a 3
– Las desviaciones que excedan 2 veces la DE se
considerarán significativas
• Regla de 68-95-99,7
• Mal llamada “curva de Bell”
Distribución normal
• Igual que el resto de las estadísticas, no es una
matemática antigua
• Se remonta a Friedrich Gauss y por eso se la
llama gaussiana
• Exaltada por el antropólogo Francis Galton:
Distribución normal
• Consolidada en ciencias sociales por Émile
Durkheim:
– Sociología: Ciencia para distinguir los estados
normales de los estados patológicos
• Anomia = falta de normalidad
• Crimen = una “desviación”
• Suicidio = varía en función inversa al grado de integración en
la pauta normal
Distribución normal
• Exaltada por Karl Marx, también basado
en Adolphe Quételet:
Estaturas “normales”
• Datos de Nassim Taleb:
Mandelbrot & Hudson
Necesidad de poner estadísticas
en contexto
• Muestreo como necesidad técnica
• Transfiguración de una muestra
probablemente sesgada en una “muestra
representativa”
• Tener en cuenta la crítica de Kruskal
• Técnicas construidas a mano
Estadística no computacional
• Johan Wakefield, Bayesian and frequentist regression
methods, Springer, 2013, p. viii:
• Las limitaciones de la estadística lineal se confunden
con las posibilidades de la estadística en general
Fundamentación normal de la NHST
• Requisito de muestreo aleatorio
• ¿De dónde viene el 5%?
Fundamentación normal de la NHST
Parámetros no robustos
http://www.lanacion.com.ar/1595121-cuales-son-los-10-paises-mas-pacificos-del-mundo
Modelos de contraste de atributos
• Amos Tversky (1977)
– Hallazgo importante:
– El contexto o marco de referencia modifica la similitud entre
los conceptos.
– Este es el truco de muchas encuestas de predicción
electoral.
– Cuando vayan a elaborar una encuesta, ya saben.
– Ejemplo de comparación: ¿Qué países son más parecidos?
AUSTRIA
Suecia 49%
Polonia 15%
AUSTRIA
Hungría 36%
Suecia 14%
Noruega 26%
Hungría 60%
Teorema de Arrow
http://www.infobae.com/notas/718454-Buenos-Aires-entrelas-10-mas-felices-del-mundo.html
Teorema de Arrow
http://www.infobae.com/notas/718454-Buenos-Airesentre-las-10-mas-felices-del-mundo.html
Teorema de Arrow
http://www.infobae.com/notas/718454-Buenos-Airesentre-las-10-mas-felices-del-mundo.html
Teorema de Arrow
http://en.wikipedia.org/wiki/Arrow%27s_impossibility_theorem
Más casos
• http://www.infobae.com/2013/08/23/1503914-miami-la-ciudadfavorita-vivir-los-latinoamericanos
Más todavía
• http://www.timeout.com/london/worldculturereport
Y continúa…
Y continúa…
No hay diferencia…
• http://www.nytimes.com/2014/02/12/health/study-adds-new-doubtsabout-value-of-mammograms.html?hp&_r=0
Usos perversos de la NHST
• http://www.improbable.com/about/
Premios Nobel Ig®
• http://www.improbable.com/ig/winners/
http://prefrontal.org/files/posters/Bennett-Salmon-2009.pdf
Ley de potencia
• Independiente de escala = No hay valores normales,
ni una media, ni una escala característica
• La dispersión de los valores puede ser de orden
astronómico
Escenarios independientes de escala
• Leyes de Pareto, Gutenberg-Richter, Omori, Zipf, Richardson
• Citas bibliográficas entre miembros de la comunidad académica,
colaboraciones en reportes de investigación
• Relaciones sexuales (!!), agendas telefónicas
• Nexos sintácticos entre palabras en un texto o discurso
• Clientelismo, influencia
• Alianzas tecnológicas
• Relaciones entre actores de cine
• Sinapsis neuronales
• Contactos entre personas de una organización
• Cadenas alimentarias
• Conexiones entre organismos vinculados al metabolismo o
proteínas reguladoras
• Propagación de enfermedades y virus informáticos
• Alternativa al concepto de epidemiología de las representaciones
(Dan Sperber)
Diversidad de distribuciones
• Benford, Benini, Benktander, Bernoulli, beta, binomial,
binomial negativa, de Bose-Einstein, Bradford, Bull, Burr,
Cantor, Cauchy (o Breit-Wigner, o Lorentz),
Champernowne, Chernoff, chi cuadrado, de Davis,
Dirichlet, doble gamma, doble Weibull, de Erlang,
exponencial, geométrica, de Gauss, Gibrat, Gompertz,
gamma, Heaps, hiperexponencial, hipergeométrica, de
Horton, Kleiber, Kumaraswamy, Laplace, Lévy,
logarítmica, logística, lognormal, Lotka, de Moyal,
multinormal, de Nakagami, Pareto, Poisson, Pólya,
Rademacher, Rayleigh, Rice, secante hiperbólica, de
Wigner o semicircular, Skellam, de Student, triangular,
uniforme, de von Misses, Wald, Wallenius, Yule-Simon,
zeta, los tres tipos de valor extremo (Gumbel, Fréchet,
Weibull) y por supuesto la distribución de Zipf,
Zipf/Mandelbrot o LP
• Casi no hay tests de no-normalidad
Abundante bibliografía
Ejemplo – Distribución logística (1/2)
•
•
•
•
•
•
•
•
Promovida por Joseph Berkson (1938)
Afirmaba que el cigarrillo no causaba cáncer de pulmón
Distribución simétrica pero de cola pesada
Biología/ecología – Crecimiento de especies en
competencia
Epidemiología – Dispersión [spreading] de epidemias
Mercadeo – Difusión de ventas de nuevos productos
Energía – Difusión y sustitución de fuentes energéticas
primarias (curva de Hubbert)
Hidrología – Distribución de descargas de ríos (o
régimen de lluvias) en el largo plazo
Ejemplo – Distribución logística (2/2)
Dilemas de la estadística
en general
Dilemas de la estadística en
general
•
•
•
•
•
•
•
•
Falta de fundamentación lógica y matemática
Problemas específicos de dominio
Diferentes lógicas en lo espacial y temporal
Autocorrelación
Falta de robustez
Teorema de Arrow
Ley de Weber-Fechner-Stevens (conocida por Bateson)
Nelson Goodman
– Similitudes, diferencias, analogías
• Explosión combinatoria
• Cantidades precisas, cualidades inciertas
– Umberto Eco – Charles Hockett (prevaricación) 
Prevaricación (1/2)
Prevaricación (2/2)
Catálogo de problemas
• Problema del límite [boundary]
– Efecto del borde [edge]
– Efecto de forma
• Problema de escala
• Problema de la autocorrelación espacial [pattern
problem]
– Waldo Tobler y la primera ley de la geografía
• Problema del cambio de soporte (COSP)
– Promediación por captura a diferentes escalas
• Falacia ecológica
• Falacia locacional
– Cada actor se sitúa en un solo sitio
– Nadie “vive” en los lugares más atestados
• Oficinas, estadios, ferrocarriles, malls
• Problema de la Unidad Areal Modificable (MAUP) →
http://en.wikipedia.org/wiki/Misuse_of_statistics
Problemas de estadística espacial
Problema de la Unidad Areal Modificable
(MAUP)
• Stan Openshaw
Problema de la Unidad Areal Modificable
(MAUP) /1/2)
• Descubierto por Gehlke y Biehl (1934) y
descripto por Stan Openshaw (1984)
• Vinculado a problemas de autocorrelación
espacial y a la falacia ecológica
• Doble problema
– Problema de escala
– Problema de agregación
• No hay reglas, ni estándares, ni convenciones
internacionales para orientar la agregación de
datos espaciales.
Problema de la Unidad Areal Modificable
(MAUP) (2/2)
• Los resultados derivados de datos
recolectados en áreas pequeñas pueden
ser diferentes si la recolección es sobre
áreas más grandes
– P. ej. diversidad ecológica
• Personas, viviendas, edificios,
manzanas, barrios, zonas urbanas,
regiones, partidos, provincias, zonas
geográficas, países, confederaciones.
Problema de la Unidad Areal Modificable
(MAUP)
• Hay un número inmenso de organizaciones
areales posibles, arrojando resultados diversos
en cualquier medición.
• No es sólo un problema técnico sino un
problema conceptual inevitable.
• Yule y Kendall (1950s) basados en Gehlke y
Biehl (1934) demostraron que se puede producir
cualquier correlación entre 0 y 1 meramente
eligiendo un tamaño adecuado de la unidad
areal
Catástrofres de la presunción de
normalidad
• Falta de robustez de los parámetros de la
estadística paramétrica
• Insuficiencia de los modelos de normalidad en
su propio terreno
– La normalidad como horizonte de posibilidades de las
consultoras financieras
– La “falsa medida del hombre” como matriz de
referencia universal
• Escamoteo de la diversidad de distribuciones
• Ocultamiento de los fracasos históricos 
El indicador del agujero de ozono
como outlier
El agujero de ozono
• Los métodos computacionales programados para
identificar y suprimir outliers son responsables de haber
retrasado la investigación sobre el agujero de ozono
durante años (desde 1976 a 1985, por lo menos) por
considerar que las desviaciones del 10% por debajo de
la normalidad (180 unidades de Dobson) detectadas por
los instrumentos TOMS del satélite Nimbus 7 se debían
a errores en la toma y filtrado de datos.
• Revisados los programas del satélite y eliminados los
filtros, se comprobó que el agujero venía siendo
detectado por los sensores satelitales desde mucho
antes sin que nadie hiciera nada al respecto (Farman,
Gardiner y Shanklin 1985).
• Véase descargo de Friedrich Pukelsheim (“mito urbano”)
Efectos colaterales no significativos
• Laboratorios Merck
• Anti-inflamatorio Rofecoxib (marca Vioxx)
• Entre 5 y 8 casos fatales que no se
manifestaron en el grupo de control
• 4,95% de significancia
• En el mejor escenario, poco menos de 5.000
muertes cada 100.000 cajas !!
• Desde 2005 se revirtió la jurisprudencia
– La Corte Suprema de USA, Wall Street Journal, etc.,
menos retrógrados que ciertos antropólogos
Prueba estadística de la hipótesis nula (NHST)
http://carlosreynoso.com.ar/atolladeros-del-pensamiento-aleatorio-batallas-entorno-de-la-prueba-estadistica/
Prueba estadística de la Hipótesis Nula
(1/24)
• Prehistoria – Arbuthnott (1710)
– Prueba estadística de la existencia de Dios.
– Mayor proporción de nacimientos de hombres
que de mujeres en Londres durante 82 años
Prueba estadística de la Hipótesis Nula
(2/24)
• Prehistoria – Ysydro Edgeworth (1885)
– Se preguntaba si “las diferencias observadas
entre las estaturas medias de 2315 criminales
y la estatura media de 8585 adultos británicos
de sexo masculino es significante”.
– Por influencia de Edgewoth se habla también
de prueba estadística de significancia.
Prueba estadística de la Hipótesis Nula
(3/24)
• Ronald Fisher
– Statistical methods for
the research worker
(1925)
– The design of
experiments (1935)
Prueba estadística de la Hipótesis Nula
(4/24)
• Ronald Fisher
– Es posible argumentar desde las observaciones a las
hipótesis.
– Para lograrlo, se define primero una hipótesis nula.
– La HN se ve des-probada si la muestra estimada se
desvía de la media de la distribución de muestreo por
una cantidad mayor a la de un criterio especificado,
llamado el nivel de significancia o valor crítico de p, el
cual se sugiere se fije en un valor del 5%.
– La prueba fisheriana de significancia se centra en el
rechazo de la hipótesis nula.
Prueba estadística de la Hipótesis Nula
(5/24)
• Neyman y Pearson (1930s en adelante)
• Introducen la Hipótesis Alternativa
• No hablan de significancia, sino de Prueba de Hipótesis
• Introducen los tipos de error I y II
Prueba estadística de la Hipótesis Nula
(6/24)
• Errores de tipo I y II
Prueba estadística de la Hipótesis Nula
(7/24)
• Clifford Geertz, Conocimiento Local
– Tipificación al revés de lo correcto
– No corresponde hablar de “aceptar” hipótesis sino de
rechazar vs no poder rechazar la hipótesis nula
– Tampoco el investigador está condenado a
equivocarse, ni es posible situarse “entre” un error y
otro
Prueba estadística de la Hipótesis Nula
(8/24)
• Resumen de Fisher vs Neyman-Pearson:
Prueba estadística de la Hipótesis Nula
(9/24)
• Supongamos que en 20 intentos hemos
obtenido 14 caras y 6 cruces
• El valor de p sería la probabilidad de que se
obtengan por lo menos 14 caras en 20 intentos
• La probabilidad se puede calcular de diversas
formas. P. ej. por coeficientes binomiales
Prueba estadística de la Hipótesis Nula
(10/24)
• Como la distribución binomial es simétrica para una
moneda de dos caras, el valor de p para un test de
doble cola es simplemente el doble del valor obtenido en
la ecuación
• 0,0576… x 2 = 0,1152
• Como este valor de p excede a 0,05, la observación es
consistente con la HN, esto es, con la afirmación de que
el resultado observado puede deberse solamente al
azar.
• Aunque la moneda no cayó en forma pareja, no nos es
posible rechazar la HN al nivel del 5%.
• Si lo hiciéramos, incurriríamos en lo que en una prueba
de hipótesis sería un error de Tipo I
Prueba estadística de la Hipótesis Nula
(11/24)
• La lógica de las pruebas de significancia o hipótesis es inválida
– Jacob Cohen (1994)
– Este primer razonamiento sería válido (modus tollens, negación del
antecedente negando el consecuente)
– Pero el razonamiento es probabilístico:
– Otro caso de la misma falacia sería:
Prueba estadística de la Hipótesis Nula
(12/24)
• La falacia es bien conocida
desde los tiempos de How to
Lie with Statistics (Darrel Huff,
1974: 75 y ss.)
– El libro de estadísticas más
vendido en la segunda mitad del
siglo XX
• Otro ejemplo a considerar:
Prueba estadística de la Hipótesis Nula
(13/24)
• Otra falacia estadística implicada en la prueba
estadística de la HN tiene nombre:
• Afirmación del consecuente:
P→Q
QP
• Negar la HN no implica afirmar cualquier otra (la
contranula HN)
• Como decía Bateson, afirmación y negación
operan a distintos niveles de tipificación
Prueba estadística de la Hipótesis Nula
(14/24)
• Afirmación del consecuente en versión
Neyman-Pearson
• Paul Meehl lo expone claramente:
Prueba estadística de la Hipótesis Nula
(15/24)
• Hipótesis nula – Significado
– Fisher: La HN nunca se prueba ni se
establece, sino que es posiblemente desprobada en el curso de la experimentación.
Puede decirse que cada experimento sólo
existe con el propósito de dar a los hechos la
oportunidad de des-probar [disproving] la
hipótesis nula.
Prueba estadística de la Hipótesis Nula
(16/24)
• Hipótesis nula – Críticas:
– Joseph Berkson (2003): La evidencia ordinaria no
toma esta forma. Con el corpus delicti delante
nuestro no decimos “Hay evidencia contra la
hipótesis de que nadie está muerto”. Decimos, más
bien, que “Evidentemente alguien ha sido asesinado”
– Crítica usual: la HN casi nunca es verdad
– Hay empero papers y sitios de Web que reivindican la
mala fama de la hipótesis nula
• La prueba de Arbuthnott, el creacionismo y su “diseño
inteligente”, el triángulo de las Bermudas
Prueba estadística de la Hipótesis Nula
(17/24)
• Hipótesis nula – Críticas – Trivialidad
– Fred Guthery – HN en ecología:
Prueba estadística de la Hipótesis Nula
(18/24)
• Hipótesis Nula – Más críticas
– Jakob Cohen (“The earth is round: p<0.5”)
• Nil hypothesis – Refutación sin riesgos
– David Bakan:
Prueba estadística de la Hipótesis Nula
(19/24)
• Carlos Reynoso (2011)
Prueba estadística de la Hipótesis Nula
(20/24)
• Qué significa el valor de p?
• El tema está para la chacota:
– “Criteria for selecting a significance level: On the sacredness of .05”
(Labovitz 1968), “The sacredness of .05: A note concerning the
uses of statistical levels of significance in social science” (Skipper,
Guenther y Nash 1970), “Confidence intervals rather than p values:
estimation rather than hypothesis testing” (Gardner y Altman 1986),
“The irreconcilability of P values and evidence” (Berger y Sellke
1987), “The end of the p value?” (Evans, Mills y Dawson 1988), “A
picture is worth a thousand p values: On the irrelevance of
hypothesis testing in the microcomputer age” (Loftus 1993), “The
earth is round (p< .05)” (Cohen 1994), “Toward evidence-based
medical statistics: 1. The p value fallacy” (Goodman 1999), “What
your statistician never told you about P-values” (Blume y Peipert
2003), “Incongruence between test statistics and p values in
medical papers” (García-Berthou y Alcaraz 2004), “A farewell to pvalues?” (Moran y Solomon 2004), “A dirty dozen: Twelve P-value
misconceptions” (Goodman 2008), “Exposing the P value fallacy to
young residents” (Sestini y Rossi 2009) y “Much ado about the p
value” (van der Pas 2010).
Prueba estadística de la Hipótesis Nula
(21/24)
• Valor de p:
– Se define como la probabilidad de observar
eventos tanto o más extremos que los que se
manifiestan en los datos observados en caso
que la hipótesis nula fuera verdad.
– Si es suficientemente pequeño (típicamente p
0.05) puede decirse que los datos
proporcionan evidencia contra la HN, la que
convendría rechazar.
– No mide la probabilidad de que la HN sea
falsa
Prueba estadística de la Hipótesis Nula
(22/24)
• Percepciones erróneas: Cuestionario de Gigerenzer y otros (2004)
Prueba estadística de la Hipótesis Nula
(23/24)
• Porcentajes de respuestas erróneas:
Prueba estadística de la Hipótesis Nula
(24/24) - Conclusiones
• Hay dictámenes de la Corte Suprema de USA
que desestiman la NHST.
• Todavía vigente en políticas editoriales de
journals científicos.
• La bibliografía crítica no ha puesto el acento en
los supuestos estadísticos que la soportan.
• Recomendación pragmática:
– Especificar los datos de la NHST con el menor valor
de p posible
– Pero asentar las reservas frente al método y a los
supuestos en que se funda.
Tópicos pendientes
• Estadísticas de la complejidad
– De la geoestadística a la geocomputación
• Demarcación de métodos de complejidad
• Algoritmos de la complejidad
– Presentaciones separadas
Recusos bibliográficos
© Sarah Josephine Taleb,
http://www.fooledbyrandomness.com/pictures.htm
Recursos bibliográficos
• http://en.wikipedia.org/wiki/The_Black_Swan_(Taleb_book)
Sobre estadísticas no paramétricas
Sobre muestreo (otra ciencia oscura)
Referencias
http://www.deirdremccloskey.org/academics/stats.php
http://sites.udel.edu/mjs/statistical-significancereferences/
http://www.univrouen.fr/LMRS/Persopage/Lecoutre/ErisA.html
http://www.jasnh.com/
http://www.economist.com/node/2384590
Referencia primaria
http://carlosreynoso.com.ar/estadistica-espacial-y-temporal/
¿Preguntas?
Carlos Reynoso
UNIVERSIDAD DE BUENOS AIRES
http://carlosreynoso.com.ar