Transcript power point
Introducción a la Sociomática
El Estudio de los Sistemas Adaptables Complejos en el
Entorno Socioeconómico.
Dr. Gonzalo Castañeda
Capítulo 7
Validación, Verificación y Replicación de
Modelos Multi-agente
7.0.- Introducción
Teorías de elección-racional: supuestos elegidos con
objetivos instrumentalistas (formalización matemática,
predicción)
Quehacer científico: explicar el por qué la cosas
ocurren de cierta forma
Incapacidad de pronosticar de una teoría no demerita
su desempeño si explica regularidad estadística
(clima por adelantado vs formación de tormentas)
El análisis económico no consiste en la fabricación de
bolas de cristal (“la maldición de los consultores”)
ETHA y ABM utilizan supuestos realistas cuando son
sustanciales
(1) Validación: someter mecanismos sociales a
comprobación empírica
Calibración empírica de parámetros y condiciones
iniciales
Replicación de regularidades estadísticas:
equivalencia entre distribuciones reales y artificiales
Modelo conceptual: descripción narrativa de un
proceso real
Modelo implementado: formalizacion que describe
con más precisión mapeo insumo → producto
Validación: ¿modelo implementado explica fenómeno
real?
(2) Verificación: ¿modelo implementado corresponde
al modelo conceptual?
Verificación = validación interna: ¿el modelo lleva a
cabo operaciones deseadas?
Detección de errores: incompatibilidad entre lo que
pasa y lo que se cree que va a pasar
(e.g operaciones aplicadas a un subconjunto de
agentes, aritmética de punto flotante vs aritmética
real)
Detección de artefactos: incompatibilidad entre
supuestos que se cree generan los resultados y los
que efectivamente los producen
Supuestos sustanciales vs accesorios
¿Retícula es un supuesto accesorio?
(3)
Replicación de ABM: simulaciones
reproducidas por otros investigadores
Necesaria para que teoría pase a formar parte
del cuerpo de conocimientos
Replicación permite a otros autores proseguir
ampliando conocimiento
Contribuye a verificación si hay equivalencia
entre dos ABM programados en plataformas
distintas
Contribuye a validación si modelo replicado
describe mejor la realidad
* Proceso de construcción y
validación del modelo
7.1.- Las teorías sociales y la evidencia empírica
Modelos estadísticos no deben ser utilizados para explicar
fenómenos socioeconómicos y establecer relaciones causales
(e.g. desarrollo financiero y crecimiento)
Su utilidad está en: (i) describir los fenómenos y los cambios en
las sociedades, (ii) probar teorías
En economía neoclásica la evidencia empírica se utiliza
exclusivamente para probar hipótesis
El método no es adecuado si el análisis estadístico no se aplica
sobre un modelo teórico que identifica los mecanismos sociales
(estructura → agencia → estructura)
Un análisis de regresión con variables agregadas no es muy
útil
Un análisis micro con variables de interacción social sólo
permite verificar estadísticamente el mecanismo que va de lo
macro a lo micro.
En cambio un ABM calibrado empíricamente tiene un gran
potencial para explicar mecanismos sociales
*Correspondencia entre ABM y
sistema objetivo
de software → entidades reales
Topología de interacción → entorno real
Permite poner a prueba ABM en varias aristas:
(i) reglas de comportamiento,
(ii) topología,
(iii) resultado macroscópico (estático o
dinámico)
Reto científico a superar: mayor certeza sobre
funcionamiento de CAS
Agentes
Sistema objetivo
ABM
Entidades
Interacción
entre agentes
agentes
entre entidades
* El realismo de los ABM
“realismo analítico” : supuestos no ficticios + disección
de la colectividad en agentes que interactúan
Modelo teórico tiene que ser validado al nivel de sus
premisas (eg. interacción, condicionamiento de
módulos de decisión) e hipótesis
Como simulaciones de ABM son teoremas de
suficiencia, el realismo de los supuestos es un criterio
de selección
La calidad del modelo mejora al pasar pruebas con
información cuantitativa (y no sólo cualitativa), y al
describir patrones micro (y no solo macro)
* Niveles de validación empírica
1er nivel: explica evidencia cualitativa de patrones
macro (visualización de la segregación)
2º nivel: explica hechos estilizados a través de
histogramas y gráfica (eg. Distribución del ingreso,
tipping points, inercias)
3er nivel: explica afinidad estadística entre patrón
emergente simulado y regularidad observada (e.g ley
de la potencia, distribución del voto)
4º nivel: evidencia empírica se ajusta a microestructura de la sociedad (carteras de inversión de
agentes con ciertas características); permite calibrar
ABM para definir reglas de transición en las
vecindades.
* Estadística de Kolmogorov-Smirnov
La semejanza entre la distribución acumulada
estimada y la distribución acumulada teórica se
calcula con la siguiente estadística
Debido
al ordenamiento de los datos se
reescribe:
Dado
que:
Si valor-p ≥ nivel de significancia requerido
(0.1, 0.05 ó 0.01) → no se rechaza la hipótesis
nula
* Validación mediante Montecarlo
7.2.-Validación estadística de los mecanismos
sociales
En elección-racional análisis deductivo (modelo teórico) se
separa del inductivo (econometría) → distanciamiento de la
teoría con la realidad
Hedström: “sin teoría la investigación empírica carece de
relevancia, y sin investigación empírica la teoría social se
convierte con facilidad en ficción literaria”
En sociedades artificiales se combina la parte deductiva con la
inductiva, las simulaciones generan datos que pueden ser
validados empíricamente
En economía y sociología se busca explicar el comportamiento
de colectividades y no de individuos
El objetivo es explicar el efecto que tiene una estructura macro
(social) sobre determinado fenómeno socioeconómico
Pero el estudio directo entre estas variables carece de sentido
ya que las unidades micro son las que a fin de cuentas toman
decisiones y generan acciones
Gráfica macro-micro del mecanismo social (Coleman)
Flecha (4): no es posible la estimación directa
Flecha (1): vínculo entre la comunidad y la toma de decisiones
Flecha (2): reglas de comportamiento para elegir acciones
Flecha (3): acciones individuales en un entorno dan lugar a un
comportamiento colectivo
Mecanismo social descartado en análisis convencional por
modelar actores atomizados
Modelos econométricos de interacción social usados para
describir flechas (1) y (2)
ABM permite estudiar la flecha (3) (e.g. impacto de programas
de alivio a la pobreza)
* Modelo de interacción social
Modelos matemáticos y econométricos en donde la interacción
es vista como una externalidad en la que las acciones de un
grupo de referencia afectan las preferencias de un individuo
Efectos asociados a la interacción: (a) endógenos (presión de
grupo), (b) exógenos –contexto-, (c) correlacionados (persona
modelo)
Contribuyen a explicar como cambios relativamente pequeños
en los fundamentos pueden tener un gran impacto en el
comportamiento colectivo (equilibrios múltiples, multiplicador
social y tipping points)
Modelo econométrico:
i k cX i dYn(i ) Jmn(i ) i
Problemas: (a) definición del grupo de referencia, (b)
identificación de parámetros asociados a efectos endógeno y
contexto, (c) auto-selección o endogeneidad
* Análisis cuantitativo y ABM: un ejemplo de desempleo
Estudio de desempleo juvenil en Estocolmo con datos panel
1993-99
Cercanía geográfica de los individuos vinculada a las redes
sociales: tasa de desempleo incide sobre la probabilidad de
dejar este status
Interacción social: (i) costos psicológicos y sociales; (ii) redes
de información; (iii) expectativas de empleo
Se estima una regresión logit usando tasa de desempleo de la
vecindad, variables de control socio-demográficas y dummies
para ciclos económicos
ABM (flechas 1, 2) se calibran suponiendo que la probabilidad
de que un agente cambie de un status a otro viene dado por:
p jt
1 e
1
2.0854.086 Ujt-1
Buen ajuste de los patrones emergentes cuando el modelo se
calibra utilizando agentes de software que son réplicas
virtuales del mundo real.
7.3.- Metodologías de calibración empírica
Una parte importante de la validación es la calibración
de parámetros y condiciones iniciales
(i) La calibración indirecta se obtienen a partir de los
valores que logran replicar con cierta precisión los
hechos estilizados del mundo real
(ii) La calibración de Werker-Brenner hace uso de la
evidencia empírica y experimental disponible; los
parámetros no definidos se eligen en función de la
verosimilitud de ser aceptados dada la evidencia
histórica encontrada (enfoque Bayesiano)
(iii) Calibración mediante casos históricos a nivel de
sector, industria, empresa o grupo socioeconómico
(información cualitativa y cuantitativa de casos
específicos)
* Calibración mediante prueba no-lineal activa (ANT)
Método de calibración indirecto
Debido a la no-linealidad es más conveniente explorar
conjuntos de valores que parámetros aislados
Miller sugiere utilizar algoritmos no-lineales de optimización
por el número tan alto de combinaciones
Búsqueda de soluciones en el espacio de parámetros
utilizando una función de ajuste (e.g. suma de desviaciones
al cuadrado entre estadísticas empíricas y simuladas)
Métodos sugeridos: (i) hill-climbing: se exploran soluciones
aleatorias particulares y se cambia el status quo si el ajuste
mejora; (ii) algoritmos genéticos: se exploran poblaciones de
conjuntos de parámetros. En cada generación se preserva
un grupo de ganadores y se aplican operaciones genéticas
(mutaciones y crossovers)
* Ejemplo de calibración indirecta
Modelo
de activos financieros (Kirman 1991)
Rendimiento de tipo de cambio con valores
extremos (kurtosis) y volatilidad aglutinada
rt o 1rt 1 t
en donde Var( t ) o 1 t2-1
Rendimientos
diarios dm/$US
ABM
con agentes heterogeneos:
fundamentalistas y extrapoladores
Cambio de estrategia = probabilidad de
mutación, d = probabilidad de ser convencido
Precio del mercado funcion de expectativas,
participación percibida de fundamentalistas,
valor fundamental, y perturbación exógena
Percepción:
Expectativas:
Perturbación exógena:
a calibrar: (d, , sq)
Función objetivo a minimizar
Parámetros
f k dag k demp 1ag 1emp
R
repeticiones de Montecarlo, se eliminan 10%
de valores extremos para calcular las medias
de los parámetros
Debido a rugosidad de f(x) se usa técnica de
optimización
Con
32 pasos, 3 parámetros, 500 repeticiones,
50,000 iteraciones se requieren 7 días en PC
Pentium III 600Mhz
Con Método TA modificado (Aceptación
mediante umbrales) se requiere 1 hora
Se utilizan ns pasos con umbral (ti), nr rondas
Adoptan soluciones que no están peor que la
última más allá de un umbral
Permite evadir óptimos locales
Se combina con el método de búsqueda
simplex
(i) Definir primer simplex que contenga al vector
de parámetros inicial y determinar que vértices
produce el mejor ajuste: f(xold)
Definición de simplex con n = 2:
iia)
Con probabilidad x elegir n+1 nuevas soluciones a
evaluar a partir de un nuevo simplex elegido
aleatoriamente dentro de una cierta vecindad.
(iib) Con probabilidad (1 - x) elegir n+1 nuevas
soluciones utilizando el método de búsqueda simplex.
En este método simplex es adyacente al anterior, el
cual se obtiene proyectando el vértice con peor ajuste
(iii) Si mejor vértice del nuevo simplex no es peor que
el mejor vértice del simplex anterior por más del
umbral tr : f(xnew) < f(xold) + tr , xold ← xnew
(iv) Se repite el proceso hasta concluir el número total
de rondas consideradas inicialmente.
7.4.- La ley de la potencia y los problemas de
identificación
¿Se logra probar la complejidad encontrando
evidencia empírica de la ley de la potencia?
No: se pueden generar comportamientos estadísticos
similares con modelos sencillos de volatilidad
estocástica → problemas de identificación
Tampoco se puede apelar a evidencia empírica
histórica sobre: no-ergodicidad, transiciones de fase,
patrones emergentes, comportamientos universales
Ejemplo: La lenta sustitución de tecnologías
ineficientes (QWERTY, vs Dvorak, VHS vs Beta)
también se puede explicar con un modelo neoclásico
con costos de aprendizaje y problemas de
coordinación
* La leyenda de QWERTY
Una
trayectoria dependiente: fenómeno
económico depende de contingencias noreversibles
Eventos: (a) 1873: venta de patente a
Remington; (b) 1882: escuela que impulsó el
método; (c) 1888: publicidad por ganar
concurso → QWERTY se consolida
Mito: diseño ‘sub-óptimo’ que no ha podido ser
reemplazado (evidencia amañada por el mismo
Dvorak)
Solución: construcción de sociedades artificiales mediante un
ABM
La toma de decisiones y gobierno social son justificados
empíricamente
Probar si el comportamiento colectivo se caracteriza por la ley
de la potencia o cualquier otra distribución observada en el
mundo real (tramo 3 del esquema de Coleman)
Complicaciones econométricas: (a) ¿frecuencia de los eventos
relacionada exclusivamente al tamaño de los eventos?
Con un marco teórico adecuado se pueden definir cuales
pueden ser las variables de control (problema similar en los
modelos de crecimiento)
Diferencia: con ABM se puede comparar la distribución
condicional artificial con la observada en el mundo real
(b) Difícil distinguir empíricamente entre la ley de la potencia y
la log-normal
* Distribuciones de probabilidad con tamaños finitos
* Estimación de la Ley de la Potencia
MCO
aplicados a observaciones [p(x), x]
produce sesgos
MV es más adecuado:
Para
elegir el valor de x se toma aquel valor
que minimiza la estadística de K-S:
min
* Detección de la Ley de la Potencia
¿Los datos de la muestra provienen efectivamente de la ley de la potencia?
Como parámetros no son conocidos se requiere aplicar Monte-Carlo:
(i) Estimar los parámetros y xmin de la ley de la potencia con los datos
reales mediante máxima verosimilitud.
(ii) Calcular la estadística D para los datos reales con las estimaciones
obtenidas en (i).
(iii) Generar varios conjuntos de datos artificiales de la ley de la potencia
con el modelo que mejor se ajuste a los datos reales [paso (i)] y,
posteriormente, calcular la estadística D para cada uno de estos conjuntos
de datos con respecto a su modelo de mejor ajuste.
(iv) Definir el valor-p como el porcentaje de veces que dicha estadística
[paso (iii)] es mayor que el valor de D calculado con los datos reales.
(v) Descartar la ley de la potencia como la distribución asociada a los datos
reales cuando el valor-p es relativamente pequeño.
En una segunda etapa checar si la muestra es consistente con otras
distribuciones similares (Weibull, exponencial, log-normal)
7.5.- El Problema de la activación
En el mundo social no existe un reloj que indique el momento
preciso en que los agentes deben actuar
Aunque todos los agentes son influenciados en una vecindad
no todos toman decisiones simultáneas
El mundo social no se mueve en paralelo ya que existe
información imperfecta que se presenta con desfases
Inversionistas entran al mercado según se les presenta la
oportunidad; empresas eligen estrategias y tecnologías según
sea su coyuntura.
La activación de un agente es el orden y la frecuencia con que
entra en acción en un ABM
(a) Activación sincrónica: los estados se actualizan
paralelamente
(b) Activación asincrónica: no todos se activan en cada
periodo, o bien su activación no es secuencial
La activación sincrónica no es realista y genera artefactos
* La cooperación como un artefacto de la activación
Nowak y May (1992): en un juego espacial del dilema
del prisionero la población mixta (C y D) es
persistente a pesar de que se usaron reglas sencillas
y no hay repetición
Cada individuo presenta un atributo y juega el DP con
cada vecino; los beneficios totales son la suma de los
beneficios de cada interacción; regla de transición:
adopta el atributo del agente con el beneficio mayor
CA de 2-D con fronteras; a parte de la persistencia se
encontró una cierta frecuencia de cooperadores para
cierto rango de parámetros e independientemente del
sembrado inicial
Con un oportunista en el centro de la rejilla se
producen secuencias fractales (C-C azul; D-D rojo; DC amarillo; C-D verde)
Huberman
y Glance (1993): el patrón
emergente de Noway y May es un artefacto de
la activación
Con activación asincrónica se genera un
resultado totalmente diferente (sólo un agente
al azar cambia de estado por periodo, aunque
todos están inmersos en DP bilaterales)
(a) con sincronía
(b) con asincronía
* El artefacto de la dimensionalidad en la activación
sincrónica
La activación asincrónica se prefiere por su realismo pero
también porque genera menos artefactos
Hegselmann (1996): la cooperación se propaga por toda la
rejilla dependiendo del tamaño del cluster invasor y la
dimensión de la rejilla (torus)
Un sitio coopera en el siguiente periodo cuando tiene un vecino
con un mayor número de cooperadores que los que tienen sus
vecinos oportunistas (DP)
Suponemos cluster de cooperadores en sitios oscuros (3x3); el
gris indica transición de D a C.
La cooperación no se propaga del todo ya que al unirse las
fronteras en una rejilla (50x50) se forma escalera con bordes
estables
Estas escalera no se forman con una rejilla 51x51
Por lo tanto con activación sincrónica la propagación total se da
sólo si se tiene cluster non y rejilla non
Estos tamaños no son relevantes para las posibilidades de
propagación con activación asincrónica
Efecto par/non con activación sincrónica
(a)
sembrado inicial
(c) después de un tiempo:
(b) un periodo después
(50x50)
(d) (51 x51)
* Formas de activación asincrónica
Activación uniforme: c/agente se activa una vez por
periodo pero el orden que se elige por periodo se
modifica aleatoriamente
Con activación secuencial se pueden producir
correlaciones espurias que inciden en la formación de
patrones emergentes
Activación aleatoria: se eligen k agentes al azar de
entre la población de A agentes
La probabilidad de que un agente sea elegido i veces
en T periodos viene dado por:
i
T k A k
A
i A
T i
Con A cercano a T y muy por encima de k puede
darse que un agente nunca es activado (!!)
Probabilidad del número de activaciones en
intercambios bilaterales
Con
k = 2, A = 100, T = 1000 se genera la
siguiente distribución
El uso de la activación asincrónica no está exenta de
artefactos → conviene correr el modelo con diferentes
procedimientos
Un ejemplo sobre el crecimiento de empresas (Axtell 1999)
Hecho observado: la varianza del logaritmo de las tasas de
crecimiento se reduce con el tamaño de la empresa
Con activación uniforme se acelera el proceso en el que los
trabajadores buscan oportunidades al darse el declive de una
empresa
Con activación aleatoria muchos trabajadores se mantienen
estáticos, por lo que las malas noticias tienen efectos
retroalimentadores menores
(a) activación aleatoria
(b) activación uniforme
7.6.- Mecanismos de Verificación de los ABM
Verificación:
revisar fallas en la ejecución y
posibles inconsistencias interna del código de
programación
Verificación: ‘ecuaciones se han resulto de
manera correcta’
Validación: ‘ecuaciones correctas’
(i) Realizar un trabajo interdisciplinario que
incluya a especialistas en cómputo,
(ii) Revisión de los códigos por analistas
externos al proyecto,
(iii) Presentación de códigos en apéndices o en
páginas de Internet
(iv) Uso de software de código abierto
(v) Realizar corridas con valores extremos
(vi) Utilizar variables con nombres nemotécnicos
(vii) Inclusión en la simulación del mayor número
posible de resultados y pruebas de diagnóstico con
valores intermedios,
(viii) Correr el modelo paso a paso conforme éste se
va construyendo y analizar los resultados
preliminares,
(ix) Incluir señales de advertencia en el código para
identificar resultados inesperados,
(x) Documentar el código explicando subrutinas
(xi) Elaborar el código de manera modular y realizar
pruebas independientes para los distintos módulos
(xii) Modelo más simple posible y evitar cajas negras
que hagan difícil entender su desempeño
(xiii) Utilizar un generador de números pseudosaleatorios apropiado.
(xiv) Anidar modelos en otros ya establecidos de tal
forma que los resultados conocidos de estos últimos
puedan ser verificables (e.g agentes con decisiones
racionales a agentes con decisiones adaptivas)
(xv) Elaborar modelos flexibles que puedan ser
utilizados para diferentes propósitos y de esta manera
tener mayor
(xvi) Implementar modelos alternativos con supuestos
accesorios diferentes.
(xvii) Realizar análisis de sensibilidad con espacio de
parámetros relativamente amplio.
(xviii) Aplicar ABM en simulaciones que describen
situaciones conocidas y cuyos resultados son
relativamente fácil de anticipar.
(xix) Crear simplificaciones para disponer de una
versión matemática que permita analizar la
equivalencia en su desempeño en situaciones en que
ambos puedan ser considerados como análogos.
(xx) Implementar el modelo en diferentes lenguajes y
plataformas de programación.
(xxi) Realizar corridas en diferentes computadoras y
diferentes sistemas operativos.
7.7 Replicación de un ABM
Replicación
= avance en el conocimiento
Distintos investigadores y plataformas
Mayor confianza en resultados
Ayuda en verificación (bugs e inconsistencias)
Ayuda a detectar errores de interpretación
No muy frecuente: herramienta novedosa, falta
de protocolos, acceso a códigos
Objetivos al replicar: identidad numérica,
equivalencia en distribuciones, y equivalencia
relacional (laxa, pero más viable)
* Docking o alineación
Modelo
construido con un propósito se integra
a otro más general
Objetivo: verificar si resultados del primero se
dan en el segundo
Probar que los dos modelos son compatibles
para explicar un mismo fenómeno
Análisis de sensibilidad de subrutinas
completas
Difusión cultural de Axelrod en Sugarscape,
aunque en este último se explican otras cosas
(intercambio comercial, conflictos)
* Ejemplo etnocentrismo, Axelrod (2003)
Etnocentrismo
cooperar con propios y
defectar con ajenos
Interacciones por parejas en una vecindad a
través del dilema del prisionero
Una tirada → etnocentrismo no es producto
de reciprocidad y reputación
Limitaciones cognitiva y herencia abstracta
Tres atributos: (i) etiqueta de pertenencia a
grupo, (ii) estrategia con propios, (iii)
estrategia con ajenos
Etiqueta no vinculada a etrategia
Posibilidad
de 4 comportamientos: (CC), (DD),
(DC), (CD), último genotipo etnocentrico
50 x 50, torus. 12 unidades de dotación
(1) Inmigración: agente en sitio vacío aleatorio
(2) Interacción: DP, -1 si coopera, 3 si recibe
apoyo
(3) Reproducción: asexual aleatoria con x% de
probabilidad x=unidades/100, hijo contiguo
con mutación del 0.5%
(4) Muerte: 10% de probabilidad
* Versión en Netlogo
Library → Sample Model → Social
Science → Ethnocentrism
Versión original en Ascape
Circulos = C con mismo color
Cuadrados = D con mismo color
Relleno = C con distinto color
Vacías = D con distinto color
Genotipo etnocéntrico = (CD) = circulos vacíos
Model
Primera
etapas crecen comportamientos de
cooperación (CC) = cículos rellenos
Eyapas
avanzadas: se juntan grupos y
evoluciona el etnocentrismo (CD) = círculos
vacíos.
Desaparece también comportamiento
oportunistas
* Resultados numéricos en original
!00/200
periodos, 10 corridas
76% comportamiento etnocentrista (superior al
25% si fuera al azar)
74% de acciones cooperativas
88% favoritismo a semejantes (C con propios y
D con ajenos)
Cuando clusters de color se acercan, ganan
etnocentristas : se apoyan entre ellos, en
cambio egoistas no reciben apoyo ni de su
propio color
Replicación con equivalencia estadística
Mediciones:
% de acciones C, % de acciones
consistentes con etnocentrismo, % de
genotipos etnocentristas
Primera aproximación: se rechaza hipótesis
nula
AH
WR
est-t
2a
aprox.: diferente aplicación del DP, WR:
interacción simultanea del DP, AH: interacción
secuencial
Resultados no muy diferentes a primera aprox.
3a aprox.: confusión agentes cooperadores con
genotipo cooperador
Resultados: más diferentes
4a aprox.: Orden de reglas diferentes, AH =
inmigración-interacción-nacimiento-muerte, WR
= inmigración-nacimiento-muerte-interacción
Resultado menores varianzas pero diferentes
5a
aprox.: AH = activación aleatoria en cada
iteración, WR = mezcla aleatoria en sembrado
Sesgo: algunos reciben ventajas por herencia
en contexto de recursos escasos
Resultados relacionados al etnocentrimo
estadísticamente similares
AH
WR
es-t