Transcript Scale Free

Taller de métodos cuantitativos
Tema: REDES COMPLEJAS
Taller: Redes Complejas
YO: Andrés Moreira
[email protected]
“Investigador Joven”
Oficina F130, VALPO
Horario de Consulta en Stgo: por definir!
¿De qué se trata?
•Propiedades y algoritmos en grafos de “gran
tamaño” (aunque no necesariamente).
•En general es distinto de lo que se hace en “teoría
de grafos” clásica.
•Se busca caracterizar la conectividad de un
conjunto grande de elementos, para entender como
funciona un sistema.
¿De qué se trata?
En los últimos 10 años, ha sido una revolución.
¿De qué se trata?
El área más explotada han sido las “redes sociales”,
pero aparecen en fenómenos muuuuy diversos.
¿De qué se trata?
¿Tiene que ver con otras cosas acá en la escuela?
Síp:
- Bioinformática
- Redes sociales
- Extracción de conocimiento
- laaargo etc
Posibles nexos locales:
De dónde vienen, y qué es lo complejo
Década de los ‘80: movimiento de “vida artificial”.
•Simulaciones masivas de autómatas celulares, y
modelos basados en agentes.
•Se observan muchas cosas “choras”, pero la
ciencia es poca.
Mucha herencia de eso subsiste hoy en día en los
modelos basados en agentes, en áreas de biología
teórica, en algunas heurísticas de IA (ej:hormigas),
etc...
De dónde vienen, y qué es lo complejo
Década de los ‘90: auge de los “sistemas complejos”
•En cierta medida, es la gente de “vida artificial”,
ahora con pantalones largos.
•También se recoge la tradición de la cibernética, la
mirada “sistémica”, no reduccionista.
Se estudian sistemas que tienen demasiadas partes
como para ser estudiados en detalle, pero que son
demasiado heterogeneos como para aplicarles física
estadística. De ahí lo “complejo”.
De dónde vienen, y qué es lo complejo
“Sistemas complejos”
•Hormiguero
•Cerebro
•Economía
•Lenguaje
•Tránsito
•Sociedad
•Ecosistema
•Célula
•...
De dónde vienen, y qué es lo complejo
Aparecen temas comunes:
•Agentes adaptativos
•Sistemas robustos pero flexibles (a veces
cercanos al caos)
•No lineales
•Fenómenos emergentes (cosas “macro” que no se
deducen directamente de lo “micro”)
•Feedback positivo sobre variaciones aleatorias
•Distribuciones según leyes de potencia
•Etc.
De dónde vienen, y qué es lo complejo
Problema con los “sistemas complejos”
•Los sistemas son tan distintos, que cuesta
construir teorías generales.
•La cosa se queda un poco en observaciones “al
ojímetro” y filosofía, pero poca ciencia dura o
aplicable.
Muchos modelos y simulaciones, pero cuesta
“poner el dedo” sobre lo que determina los
fenómenos interesantes.
De dónde vienen, y qué es lo complejo
A fines de los 90, aparecen las redes.
¿Por qué no antes?
•Recién entonces hubo datos masivos de redes.
•Además, a nadie se le había ocurrido poner el
énfasis ahí: en la forma en que los elementos de
los sistemas están conectados.
Modelo de Erdös-Renyi
Durante décadas el modelo de red
aleatoria (que era la forma de pensar
en las redes sociales, y redes grandes
en general) fue el modelo Erdös-Renyi
(1960).
Paul Erdös
•Grafo no dirigido G(n,p)
•n nodos.
•Pongo una arista entre dos nodos con probabilidad p.
Modelo de Erdös-Renyi
p=0, <k>=0
p=0.045, <k>=0.5
p=0.09, <k>=1
Tamaño de la mayor componente conexa:
1
5
11
Diámetro de la mayor componente:
0
4
7
Distancia promedio entre nodos conectados:
2
4.2
p=1, <k>=n=12
12
1
1
Modelo de Erdös-Renyi
Grado promedio : np.
Distribución de grados: binomial (aprox. Poisson).
E&R demostraron que:
•Si np < 1, casi seguramente G(n,p) no tiene
componentes conexas de tamaño mayor a O(log
n).
•Si np = 1, c.s. G(n,p) tiene una componente
conexa máxima de tamaño ~ n2/3. Los tamaños de
las c.c. siguen una ley de potencia.
Modelo de Erdös-Renyi
•Si np > 1, c.s. G(n,p) hay una c.c "gigante", O(n), y la
siguiente c.c. es O(log n).
•Si p > (ln n)/n, c.s. G(n,p) es conexo. Si es <,
entonces c.s. no lo es.
Nota: en lo anterior, el "casi seguramente" significa
lo siguiente. El grafo G es una variable aleatoria. Que
cumpla la propiedad "A" c.s. quiere decir que
lim PG cumple A  1
n 
Modelo de Erdös-Renyi
Durante décadas el modelo ER fue el único que se
usó para modelas las redes "reales" (sociales,
tecnológicas, biológicas).
Principalmente porque no había datos masivos para
cotejar; sólo datos muy parciales, de grafos
pequeños.
Cuando aparecieron datos masivos, se vio que sus
características no coincidían con ER.
¿Qué características?
Propiedades de redes
Cosas que se suelen mirar en una red (principales):
Principales:
•Distribución de grados
grado promedio, grado máximo...
•Distancia promedio y diámetro (distancia máxima)
•Nivel de aglomeración (clustering)
Propiedades de redes
Cosas que se suelen mirar en una red (otras):
•Correlaciones de grados (entre vecinos).
•Componentes conexas, "comunidades".
•Frecuencia de subgrafos (e.g., presencia de
cliques).
...
X
Propiedades de redes
Salvo que se diga lo contrario, pensamos en grafos
simples, no dirigidos, et voilà.
Cuando hay más propiedades, hay otras cosas que
mirar. Por ejemplo:
•En digrafos, correlación entre grados in/out.
•Si hay más de un tipo de nodo, "mezcla" entre los
tipos.
•En grafos con pesos en las aristas, efecto de
eliminar las más "débiles".
•Etc, etc...
Distribución de grados
La distribución de grados en ER es una Poisson.
•está concentrada en torno a su media
•la probabilidad de encontrar un nodo con un grado
muy chico o muy grande decae exponencialmente
Hay una "escala" característica en la distribución.
Distribución de grados
Lo que se observa en la mayoría de las redes reales es
que los grados se distribuyen según una ley de potencia
(power law; lineal en log-log):
f(k)~k-
(por lo general 2    3)
•La cola es "pesada" (no decae exponencialmente).
•No hay escala característica. Se habla de
distribuciones (o redes) "libres de escala" (scale free).
Distribución de grados
En algunas (pocas) redes se observa una distribución
exponencial:
f(k) =  e-k
Se ve lineal en log-lineal
λ
log f
k
Distancia promedio
La distancia L entre dos nodos es la longitud del
camino más corto entre ellos.
•En una malla regular (digamos, un subconjunto
conexo de tamaño n, tomado de Zd), <L> ~ n1/d.
•En ER, L ~ (log n)/(log k)
•Esto coincide con lo observado en la mayoría de
las redes reales (efecto "small world”).
Índice(s) de clustering
En muchas redes reales, se observa transitividad: si
A y B son vecinos de C, suelen ser vecinos entre sí.
Hay más de una forma de medir esto. Las dos más
típicas:
•Sea ai la cantidad de posibles triángulos que incluyen al nodo i
(si su grado es di, ai=di(di-1)/2).
•Sea bi la cantidad de triángulos que incluyen al nodo i.
C(1) = <bi>/<ai>
C(2) = <bi/ai> el más usado
Índice(s) de clustering
1
4
3
2
En ER, ambos
valen p.
Pero no es lo
que se suele
observar 
5
C
(1)
C
(2)


3
1 1  6
1
5

3
8
1  1  1 6  
N
k
13
30
Small Worlds
Stanley Milgram, 1967:
•Experimento de envío de cartas entre
desconocidos (de Nebraska a Boston).
•La gente tenía que enviarle la carta a alguien
con quien se "tuteara".
•El 20% de las cartas llegó.
•Cantidad promedio de pasos: 5.2.
Small Worlds
 "6 grados de separación".
•La idea ya es parte del saber "público" (obra
de teatro, películas, libros...)
•Anecdóticamente, ya estaba ("el mundo es
un pañuelo", etc.)
•Compatible con ER, así que no causó
problemas.
No es exclusivo de la red de amistades
humanas:
Small Worlds
[M. Newman, 2003]
Otras propiedades
Mezcla, cuando hay nodos de más de un tipo:
Evaluar dependencia
de esas v.a.
(hay varias
aproximaciones)
Otras propiedades
Correlación entre grados
¿Los nodos más conectados, se prefieren entre
sí? ¿Y los menos conectados?
•Pastoras et al: graficar el grado promedio
de los vecinos, como función del grado
•Newman: calcular coef. de correlación entre
los extremos de las aristas.
Otras propiedades
Correlación (à la Newman)
Otras propiedades
Detección de comunidades
•Amplia literatura proponiendo algoritmos.
•Muchísimas aplicaciones!
Otras propiedades
Resistencia a fallas/ataques
Falla: eliminación aleatoria de un nodo/arista
Ataque: eliminación "pensada"
¿Cómo afectan...
•la conexidad?
•el promedio de distancias?
•el "flujo"?
•Etc, etc
Otras propiedades
Comunicaciones
por tierra y aire,
EEUU
Red regular (casi
lattice), vs una
red "scale free"
(sin escala)
Otras propiedades
Regular con
fallas
SF con fallas
SF bajo
ataque
Ejemplos
Erdos Number Distribution
70000
60000
50000
People
•nodos: científicos
•relación: haber sido coautores
Son las "redes de colaboración"
(se han estudiado mucho).
40000
30000
20000
10000
0
0 1
2 3
4 5
Número de Erdös: distancia a
Erdös, que viajó mucho, escribió
~1500 artículos, colaboró con más
de 500 colegas.
Entre matemáticos en MathSciNet,
el promedio es ~5.
 http://www.oakland.edu/enp/
6 7 8 9 10 11 12 13 14 15 16
Erdos Number
0
---
1
1
---
504
2
---
6593
3
---
33605
4
---
83642
5
---
87760
6
---
40014
7
---
11591
8
---
3146
9
---
819
10
---
244
11
---
68
12
---
23
13
---
5
Ejemplos
"Oráculo de Bacon"
•nodos: actores
•relación: coincidir en alguna película
listada en IMDB
 http://oracleofbacon.org/
La distancia promedio a Bacon es 2.8; el máximo es 8.
Distancia promedio entre actores: 3.48
Ejemplos
Nota: no hay nada de especial en Kevin Bacon!
R o d S teig er
A v erag e
d istan ce
2 .5 3 7 52 7
# of
m o v ies
112
# of
lin k s
2562
2
D o n ald P leasen ce
2 .5 4 2 37 6
180
2874
3
M artin S h een
2 .5 5 1 21 0
136
3501
4
C h risto p h er L ee
2 .5 5 2 49 7
201
2993
5
R o b ert M itch u m
2 .5 5 7 18 1
136
2905
6
C h arlto n H esto n
2 .5 6 6 28 4
104
2552
7
E d d ie A lb ert
2 .5 6 7 03 6
112
3333
8
R o b ert V au g h n
2 .5 7 0 19 3
126
2761
9
D o n ald S u th erlan d
2 .5 7 7 88 0
107
2865
10
Jo h n G ielg u d
2 .5 7 8 98 0
122
2942
11
A n th o n y Q u in n
2 .5 7 9 75 0
146
2978
12
Jam es E arl Jo n es
2 .5 8 4 44 0
112
3787
K ev in B aco n
2 .7 8 6 98 1
46
1811
R an k
N am e
1
…
876
…
M. Girvan and M. E. J. Newman
Community structure in social
and biological networks
Proc. Natl. Acad. Sci. USA 99
8271-8276 (2002).
Ejemplos
Red terrorista (incluyendo a
los autores del 11/9 gringo).
Una vista parcial de Internet
(imagen vía wikipedia)
Internet Mapping Project:
http://research.lumeta.com/ches/map/gallery/index.html
The Political Blogosphere and the 2004 U.S. Election:
Divided They Blog [Adamic & Glance, 2005]
Ejemplos
Asociaciones
de palabras
Colaboración
científica
Interacciones de proteínas
Ejemplos
Ejemplos
Ejemplos
Relaciones de pareja en un college norteamericano
Ejemplos
F. Liljeros et al, Nature,
2001: encuesta a 4781
suecos, edades 18-74.
Pregunta: # de parejas
sexuales.
Colgate et al,
PNAS, 1989:
hombres en una
clínica de ETS
en Londres
xkcd.com
Ejemplos
De paso, esto
ilustra otra área
en que hay
investigación:
como dibujar
redes complejas.
Ejemplos
Red de
interacción de
proteínas en
Saccharomyces
cerevisiae
Muchos ejemplos en:
http://www.visualcomplexity.com/
Redes complejas
Propiedades principales que por lo general comparten
las redes complejas:
•Diámetro y distancia media pequeños, O(log N)
•Distribución de grados según ley de potencia,
P(k)~k-
•Alto nivel de clustering local
+ Baja densidad, son redes “sparse”: cantidad de
aristas es O(n).
Dicho sea de paso: no todo es scale free, etc!
(Y también
mencionamos un
caso con
distribución de
grados
exponencial.)
Dicho sea de paso: redes bipartitas
Varios de los
ejemplos podrían
ponerse en
términos de una
red bipartita, con
dos tipos de nodos:
actores/películas,
autores/papers.
La red de debajo
de obtiene como
una proyección de
la de arriba.
Dicho sea de paso: redes bipartitas
Se pierde información: estamos
transformando una relación n-aria en
un conjunto de relaciones binarias. O
en otros términos, un multigrafo en
un grafo.
De paso, se introduce un nivel de clustering (la
transitividad de la relación binaria sale de la n-aria).
A veces convendrá mantener la red en su forma
bipartita (y la relación entre actores estará dada
por su conexión común con una misma
actividad/lugar/etc).
Redes complejas
El modelo ER resistió por muchos años, incluso durante
los 80 y 90 cuando ya había datos y PCs con los cuales
analizarlos.
Algunas pocas observaciones lo contradecían; e.g.,
Alfred Lotka en 1926:
"the number of scientists who have k citations falls off as
k -α for some constant α."
Fue básicamente la internet la que llevó a darse
cuenta de que faltaban nuevos modelos.
Redes complejas
En los últimos 10 años, ha sido una revolución.
Small World
Modelo de small world de Watts & Strogatz (1998):
parte con una malla regular, y modifica aristas
(randomizándolas) con probabilidad p.
N = 1000 k =10
D = 100 L = 49.51
C = 0.67
N =1000 k = 8-13
D = 14 L = 11.1
C = 0.63
N =1000 k = 5-18
D = 5 L = 4.46
C = 0.01
Small World
Para ser más precisos:
•En un anillo de N nodos, se conecta cada uno con sus k/2 vecinos
a izquierda y derecha.
•Se recorre el anillo (dando la vuelta).
•Para cada nodo, para cada arista que lo conecta con un vecino a
la derecha, con probabilidad p se reemplaza ese vecino por uno
escogido al azar.
•No se admiten loops ni aristas repetidas.
Duncan J. Watts & Steven H. Strogatz,
Nature 393, 440-442 (1998)
Small World
Comparte el pequeño diámetro de ER, pero también el
alto clustering de lo regular.
regular
SW
random
C
L
p
NOTA: con p=1, el grafo no es lo mismo que ER; en particular, el
grado promedio es exactamente k. Pero se comporta muy parecido.
Small World
Otras formas de crear un SW:
•Agregar pN aristas ("atajos")
al anillo inicial, entre nodos
escogidos al azar.
•Agregar m nodos "centrales",
conectados a pN nodos del
anillo escogidos al azar.
Ambas garantizan que se mantenga la conexidad del grafo.
Scale Free
Lo que NO cumplen estos
modelos de SW, y que se observa
en redes reales, es una
distribución de grados libre de
escala: sigue siendo una Poisson!
En 1999 Barabasi & Albert proponen un modelo
que genera un red SF (scale free, libre de escala).
Scale Free
Modelo Barabasi-Albert:
•La red se construye progresivamente : se van
agregando nodos.
•Para un nuevo nodo se escogen m vecinos, de
manera proporcional a sus grados.
•Se habla de "preferential attachment"
 (ki ) 
ki
 jk j
Scale Free
También se habla de "the rich get richer".
[Además de intuitivo, hace justicia a Pareto, que notó
una ley de potencia en la distribución de ingresos.]
Scale Free
P(k) ~k-3
A.-L.Barabási, R. Albert,
Science 286, 509 (1999)
Scale Free
•Algunos nodos se convierten en “hubs”,
con muchas conexiones.
•La mayoría es “pobre” en conexiones.
P(k) ~k-3
Se obtiene una distribución de
grados que sigue una ley de potencia
(es “scale free”).
Además se observa efecto small world.
No recupera el nivel alto de clustering; decae
como n-¾ (más lento que en ER, pero igual es
pequeño).
Scale Free
Nota: a diferencia de ER y WS, éste
es un modelo generativo: sugiere un
mecanismo de formación de la red.
•Tener hartos amigos da popularidad; se pueden hacer más amigos.
•Ser citado en un paper implica ser conocido; es más probable que
me vuelvan a citar.
•Un actor que ha actuado en muchas películas es conocido por el
público y los directores, ergo...
•Etc etc
Modelos
Modelos
Ninguno de los modelos (ER, WS, BA) reproduce las
características más comunes de las redes reales:
•Número de aristas ~ número de nodos
•Conexas
•Scale free
•Diámetro pequeño
•Alta clusterización
•Existen muchos otros modelos; ninguno es tan simple
o intuitivo como los iniciales.
•Algunos son generativos, otros no.
•Por lo general son específicos para alguna red real.
Modelos: Modularidad jerárquica
Ravasz, Somera, Mongru, Oltvai, Barabási
Hierarchical Organization of Modularity in Metabolic Networks
Science 297, 1551 (2002)
Modelo determinista (aunque se le puede agregar azar).
•Parto con una clique de cinco nodos (uno "central").
•Hago cuatro copias del grafo. Conecto los nodos
periféricos de la nueva copia con el central.
•Itero.
Modelos: Modularidad jerárquica
•Scale free,
 = 1+ln 4/ln 3
•C (clustering
promedio)
constante, ~0.6
•El clustering promedio de nodos de grado k es  k-1
Eso se ha observado en redes biológicas y se
considera indicio de estructura modular jerárquica.
Modelos: Modularidad jerárquica
Functional modules of the kinome network
[Hee, Hak, 2004]
Modelos: Modularidad jerárquica
Asociaciones
de palabras
Colaboración
científica
Interacciones de proteínas
Modelos: Redes "apolónicas" (Apollonian networks)
•Parto con un triángulo.
•En cada paso:
•escojo al azar un triángulo
•le agrego un nodo dentro
•lo uno a los tres vértices
del triángulo
•También cumple con todo.
•Aparecen en empaquetamientos de esferas; son
las redes de fuerzas en material granulado, etc.
Andrade et al, Phys. Rev. Lett. 94, 018702 (2005)
Apollonian Networks : Simultaneously Scale-Free, Small
World, Euclidean, Space Filling, and with Matching Graphs
Modelos: Activos e inactivos
Nodos activos e inactivos.
En un momento dado hay m nodos activos.
•Parto con una clique de m nodos activos.
•En cada paso
•agrego un nuevo nodo (activo) que se conecta a los
m actualmente activos
•desactivo un nodo activo; lo escojo con prob.
inversamente proporcional a a+ki
•Clustering alto
•Scale free
K. Klemm and V. Eguiluz, Phys. Rev. E
65, 036123 (2002)
Modelos: Fitness
Una crítica al modelo de Barabási&Albert es que
los nodos más antiguos se benefician más:
¿Cómo puede un novato llegar a ser grande?
(Google vs Altavista)
 Modelo con fitness (Buckley & Osthus):
agregamos a cada nodo un fitness . Mantenemos
el esquema de B&A, pero ahora la probabilidad de
escoger un nodo es
 (ki ) 
 i ki

j
j kj
•También da scale free
•Grado de un nodo con fitness  en tiempo t: ~ t/C
Modelos: Copia
Modelo "copión" (Kleinberg):
•Cada nodo tiene idéntico grado de salida d.
•Cada nodo nuevo elige uno de los ya existentes (de
forma uniforme) como prototipo.
•Para su i-ésimo link, con probabilidad  copia el i-ésimo
link del prototipo, con probabilidad 1- elige al azar.
Modelos: Copia
•La distribución de grados de entrada queda scale
free con exponente  = (2-)/(1-).
•Se creó como modelo de la web (páginas temáticas).
•Funciona bastante bien para comunidades temáticas
en la web, y también para algunas otras redes reales.
•Produce muchos subgrafos bipartitos, observados en
la web.
•No reproduce el nivel de clustering.