Transcript Grands Graphes de Terrain - 0.3cm mesure et métrologie

Graphes de
Terrain
Matthieu
Latapy
Les objets
Problématiques
Grands Graphes de Terrain
Contributions
Exemple type
mesure et métrologie, analyse, modélisation, algorithmique
Conclusion
Perspectives
Questions
Matthieu Latapy
Soutenance d’Habilitation à Diriger des Recherches
LIP6 – CNRS et Université Pierre et Marie Curie (UPMC – Paris 6)
1/19
Graphes de
Terrain
Matthieu
Latapy
Les objets
Problématiques
Contributions
Exemple type
Grands graphes de terrain
informatique : internet, web, pair-à-pair, etc
biologie : cerveau, gènes, protéines, écosystèmes, etc
sciences sociales : collaboration, amitié, contacts sexuels,
échanges, économie, etc
Conclusion
Perspectives
Questions
linguistique : synonymie, co-occurrence, etc
transport : routier, aérien, électrique, etc
etc, etc
pas de définition formelle
graphes issus du terrain
contextes très différents
2/19
Graphes de
Terrain
Des propriétés en commun
Matthieu
Latapy
Les objets
Problématiques
Contributions
la plupart des graphes de terrain ont des
propriétés non-triviales en commun [WS98]
Exemple type
Conclusion
Perspectives
Questions
propriétés en commun :
• distance moyenne et diamètre faibles (petit-monde)
• degrés hétérogènes (loi de puissance, scale-free)
• densité globale faible vs densité locale forte (clustering)
et des problématiques communes
• mesure et métrologie
• modélisation
• analyse
• algorithmique
3/19
Graphes de
Terrain
Des propriétés en commun
Matthieu
Latapy
Les objets
Problématiques
Contributions
la plupart des graphes de terrain ont des
propriétés non-triviales en commun [WS98]
Exemple type
Conclusion
Perspectives
Questions
propriétés en commun :
• distance moyenne et diamètre faibles (petit-monde)
• degrés hétérogènes (loi de puissance, scale-free)
• densité globale faible vs densité locale forte (clustering)
et des problématiques communes
• mesure et métrologie
• modélisation
• analyse
• algorithmique
3/19
Graphes de
Terrain
Des propriétés en commun
Matthieu
Latapy
Les objets
Problématiques
Contributions
la plupart des graphes de terrain ont des
propriétés non-triviales en commun [WS98]
Exemple type
Conclusion
Perspectives
Questions
propriétés en commun :
• distance moyenne et diamètre faibles (petit-monde)
• degrés hétérogènes (loi de puissance, scale-free)
• densité globale faible vs densité locale forte (clustering)
et des problématiques communes
• mesure et métrologie
• modélisation
• analyse
• algorithmique
3/19
Graphes de
Terrain
Mesure
Matthieu
Latapy
Les objets
Problématiques
Contributions
Exemple type
Conclusion
Perspectives
opération de mesure
graphe réel
vue obtenue
Questions
que peut on dire sur l’objet réel à partir de la mesure ?
impact sur les propriétés observées ?
impact des propriétés sur la vue ?
mesures ciblant certaines propriétés ?
...
4/19
Graphes de
Terrain
Mesure et Métrologie
Matthieu
Latapy
Les objets
?
inférence
Problématiques
Contributions
Exemple type
Conclusion
Perspectives
opération de mesure
graphe réel
vue obtenue
Questions
que peut on dire sur l’objet réel à partir de la mesure ?
impact sur les propriétés observées ?
impact des propriétés sur la vue ?
mesures ciblant certaines propriétés ?
...
4/19
Graphes de
Terrain
Analyse
Matthieu
Latapy
décrire
Les objets
Problématiques
Contributions
extraire de l’information pertinente
Exemple type
Conclusion
Perspectives
statistiques
structure
Questions
densité
degrés
densité locale
corrélations
...
encore beaucoup de manques
5/19
Graphes de
Terrain
Analyse
Matthieu
Latapy
décrire
Les objets
Problématiques
Contributions
extraire de l’information pertinente
Exemple type
Conclusion
Perspectives
statistiques
structure
Questions
densité
degrés
densité locale
corrélations
...
encore beaucoup de manques
5/19
Graphes de
Terrain
Modélisation
Matthieu
Latapy
Les objets
Problématiques
Contributions
Exemple type
génération de graphes réalistes
(i.e. ayant les propriétés observées)
Conclusion
Perspectives
Questions
motivations : approches formelles, simulation, explication
état de l’art :
• taille, densité, distances : facile
• degrés : consensus, modèles bien maîtrisés
• densité locale : pas de consensus
6/19
Graphes de
Terrain
Modélisation
Matthieu
Latapy
Les objets
Problématiques
Contributions
Exemple type
génération de graphes réalistes
(i.e. ayant les propriétés observées)
Conclusion
Perspectives
Questions
motivations : approches formelles, simulation, explication
état de l’art :
• taille, densité, distances : facile
• degrés : consensus, modèles bien maîtrisés
• densité locale : pas de consensus
6/19
Graphes de
Terrain
Algorithmique
Matthieu
Latapy
Les objets
Problématiques
Contributions
Exemple type
Conclusion
problèmes spécifiques
problèmes classiques à revisiter
restrictions en espace
Perspectives
Questions
• tirer parti des propriétés observées
• résultats approchés souvent suffisants
• algorithmique empirique / expérimentale
֒→ renouveau algorithmique
7/19
Graphes de
Terrain
Algorithmique
Matthieu
Latapy
Les objets
Problématiques
Contributions
Exemple type
Conclusion
problèmes spécifiques
problèmes classiques à revisiter
restrictions en espace
Perspectives
Questions
• tirer parti des propriétés observées
• résultats approchés souvent suffisants
• algorithmique empirique / expérimentale
֒→ renouveau algorithmique
7/19
Graphes de
Terrain
Vue d’ensemble
Matthieu
Latapy
graphes de terrain
Les objets
Problématiques
Contributions
Exemple type
mesure
métrologie
analyse
modélisation
algorithmique
Conclusion
Perspectives
Questions
8/19
Graphes de
Terrain
Vue d’ensemble
Matthieu
Latapy
graphes de terrain
Les objets
Problématiques
Contributions
Exemple type
mesure
métrologie
analyse
modélisation
algorithmique
Conclusion
Perspectives
Questions
• mesure → données → analyse → propriétés → modélisation
• modélisation → formalismes → métrologie, algorithmique
• analyse → calcul → algorithmique → calculables →analyse
• métrologie → propriétés robustes → analyse
• ...
8/19
Graphes de
Terrain
Positionnement
Matthieu
Latapy
Les objets
Problématiques
Contributions
approche globale, guidée par les objets
Exemple type
Conclusion
Perspectives
Questions
aller-retours permanents entre théorie et pratique
résultats formels si c’est possible/pertinent
expérimentaux et empiriques sinon
9/19
Graphes de
Terrain
Contributions
Matthieu
Latapy
Les objets
Problématiques
Contributions
mesure et métrologie
• outils de mesure : paris-traceroute et tracetree
• étude du biais induit par traceroute
• pertinence des échantillons
[CN, IMC, –]
[Infocom, CN, CS]
[Infocom, –]
Exemple type
Conclusion
Perspectives
Questions
analyse
• études de cas
[AoT, CN, Networking, IPTPS, EuroPar, IWDC]
• graphes bipartis / réseaux d’affiliation
[Social Networks]
• dynamiques de graphes
[IWDC, –]
modélisation
[IPL, CAAN, Physica A]
• modèle biparti
• génération de graphes aléatoires
[COCOON, –]
• méthode générale : codage des propriétés par les degrés [–]
algorithmique
• détection de communautés
• triangles (densité locale)
• diamètre
[JGAA, ISCIS ]
[TCS, –]
[–]
10/19
Graphes de
Terrain
Contributions
Matthieu
Latapy
Les objets
Problématiques
Contributions
mesure et métrologie
• outils de mesure : paris-traceroute et tracetree
• étude du biais induit par traceroute
• pertinence des échantillons
[CN, IMC, –]
[Infocom, CN, CS]
[Infocom, –]
Exemple type
Conclusion
Perspectives
Questions
analyse
• études de cas
[AoT, CN, Networking, IPTPS, EuroPar, IWDC]
• graphes bipartis / réseaux d’affiliation
[Social Networks]
• dynamiques de graphes
[IWDC, –]
modélisation
[IPL, CAAN, Physica A]
• modèle biparti
• génération de graphes aléatoires
[COCOON, –]
• méthode générale : codage des propriétés par les degrés [–]
algorithmique
• détection de communautés
• triangles (densité locale)
• diamètre
[JGAA, ISCIS ]
[TCS, –]
[–]
10/19
Graphes de
Terrain
Contributions
Matthieu
Latapy
Les objets
Problématiques
Contributions
mesure et métrologie
• outils de mesure : paris-traceroute et tracetree
• étude du biais induit par traceroute
• pertinence des échantillons
[CN, IMC, –]
[Infocom, CN, CS]
[Infocom, –]
Exemple type
Conclusion
Perspectives
Questions
analyse
• études de cas
[AoT, CN, Networking, IPTPS, EuroPar, IWDC]
• graphes bipartis / réseaux d’affiliation
[Social Networks]
• dynamiques de graphes
[IWDC, –]
modélisation
[IPL, CAAN, Physica A]
• modèle biparti
• génération de graphes aléatoires
[COCOON, –]
• méthode générale : codage des propriétés par les degrés [–]
algorithmique
• détection de communautés
• triangles (densité locale)
• diamètre
[JGAA, ISCIS ]
[TCS, –]
[–]
10/19
Graphes de
Terrain
Contributions
Matthieu
Latapy
Les objets
Problématiques
Contributions
mesure et métrologie
• outils de mesure : paris-traceroute et tracetree
• étude du biais induit par traceroute
• pertinence des échantillons
[CN, IMC, –]
[Infocom, CN, CS]
[Infocom, –]
Exemple type
Conclusion
Perspectives
Questions
analyse
• études de cas
[AoT, CN, Networking, IPTPS, EuroPar, IWDC]
• graphes bipartis / réseaux d’affiliation
[Social Networks]
• dynamiques de graphes
[IWDC, –]
modélisation
[IPL, CAAN, Physica A]
• modèle biparti
• génération de graphes aléatoires
[COCOON, –]
• méthode générale : codage des propriétés par les degrés [–]
algorithmique
• détection de communautés
• triangles (densité locale)
• diamètre
[JGAA, ISCIS ]
[TCS, –]
[–]
10/19
Graphes de
Terrain
Contributions
Matthieu
Latapy
Les objets
Problématiques
Contributions
mesure et métrologie
• outils de mesure : paris-traceroute et tracetree
• étude du biais induit par traceroute
• pertinence des échantillons
[CN, IMC, –]
[Infocom, CN, CS]
[Infocom, –]
Exemple type
Conclusion
Perspectives
Questions
analyse
• études de cas
[AoT, CN, Networking, IPTPS, EuroPar, IWDC]
• graphes bipartis / réseaux d’affiliation
[Social Networks]
• dynamiques de graphes
[IWDC, –]
modélisation
[IPL, CAAN, Physica A]
• modèle biparti
• génération de graphes aléatoires
[COCOON, –]
• méthode générale : codage des propriétés par les degrés [–]
algorithmique
• détection de communautés
• triangles (densité locale)
• diamètre
[JGAA, ISCIS ]
[TCS, –]
[–]
10/19
Graphes de
Terrain
Matthieu
Latapy
Un exemple type
problème :
Les objets
• vues partielles en pratique
Problématiques
• usage : mesures massives, supposées représentatives
Contributions
Exemple type
• travaux antérieurs : résultats négatifs, théoriques
Conclusion
propriétés fiables ?
certitudes ?
que faire en pratique ?
Perspectives
Questions
méthode :
• propriétés de base
• évolution au cours de la mesure
besoin de grosses données de mesure
coller à ce qui se fait (données, biais)
11/19
Graphes de
Terrain
Matthieu
Latapy
Un exemple type
problème :
Les objets
• vues partielles en pratique
Problématiques
• usage : mesures massives, supposées représentatives
Contributions
Exemple type
• travaux antérieurs : résultats négatifs, théoriques
Conclusion
propriétés fiables ?
certitudes ?
que faire en pratique ?
Perspectives
Questions
méthode :
• propriétés de base
• évolution au cours de la mesure
besoin de grosses données de mesure
coller à ce qui se fait (données, biais)
11/19
Graphes de
Terrain
Résultats
Matthieu
Latapy
Les objets
– propriétés quand l’échantillon grandit –
Problématiques
Contributions
Exemple type
Conclusion
Perspectives
Questions
degré moyen
12/19
Graphes de
Terrain
Résultats
Matthieu
Latapy
– propriétés quand l’échantillon grandit –
Les objets
Problématiques
0.190
0.400
Contributions
Exemple type
Conclusion
0.170
0.300
0.150
0.130
0.200
Perspectives
0.110
0.100
Questions
0.090
0.000
0.070
0.800
0
0.00030
0.750
0.00025
4.0e+05
8.0e+05
1.2e+06
1.6e+06
0.700
1e+06
2e+06
3e+06
4e+06
5e+06
6e+06
0.00020
0.650
0.00015
0.600
0.00010
0.550
0.00005
0.500
0.450
0
1e+07
2e+07
3e+07
4e+07
0.00000
5.0e+05
1.0e+06
1.5e+06
2.0e+06
densité locale (coefficient de clustering)
12/19
Graphes de
Terrain
Résultats
Matthieu
Latapy
Les objets
– propriétés quand l’échantillon grandit –
Problématiques
Contributions
Exemple type
Conclusion
Perspectives
Questions
rapport densité locale / densité globale
12/19
Graphes de
Terrain
Résultats
Matthieu
Latapy
Les objets
Problématiques
Contributions
Exemple type
– propriétés quand l’échantillon grandit –
conclusions :
Conclusion
Perspectives
Questions
• cas où l’observation ne peut pas être fiable
• cas où elle peut l’être
• test applicable en pratique
• liens entre propriétés
• propriétés plus stables ⇒ analyse ?
• résultats empiriques
12/19
Graphes de
Terrain
Compter les triangles
Matthieu
Latapy
Les objets
Problématiques
Contributions
Exemple type
Conclusion
état de l’art :
• les plus rapides : espace Θ(n2 ) (matrices)
• en pratique : temps Θ(mn), espace Θ′ (2m + n) ⊆ Θ(m)
• coût en espace joue un rôle essentiel
insuffisant dans notre contexte
Perspectives
Questions
3
théorème – temps Θ(m 2 ) et espace Θ′ (m + n) ⊆ Θ(m).
théorème – loi de puissance, exposant α ⇒ temps réduit
1
à O(mn α ).
amélioration de l’état de l’art
prise en compte des contraintes pratiques
utilisation des propriétés des graphes de terrain
13/19
Graphes de
Terrain
Compter les triangles
Matthieu
Latapy
Les objets
Problématiques
Contributions
Exemple type
Conclusion
état de l’art :
• les plus rapides : espace Θ(n2 ) (matrices)
• en pratique : temps Θ(mn), espace Θ′ (2m + n) ⊆ Θ(m)
• coût en espace joue un rôle essentiel
insuffisant dans notre contexte
Perspectives
Questions
3
théorème – temps Θ(m 2 ) et espace Θ′ (m + n) ⊆ Θ(m).
théorème – loi de puissance, exposant α ⇒ temps réduit
1
à O(mn α ).
amélioration de l’état de l’art
prise en compte des contraintes pratiques
utilisation des propriétés des graphes de terrain
13/19
Graphes de
Terrain
Estimer le diamètre
Matthieu
Latapy
Les objets
Problématiques
Contributions
état de l’art :
• calcul exact : trop lent, trop côuteux en espace
• approximations : pas assez précises, coûteuses
Exemple type
insuffisant dans notre contexte
Conclusion
Perspectives
Questions
bornes inférieures et supérieures garanties et faciles
+ heuristiques pour qu’elles soient proches
résultats types
tlb
29
8
26
9
dslb
31
9
32
9
hdtub
34
10
33
9
rtub
34
10
33
9
tub
38
10
34
10
encadrement garanti
empiriquement très serré
cas auparavant hors d’atteinte
14/19
Graphes de
Terrain
Estimer le diamètre
Matthieu
Latapy
Les objets
Problématiques
Contributions
état de l’art :
• calcul exact : trop lent, trop côuteux en espace
• approximations : pas assez précises, coûteuses
Exemple type
insuffisant dans notre contexte
Conclusion
Perspectives
Questions
bornes inférieures et supérieures garanties et faciles
+ heuristiques pour qu’elles soient proches
résultats types
tlb
29
8
26
9
dslb
31
9
32
9
hdtub
34
10
33
9
rtub
34
10
33
9
tub
38
10
34
10
encadrement garanti
empiriquement très serré
cas auparavant hors d’atteinte
14/19
Graphes de
Terrain
Estimer le diamètre
Matthieu
Latapy
Les objets
Problématiques
Contributions
état de l’art :
• calcul exact : trop lent, trop côuteux en espace
• approximations : pas assez précises, coûteuses
Exemple type
insuffisant dans notre contexte
Conclusion
Perspectives
Questions
bornes inférieures et supérieures garanties et faciles
+ heuristiques pour qu’elles soient proches
résultats types
tlb
29
8
26
9
dslb
31
9
32
9
hdtub
34
10
33
9
rtub
34
10
33
9
tub
38
10
34
10
encadrement garanti
empiriquement très serré
cas auparavant hors d’atteinte
14/19
Graphes de
Terrain
Conclusion
Matthieu
Latapy
graphes de terrain
Les objets
Problématiques
Contributions
mesure
métrologie
analyse
modélisation
algorithmique
Exemple type
Conclusion
Perspectives
Questions
approche globale, guidée par les objets
aller-retours permanents entre théorie et pratique
résultats formels si c’est possible/pertinent
expérimentaux et empiriques sinon
15/19
Graphes de
Terrain
Mesures orientées propriétés
Matthieu
Latapy
besoin / objectif : estimation fiable de propriétés
Les objets
Problématiques
approche actuelle : données les plus massives possibles
Contributions
֒→ représentativité ?
֒→ mesures complexes
Exemple type
Conclusion
Perspectives
Questions
proposition :
processus de mesure simples mais analysables
processus de mesure ciblant une propriété
ex : web → marches aléatoires, parcours en largeur
perspective :
mesurer les propriétés
générer des graphes ressemblant
16/19
Graphes de
Terrain
Mesures orientées propriétés
Matthieu
Latapy
besoin / objectif : estimation fiable de propriétés
Les objets
Problématiques
approche actuelle : données les plus massives possibles
Contributions
֒→ représentativité ?
֒→ mesures complexes
Exemple type
Conclusion
Perspectives
Questions
proposition :
processus de mesure simples mais analysables
processus de mesure ciblant une propriété
ex : web → marches aléatoires, parcours en largeur
perspective :
mesurer les propriétés
générer des graphes ressemblant
16/19
Graphes de
Terrain
Mesures orientées propriétés
Matthieu
Latapy
besoin / objectif : estimation fiable de propriétés
Les objets
Problématiques
approche actuelle : données les plus massives possibles
Contributions
֒→ représentativité ?
֒→ mesures complexes
Exemple type
Conclusion
Perspectives
Questions
proposition :
processus de mesure simples mais analysables
processus de mesure ciblant une propriété
ex : web → marches aléatoires, parcours en largeur
perspective :
mesurer les propriétés
générer des graphes ressemblant
16/19
Graphes de
Terrain
Communautés
Matthieu
Latapy
Les objets
défis :
très grands graphes
fonctions de qualité
Problématiques
Contributions
Exemple type
Conclusion
au-delà de la partition
plusieurs réponses ?
Perspectives
Questions
propositions :
résultats des algorithmes
étude de communautés connues
modèles jouets
perspectives :
analyse ; modélisation ;
visualisation ; compression ; ...
17/19
Graphes de
Terrain
Communautés
Matthieu
Latapy
Les objets
défis :
très grands graphes
fonctions de qualité
Problématiques
Contributions
Exemple type
Conclusion
au-delà de la partition
plusieurs réponses ?
Perspectives
Questions
propositions :
résultats des algorithmes
étude de communautés connues
modèles jouets
perspectives :
analyse ; modélisation ;
visualisation ; compression ; ...
17/19
Graphes de
Terrain
Communautés
Matthieu
Latapy
Les objets
défis :
très grands graphes
fonctions de qualité
Problématiques
Contributions
Exemple type
Conclusion
au-delà de la partition
plusieurs réponses ?
Perspectives
Questions
propositions :
résultats des algorithmes
étude de communautés connues
modèles jouets
perspectives :
analyse ; modélisation ;
visualisation ; compression ; ...
17/19
Graphes de
Terrain
Dynamiques de graphes
Matthieu
Latapy
les graphes de terrain sont dynamiques
Les objets
Problématiques
Contributions
Exemple type
Conclusion
Perspectives
demandes :
détection d’anomalies, d’événements
modélisation par la dynamique
algorithmes sur graphes dynamiques
Questions
défis :
données (de qualité) (grande échelle)
notions / formalismes ? description ?
normal vs anormal ?
échelle(s) de temps ?
...
études de cas, généralisations
18/19
Graphes de
Terrain
Dynamiques de graphes
Matthieu
Latapy
les graphes de terrain sont dynamiques
Les objets
Problématiques
Contributions
Exemple type
Conclusion
Perspectives
demandes :
détection d’anomalies, d’événements
modélisation par la dynamique
algorithmes sur graphes dynamiques
Questions
défis :
données (de qualité) (grande échelle)
notions / formalismes ? description ?
normal vs anormal ?
échelle(s) de temps ?
...
études de cas, généralisations
18/19
Graphes de
Terrain
Dynamiques de graphes
Matthieu
Latapy
les graphes de terrain sont dynamiques
Les objets
Problématiques
Contributions
Exemple type
Conclusion
Perspectives
demandes :
détection d’anomalies, d’événements
modélisation par la dynamique
algorithmes sur graphes dynamiques
Questions
défis :
données (de qualité) (grande échelle)
notions / formalismes ? description ?
normal vs anormal ?
échelle(s) de temps ?
...
études de cas, généralisations
18/19
Graphes de
Terrain
Questions
Matthieu
Latapy
Les objets
Problématiques
Contributions
Exemple type
Conclusion
Perspectives
Questions
?
19/19