Transcript Porquerolles, le 27 mai 2010

Compression et transmission
adaptatives de maillages 3D
Céline Roudet
Le2i - Dijon
[email protected]
Porquerolles, le 27 mai 2010
Contexte
∞ Modèles géométriques 3D
− Explosion de leur production / échange
− Grande diversité de modélisations
∞ Maillages surfaciques
− De plus en plus précis et détaillés
− Répartition irrégulière des échantillons
Porquerolles, le 27/05/2010
Céline ROUDET
2
Contexte (2)
∞ Le projet « CoSurf » (thèse)
− Collaboration avec Orange Labs Rennes
− Favoriser l’échange de données 3D
− Adapter le transfert des données aux ressources
∞ Collaboration (F. Payan et M. Antonini - I3S)
− Optimiser la quantification de la géométrie
− Approche multirésolution (ondelettes)
− Adapter spatialement la quantification
D
R
Porquerolles, le 27/05/2010
Céline ROUDET
3
Plan
I – Maillages 3D progressifs
II – L’analyse multirésolution de maillages
IV – Méthode proposée, résultats et applications
V – Conclusion et perspectives
Porquerolles, le 27/05/2010
Céline ROUDET
4
Maillages triangulaires
Géométrie
Maillage M = (V, F)
Connectivité
V : {Vi = (xi, yi, zi) є R3 / 0 ≤ i <|V|}
F : {Fi = j, k, l є Z3 / 0 ≤ i <|F|}
Maillage triangulaire
4 octets
x3 indices
∞ Trois
Régularité

typesdu
devoisinage
maillages :
36 octets / sommet
288 bits / sommet
∩
1. irréguliers
− liée à la valence (σ) des sommets
2. semi-réguliers :  W V | Vi ,Vj є W : σ(Vi ) ≠ σ(Vj )
3. réguliers : Vi ,Vj є V : σ(Vi ) = σ(Vj )
irrégulier
semi-régulier
régulier
4 octets
x3 coordonnées
Porquerolles, le 27/05/2010
Céline ROUDET
5
Représentations progressives
∞ Intérêt :
− Adaptation aux réseaux et au terminal utilisateur
− Efficacité en termes de rendu
∞ Plusieurs représentations possibles :
− Surfaces de subdivision [Doo et Sabin, 78] + ondelettes [Lounsbery, 97]
≈ 2 - 4 bits / s
− Raffinement progressif [Hoppe, 96], [Gandoin et Devillers, 02]
≈ 2 octets / s
Porquerolles, le 27/05/2010
Céline ROUDET
6
Plan
I – Maillages 3D progressifs
II – L’analyse multirésolution de maillages
IV – Méthode proposée, résultats et applications
V – Conclusion et perspectives
Porquerolles, le 27/05/2010
Céline ROUDET
7
Ondelettes géométriques
[Mallat, 89]
∞ Généralisation des bancs de filtres
− Analyse multirésolution spatiale
S : Split
P : Predict
U : Update
[Sweldens, 95]
[Lounsbery, 97]
∞ Avantages :
− Coûts de calcul réduits
− Filtres simplifiés
− Analyse et synthèse en temps linéaire
Porquerolles, le 27/05/2010
Céline ROUDET
8
En pratique
Update
pair
Predict
impair
Mn-1
Mn
9
Remaillage semi-régulier
− Propice à l’application d’une transformée en ondelettes
− Grande partie de la connectivité : implicite
− Réduction de l’erreur de reconstruction d’un facteur 4
Mir
Maillage
irrégulier
Msr
Maillage
semi-régulier
Mn
original
48 485 sommets
Porquerolles, le 27/05/2010
112 642 sommets
Céline ROUDET
10
Plan
I – Maillages 3D progressifs
II – L’analyse multirésolution de maillages
IV – Méthode proposée, résultats et applications
V – Conclusion et perspectives
Porquerolles, le 27/05/2010
Céline ROUDET
11
Schéma de notre approche
Remaillage
Analyse
globale
Classification
0
Segmentation
multirésolution
Analyse
locale
1
Codage
local
flux
binaire
modèle 3D
irrégulier
modèle 3D
semi-régulier
coefficients
d’ondelettes
clusters
patchs
C
A
N
A
L
niveaux de résolution
flux
binaire
Visualisation
Dijon, le 20/05/2009
Synthèse
locale
Céline ROUDET
Recollage
grossier
Décodage
local
12
12
Analyse ondelettes globale
0
Niveau n-2
Remaillage Normal
1
Amplitude
x10
Angle polaire
Schéma Butterfly
non lifté
x10
Porquerolles, le 27/05/2010
Céline ROUDET
13
Amplitude
des ondelettes
Représentation
multirésolution
112 642 sommets
28 162 sommets
7 042 sommets
1 762 sommets
Pondération
multirésolution
Mn
Dn-1
An-1
Dn-2
An-2
An-3
Niveau n
original
Niveau n-1
Niveau n-2
0
Porquerolles, le 27/05/2010
Niveau n-3 …
Dn-3
Niveau n-1
1
Céline ROUDET
14
sommets,
arêtes ou
facettes
Amplitude
Classification (K-means)
en 2 clusters
Amplitude
Angle polaire
Angle polaire
Classification et croissance de régions
Amplitude
facettes
sommets
K=2
Croissance
de régions
Analyse
globale
Niveau n
original
Porquerolles, le 27/05/2010
Niveau n-1
Niveau n-1
Angle polaire
Céline ROUDET
15
Intérêt de l’analyse / codage indépendants
Connectivité
liste de
symboles
Codage
arithmétique
00110101
[Touma et Gotsman, 98]
Codage
arithmétique
Quantification
zerotree
0110
…
Connectivité
liste de
symboles
Codage
arithmétique
10101101
C
A
N
A
L
1010
Codage
arithmétique
Quantification
[Khodakovsky et al., 00]
+ codage des informations relatives au partitionnement :
−
nb régions, type de cluster, filtres utilisés, … : compressé sans perte
Porquerolles, le 27/05/2010
Céline ROUDET
16
Progressivité de la reconstruction globale
0,20 bit / sommet
Porquerolles, le 27/05/2010
0,57 bit / sommet
1,27 bit / sommet
Céline ROUDET
4,92 bits / sommet
17
Applications de l’analyse locale
Analyse
globale
Clusters
Reconstruction
adaptative
e : erreur (x10-4)
∞
∞
∞
∞
Porquerolles, le 27/05/2010
Transmission et reconstruction adaptative
Visualisation sélective (ROI)
Débruitage et tatouage adaptatifs
Correction d'erreurs (transmission sur un canal bruité)
Céline ROUDET
18
Comparaison analyse globale / locale
Courbes débit / distorsion
(unique schéma de prédiction utilisé)
(segm. N°1)
(segm. N°2)
PSNR = 20.log10 BBdiag / d
BBdiag = diagonale de la boîte englobante
d Céline
= distance
de Hausdorff
ROUDET
19
Comparaison perceptuelle
Reconstruction adaptative
Reconstruction globale
6565
e1 : distance de Hausdorff obtenue par Mesh [Aspert et al., 02] (x10-4)
e2 : métrique asymétrique : Mesh Structural Distortion Measure [Lavoué et al., 06]
distance perceptuelle entre 2 objets (0 : objets identiques)
Porquerolles, le 27/05/2010
Céline ROUDET
20
Optimisation
Collaborationde la quantification
Analyse
locale
Q
Codage
zerotree ou
contextuel
Allocation
binaire
Patchs
semi-réguliers
flux
binaire
Débit ou distorsion cible
D
Minimiser
D(R) ou R(D)
Codage
entropique
Maillage
semi-régulier
segmenté
C
A
N
A
L
R
niveaux de résolution
…
flux
binaire
Synthèse
locale
Q*
Décodage
entropique
Optimisation R/D
− Distorsion : EQM due à la quantification
DT  MSESR 
1
# SR
# SR 1

j 0
v j  vˆ j
2
0 : sous-bande BF
1, 2, 3 : sous-bandes HF
2
− Trouver les pas de quantification et λ qui minimisent le critère de
Lagrange suivant :
 N

J  qi , j    Wi  MSE SR i , j qi , j        ai , j Ri , j qi , j   Rcible 


i 0
jJ i
 i 0 jJ i

N
Distorsion
N : nb. résolutions
Ji : ens. des sous-bandes
Wi : poids de non orthogonalité
Porquerolles, le 27/05/2010
Contrainte de débit
MSEi   MSEi , j  MSESRi ,1  MSESRi , 2
jJ i
Céline ROUDET
22
Résultats : adaptation spatiale de l’optimisation
PSNR
(dB)
5 patchs
4 niveaux
Débit (bits / sommets irréguliers)
Porquerolles, le 27/05/2010
Céline ROUDET
23
Résultats : à bas débit
PSNR
(dB)
5 patchs
4 niveaux
Débit (bits / sommets irréguliers)
Porquerolles, le 27/05/2010
Céline ROUDET
24
Résultats : adaptation spatiale de l’optimisation
PSNR
(dB)
5 patchs
5 niveaux
Débit (bits / sommets irréguliers)
Porquerolles, le 27/05/2010
Céline ROUDET
25
Résultats : à bas débit
PSNR
(dB)
5 patchs
5 niveaux
Débit (bits / sommets irréguliers)
Porquerolles, le 27/05/2010
Céline ROUDET
26
Plan
I – Maillages 3D progressifs
II – L’analyse multirésolution de maillages
IV – Méthode proposée, résultats et applications
V – Conclusion et perspectives
Porquerolles, le 27/05/2010
Céline ROUDET
27
Conclusion et perspectives
∞ Compression et transmission adaptatives
− Segmentation basée sur l’analyse multirésolution (AMR)
− Adapter la quantification de la géométrie de chaque région
− Résultats : même ordre de grandeur qu’en global
∞ Perspectives
− Projet Jeunes Chercheurs du GdR ISIS (2010 – 2013)
− Membres : F. Payan (I3S), B. Sauvage (LSIIT), S. Lanquetin (Le2i)
− Financé par : GdR 720 ISIS et l’association Gretsi
− Optimiser maintenant l’AMR dans chaque région
− Intérêt sur des objets moins lisses ?
− Considérer des métriques plus subjectives
Porquerolles, le 27/05/2010
Céline ROUDET
28
Questions …
Merci de votre attention
clusters de
sommets
Porquerolles, le 27/05/2010
clusters de
facettes
Céline ROUDET
projection
grossière
segmentation :
6 régions
29