Transcript Transmisia datelor multimedia in retele de calculatoare

UNIVERSITY POLITEHNICA of BUCHAREST
DEPARTMENT OF COMPUTER SCIENCE
Mitrache Ramona-Catalina
<[email protected]>
I. Introducere
 O data cu dezvoltarea aplicatiilor video prin
intermediul dispozitivelor internet si wireless , a
telefoanelor si a PDA-urilor, compresia video a devenit
o problema cheie.
 Codarea video se bazeaza in principal pe predictia
pixelilor sau pe paradigme de corectie , algoritmi care
ofera o compresie eficienta pentru continutul
secventelor video
 Standardul in codarea video e H264 ITU/MPEG4-AVC
2
I. Introducere
 O alta metoda de codare video care se foloseste in
cazul video-conferintelor este acela care exploateaza
faptul ca scena contine obiecte cunoscute pentru care
exista un model 3D disponibil si poate fi transmis o
data cu parametrii de animatie si textura.
 Pentru o scena cu obiecte necunoscute aceasta metoda
se poate folosi daca scena e statica, fara obiecte de
miscare inauntru;
3
I. Introducere
 Totusi,pentru a eficientiza procesul pentru scene cu
obiecte necunoscute se propune idea de a ne baza pe
un set de modele 3D succesive, extrase din subsectiuni
video, in locul unei singure video sectiuni care sa
contina toata informatia.
 Avantaje



1.consistenta informatiei 3D nu e necesara
2.setul de modele 3D furnizeaza un format stream
3.aparatul foto de miscare este fara restrictii
4
II. Prezentare metodei
 Reprezentarea propusa e bazata pe informatie 3D
obtinuta din algoritmul de reconstructie Galpin
 Alg. Galpin :


Descoperirea informatiei 3D din seturi de secvente
ale imaginilor necalibrate in contextul unei scene
statice
input- secventa video  output – cateva modele
VRML(virtual reality modeling language – standard
pentru reprezentarea 3D)
5
Rezultate experimentale Galpin
Imaginile de inceput si de sfrasit
Secventa video init.
Secv. video VRML
6
II. Prezentarea metodei - cont.
 Pt. fiecare subsectiune a secventei, numita GOF (group of
frames), alg produce o harta aprofundata si camera se
pozitioneaza pt fiecare frame in GOF.
 Primul pas este de a transforma fiecare harta aprofundată
într-o ierarhie de ochiuri 3-D triunghiulare.
7
II. Prezentarea metodei - cont.
 Pt. fiecare subsectiune a secventei, numita GOF (group of
frames), alg produce o harta aprofundata si camera se
pozitioneaza pt fiecare frame in GOF.
 Primul pas este de a transforma fiecare harta aprofundată
într-o ierarhie de ochiuri 3-D triunghiulare.
Coef.
wavelets
8
II. Prezentarea metodei - cont.
 Pt. fiecare subsectiune a secventei, numita GOF (group of
frames), alg produce o harta aprofundata si camera se
pozitioneaza pt fiecare frame in GOF.
 Primul pas este de a transforma fiecare harta aprofundată
într-o ierarhie de ochiuri 3-D triunghiulare.
Coef.
wavelets
Coef.
de scalare
9
II. Prezentarea metodei - cont.
 Pt. fiecare subsectiune a secventei, numita GOF (group of
frames), alg produce o harta aprofundata si camera se
pozitioneaza pt fiecare frame in GOF.
 Primul pas este de a transforma fiecare harta aprofundată
într-o ierarhie de ochiuri 3-D triunghiulare.
Coef.
wavelets
Coef.
de scalare
Coef. Pt. codarea
diferentiata
10
III. 3D Generation Models
 Metoda de reconstrucţie axata pe preluarea
modelului 3-D potrivit pentru retrocedarea video si
compatibil cu achizitia video necontrolata.
Exemplu de harta adancime (b) extrasa din secventa video Street,
modelul asociat VRML (c), precum si imaginea corespunzatoare, in secventa (a).
11
III. 3D Generation Models - cz
 Pasul de reconstrucţie 3D, prevede astfel, pt fiecare
GOF:
• modelul geometric 3D: o harta densa in profunzime a
scenei vazuta din prima imagine din GOF;
• modelul de textura 3D: prima imagine din GOF;
• parametrii aparatului de fotografiat pentru fiecare
cadru in GOF;
12
IV. Modele 3D Ierarhice
 A. Single-Connectivity Mesh and Global Indexing




Metoda isi propune sa construiasca o prelevare de probe
coerente pentru toate modelele 3-D cu varfuri
corespunzatoare punctelor fizice identice
Acest lucru se face prin separare de conectivitate si geometrie
 single connectivity mesh (SCM)
SCM este descris ca o lista de triunghiuri exprimate in noul
sistem de indexare la nivel mondial. SCM, de asemenea, ofera
un indice unic pentru fiecare fata in SCM.
Descompunerea wavelet bazata pe SCM este consecventa
pentru toate modelele si duce la codificari compacte.
13
IV. Modele 3D Ierarhice
 B. Base Meshes Construction
 Ochiurile de plasa din baza utilizeaza triangulatie
neuniforma, cu scopul de a asigura coerenta globala de
conectivitate si tranzitia usoara intre modele
 In plus, pentru a reprezenta mai bine continutul video,
plasa de baza trebuie, sa se potriveasca caracteristicilor
scenei.
 Foloseste detectorul de colturi Harris si triangulatia 2D
Delaunay
14
Triangulatia 2D Delaunay
15
IV. Modele 3D Ierarhice
 C. Wavelet Decomposition
 Scopul descompunerii wavelet este de a decorela
informatiile geometrice, a. i. la primul pas sa
procedeze catre compresie. In plus, aspectul
multirezolutie al transformarii permite reconstructia si
transmisia in timp real foarte eficiente.
16
C. Wavelet Decomposition
Exemplu pentru secventa Thabor: ochiuri progresive reconstruite cu
(a) clasica si (b) adaptiva descompunere wavelet.
17
C. Wavelet Decomposition
 Avantaje



Pozitiile vertex pot fi adaptate pentru conţinutul scena;
Corespondenta vertex vertex intre modele succesive e implicit
furnizata de structura ochiului de plasa si, prin urmare nu e
nevoie sa fie transmisa sau estimata la partea decodor.
Aceasta permite o tranzitie usoara intre modele 3D prin
morphing implicit folosind o simpla interpolare liniara intre
varfuri.
18
V. Compresie a reprezentarii
 A. Inter-Relations Between Different Media
 O observatie cheie este ca fluxurile de informatii care
trebuiesc transmise nu sunt independente si un algoritm
eficient de codificare ar trebui sa ia in considerare
aceasta redundanta atat pentru nivelul de comprimare
cat si pt. calitatea secventei reconstruite.
19
A. Inter-Relations Between Different Media
Inter-relations between the media in 3-D model-based coding
20
A. Inter-Relations Between Different Media
Thabor sequence: predicted images. (a) Image from original sequence.
(b) Associated predicted image.
21
V. Compresie a reprezentarii
 B. Camera Encoding
 Pozitiile cheie ale ap. foto sunt codificate diferentiat si
pozitiile intermediare ale ap. foto sunt preluate prin
interpolare liniara intre pozitii cheie.
 C. Texture Encoding
 Un sistem de IPP este utilizat in cazul in care imaginea
prezisa este obtinuta prin reproiectia modelului
precedent texturat pe pozitia cheie curenta.
22
V. Compresie a reprezentarii
 D. Connectivity and 3-D Geometry Encoding
 Codarea 3D de informatii se bazeaza pe baza ochiului de
plasa (mesh) si un set de coeficienti wavelet pentru
rafinamente.
Thabor sequence: (a) texture image and (b) reconstructed image.
23
VI. Rezultate
 A. Visual Quality and PSNR
 In timp ce PSNR e adecvat pentru masurarea erorilor de
baza ale blocului, el e lipsit de sens cand e vorba de
distorsiuni geometrice.
 B. Compression Results
 Ne arată rezultate de compresie pentru o secventa de 110
de cadre pentru rate de biti scazute sau foarte scazute.
 Nu se pot face comparatii cu H264 daca cu o rata atat de
scazuta nu se poate ajunge la 25 Hz..
24
B. Compression Results
Thabor sequence: Image : (a) original sequence (CIF, 25 Hz)
and (b) reconstructed images at 125 kb/s with H264 coder, (c) with Galpin coder,
and (d) with our coder.
25
B. Compression Results
Thabor sequence: Reconstructed images at 30 kb/s with (a) Galpin
coderand with (b) our coder.
26
C. Scalability Results
Thabor sequence: spatial scalability Image from the (a) original
sequence (CIF, 25 Hz) and reconstructed images at 125 kb/s at different
level of wavelet decomposition: (b) 0, (c) 2, and (d) 3.
27
D. Virtual Navigation Results
Thabor sequence: Reconstruction of original path around a transition
between two successive models. Successive reconstructed images without
posttreatment (no morphing nos fading) (a) and (b). Successive reconstructed
images
with our coder (c) and (d).
28
D. Virtual Navigation Results
Street sequence: Reconstruction on virtual path with (a) Galpin and
(b) proposed method.
29
VII. Concluzii
 Am prezentat un nou model bazat pe sistemul de
codare video statica cu grain-scalabilitate buna, care sa
permita adaptarea continutului peste un spectru foarte
larg de terminale si retele.
 Acesta schema profita de conţinutul video specific, de
exemplu, o scena fixa dobandita cu o camera in
miscare, pentru a construi o reprezentare 3D care
permite performante mai bune si functionalitati
avansate.
 Coder-ul, exploateaza toata puterea de a doua
generatie wavelets implicit morphing-ul
30
VIII. Intrebari si Raspunsuri
31