Transcript Prezentare Teză Doctorat - Laboratorul de Analiza si Prelucrarea

Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
TEHNICI INTELIGENTE PENTRU
ANALIZA ȘI CLASIFICAREA DUPĂ
CONȚINUT A COLECȚIILOR DE BAZE
DE DATE MULTIMEDIA
Doctorand: ing. Ionuț MIRONICĂ
Conducător de doctorat: prof. dr. ing. Radu DOGARU
LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,
Universitatea Politehnica București
Romania
Universitatea Politehnica
Bucureşti
Stagiu 6 luni „University
of Trento”, Italia
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
2
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
3
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
4
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Scopul tezei de doctorat
Date multimedia
Informație vizuală
- culoare
- textură
- forme
- trăsături
Informație de
mișcare
Informație audio
- muzică
- vorbire
- sunete
Informație textuală
[www.youtube.com]
5
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Cuprins
• Prezentare concepte
• Trăsături propuse pentru descrierea documentelor video
• reprezentarea „Fisher kernel”
• Metode de Relevance Feedback propuse
• Trecerea în revistă a principalelor contribuții originale
• Concluzii și perspective de dezvoltare
6
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
I. Prezentare concepte
(Off-line)
Calcul
Descriptori
Baza de date
multimedia
Descriptori
multimedia
(vectori cu
componente)
Antrenare/
clasificare
Rezultate
(On-line)
Calcul
Descriptori
Comparaţie
Interogare
Căutare similaritate
Relevance feedback
Căutare concepte
Căutare în conținut
7
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
I. Prezentare concepte
• “Semantic gap” (paradigma semantică) - diferenţa dintre
informaţia computaţională extrasă din documentul multimedia
şi interpretarea semantică a acestuia.
8
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Capitolul II
Trăsături pentru descrierea
documentelor video
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Modelul „Bag of Words” („State-of-the-Art”)
Detecție de puncte de interes
Creare dicționar
Generare
histograme
Antrenare
clasificator
[Czurka et al., ECCV 2004]
10
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Modelul „Bag of Words”
• conține apartenența fiecărui punct
de interes către un element al unui
dicționar (histogramă de cuvinte)
Rezultat: D = [0;0;0;1];
Dimensiune: K (numărul de cuvinte din
dicționar)
[Czurka et al., ECCV 2004]
11
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Dezavantaje model „Bag of Words”
• nu există nici o metodă riguroasă de reprezentare a
distribuției spațiale dintre anumite perechi de cuvinte.
• există multe cuvinte care nu sunt relevante
• procesul de cuantizare a cuvintelor generează zgomot de
cuantizare.
• costul computațional crește foarte mult odată cu
dimensiunea vocabularului de cuvinte.
12
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Teoria reprezentării „Fisher kernel”
- conceptul a fost introdus de [Jaakkola et al.,: Exploiting generative models in
discriminative classifiers. NIPS’99] pentru detecția de proteine.
- introdus în Computer Vision de [Perronnin et al.,: "Fisher kernels on visual
vocabularies for image categorization." CVPR’07] pentru clasificarea de imagini.
- combină beneficiile algoritmilor generativi cu cei discriminativi.
- reprezintă un semnal ca și gradientul funcției de densitate de probabilitate care
este învățată ca un model generativ al unui semnal.
(1)
(2)
13
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Reprezentarea „Fisher kernel”
• Calculează probabilitățile de
apartenență la un cuvânt din
dicționar
Rezultat: D = [0.3;0.1;0.1;0.5];
- calculează gradientul mediei și
a varianței probabilităților de
apartenență la un cuvânt din dicționar.
Dimensiune: 2*D*K
2 – medie + varianță
K – numărul de cuvinte din dicționar
D – lungimea trăsăturii
14
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Contribuții
(1) am introdus reprezentarea Fisher pentru modelarea variației de timp în cadrul
documentelor video
(2) am demonstrat că modelul propus are un caracter general în funcție de problema
selectată: de la recunoaștere de gen, la recunoaștere de secvențe sportive și acțiuni
cotidiene.
(3) am arătat generalitatea metodei în funcție de trăsăturile alese: de la descriptori
vizuali, la descriptori de mișcare și trăsături audio
(4) cu metoda propusă am obținut rezultate similare sau mai bune decât cele
propuse în literatură, deși am utilizat un set de trăsături mai ușor de calculat.
[Mironică et al., Multimedia’13 ACM]
15
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Arhitectura reprezentării „Fisher kernel”
X = {x1 ... xm}
Reducere dimensiune
descriptori
Extragere trăsături
Extragere dicționar
Secțiune generativă
Calcul a vectorilor
Fisher
Pas de antrenare
și clasificare
Secțiune
discriminativă
[Mironică et al., ICMR’13 ACM]
16
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Agregarea cadrelor cu reprezentarea „Fisher kernel”
Cadrele similare vor
face parte din aceeași
componentă, modelând
variațiile subtile de
timp.
Reprezentare „Fisher kernel”
[Mironică et al., Multimedia’13 ACM]
[Mironică et al., ICMR’13 ACM]
17
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Agregarea cadrelor cu reprezentarea „Fisher kernel”
Cadrele nesimilare vor
face parte din
componente separate,
prevenind amestecarea
conceptelor nesimilare.
Reprezentare „Fisher kernel”
[Mironică et al., Multimedia’13 ACM]
[Mironică et al., ICMR’13 ACM]
18
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Fuziunea trăsăturilor – „Late Fusion”
Vector Fisher 1
clasificator
1
Scor 1
(normalizat)
Vector Fisher 2
clasificator
2
Scor 2
(normalizat)
Vector Fisher n
clasificator
n
Scor n
(normalizat)
Generare vectori
Fisher
Clasificare
Scor de încredere
global
Normalizarea scorurilor
de încredere
Decizie
Obținerea unui scor de încredere
global
[Mironică et al., CBMI 2013, IEEE/ACM]
19
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Detecția genului documentelor video
• Programe de televiziune
– știri, sport, documentare, talk show, …
• Filme
– drame, comedii, thriller, …
• Înregistrări
– conferințe, video teleconferințe, ...
• Altele
– camere de supraveghere, înregistrări personale, …
[http://www.multimediaeval.org/mediaeval2012]
20
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Baza de date „MediaEval 2012”, Tagging Task
• 14.838 episoade ~ aproximativ 3.260 ore de conținut video
o 5.288 documente pentru antrenare
o 9.550 documente pentru testare
• conține documente video semi-profesionale de pe internet grupate în 26
de genuri: artă, autovehicule, afaceri, jurnalism, comedie, documentare,
educațional, bucătărie
[http://www.multimediaeval.org/mediaeval2012]
21
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Trăsături vizuale
Histograme de gradienți orientați (HoG)
• Împarte imaginea în 3x3 regiuni și pentru
fiecare zonă calculează o histogramă
de orientări de pixeli
[Ludwig et al, CITS 2009]
Histograma de culoare „Color naming”
• Proiectează culorile în 11 culori universale:
negru, albastru, maro, gri, verde, portocaliu,
roz, purpuriu, roșu, alb și galben
[Weijer et al, IEEE TIP’ 2009]
22
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Trăsături audio
Trăsături audio bazate pe blocuri audio
Parametrii extrași:
• Zero-Crossing Rate,
• Linear Predictive Coefficients,
time
• Line Spectral Pairs,
• Mel-Frequency Cepstral Coefficients,
f1
+
f2
var{f2}
…
fn
• Spectral centroid, flux, rolloff și
kurtosis
var{fn}
+ toate împărțite la varianța globală a
trăsăturii
[Mathieu et al., Yaafe toolbox, ISMIR’10, IEEE]
[Mironică et al., CBMI 2013, IEEE/ACM]
[Mironică et al., ICMR 2013, ACM]
23
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Comparație rezultate cu MediaEval 2012 Genre Retrieval
Tip trăsătură
Audio
Vizual
Audio & Vizual
Metodă raportată la
MediaEval 2012
Descriptori pe bază de
blocuri audio & SVM Liniar
descriptori vizuali
(Color,Texture, rgbSIFT)
-
Text
Bag of Words - Metadata &
Text ASR
Audio & Vizual & Text
MAP metodă
raportată
MediaEval 2012
0,192
MAP
metodă
propusă
0,475
0,350
0,460
-
0,550
0,522
-
-
0,66
Indicator performantă: MAP (valoare maximă = 1)
[Mironică et al., Multimedia’13 ACM]
24
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Trăsături pentru descrierea video
Recunoașterea de acțiuni sportive
Baza Sport UCF 50
• 6500 documente video preluate de pe Youtube împărțite în 50 de acțiuni:
• baseball, aruncări, biliard, înot, ridicare de greutăți, scufundări, bătut la tobă,
scrima, golf, cântat la chitară, sărituri cu prăjina,curse de cai, aruncarea suliței,
sărituri în lungime, caiac, exerciții de încălzire, cal cu mânere, tracțiuni, box, urcări
pe pereți artificiali, urcare pe frânghie, canotaj, salsa, skate boarding, sky etc
[Reddy et al., MVAP, 2012]
25
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Recunoașterea de acțiuni sportive – Trăsături utilizate
Trăsături vizuale
• Histograme de gradienţi orientaţi
(HOG - 2x2, 3x3, 4x4)
• Histograme „Color Naming”
(2x2, 3x3, 4x4)
Trăsături de mișcare
• Histograme de flux optic (HOF)
(2x2, 3x3, 4x4)
Piramide Spațiale [Lazebnik et al., CVPR, 2006]
Fuziune cu „Late Fusion”
[Mironică et al., Multimedia’13 ACM]
26
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Recunoașterea de acțiuni sportive – Comparație „State-of-the-Art”
Metodă
Acuratețe
Reddy et al. MVAP 2012
76,9%
Metoda propusă
74,7%
Solmaz et al. MVAP 2012
73,7%
Everts et al. CVPR 2012
72,9%
Kliper-Gross et al. ECCV 2012
72,6%
GIST3D - Solmaz et al. MVAP 2012
65,3%
[Mironică et al., Multimedia’13 ACM]
27
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Recunoașterea de acțiuni cotidiene
Baza de date „University of Rochester Activities of Daily Living Dataset”
Răspuns la telefon
A mânca biscuiți
Tocat de banane
Desfacere banane
Formare de numere
la telefon
Citire agendă telefonică
A bea apă
A mânca banane
Utilizare furculiță
Scris pe tablă
[www.cs.rochester.edu/rmessing/uradl]
28
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Recunoașterea de acțiuni cotidiene – metoda propusă
[Ramanan, et. al. CVPR 2007]
[Rostamzadeh, Zen, Mironică, Uijlings, Sebe, ICIAP 2013, IEEE]
29
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea video
Recunoașterea de acțiuni cotidiene – comparație „State-of-the-Art”
Metodă
Metodă propusă
Wang et al. CVPR 2012
Lin et al. ICCV 2011
Messing et al. ICCV 2009
Acuratețe
97,3%
96,0%
95,0%
89,0%
[Mironică et al., Multimedia’13 ACM]
30
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Capitolul III
Algoritmi de „Relevance
Feedback”
31
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
Arhitectura algoritmilor de Relevance Feedback
Se utilizează exemplele pozitive şi negative preluate de la
utilizator pentru a îmbunătăţi performanţa sistemului.
Afişare
Feedback
Utilizator
Estimare a noilor
documente
Afişare
Feedback
Utilizator
32
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
Provocările algoritmilor de Relevance Feedback
• numărul de documente pe care se oferă feedback este
mult mai redus decât spațiul descriptorilor
• dezechilibru în modul de a acorda feedback între
utilizatori diferiți
• dezechilibru între numărul de documente relevante și
nerelevante
• viteza de procesare (sisteme în timp real)
33
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
Algoritmi clasici de „Relevance feedback”
Căutare inițială
Feedback utilizator
Antrenare
Document de interogare
Documente relevante
Documente nerelevante
Documente fără feedback
[Tao et al., PAMI’07, IEEE Trans.]
34
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
„Relevance feedback” cu clusterizare ierarhică
Calculează gradul de similaritate intre
oricare două combinații de documente
Crează un cluster cu cele mai
similare 2 grupuri de documente
Calculează gradul de similaritate între
clusterul creat și restul clusterelor
Condiție de
încheiere
Clasificare documente
din baza de date utilizând
dendograma antrenată
Stop
[Mironică et al., ISSCS’11, IEEE]
[Mironică et al., CBMI’12, IEEE/ACM]
35
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
„Relevance feedback” cu clusterizare ierarhică
Interogare
Inițială
[Mironică et al., ISSCS’11, IEEE]
[Mironică et al., CBMI’12, IEEE/ACM]
36
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
„Relevance feedback” cu clusterizare ierarhică
[Mironică et al., ISSCS’11, IEEE]
[Mironică et al., CBMI’12, IEEE/ACM]
37
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
„Relevance feedback” cu clusterizare ierarhică
[Mironică et al., ISSCS’11, IEEE]
[Mironică et al., CBMI’12, IEEE/ACM]
38
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
Condiție de încheiere
Varianta 1: Numărul fix de clustere
Procentul de varianță
Varianta 2: Număr adaptiv de clustere – criteriul arcului
Număr de centroizi
[Mironică et al., CBMI’12, IEEE/ACM]
39
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
Calculul similarității dintre clusteri
Distanța dintre centroizi
Centroid
+
C2
Centroid +
C1
Distanța Minimă
+
+
C2
C1
[Mironică et al., ISSCS’11, IEEE]
[Mironică et al., CBMI’12, IEEE/ACM]
40
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
Calculul similarității dintre clusteri
Distanța Medie
Gradul de similaritate = Media
distanțelor posibile dintre 2 clustere
C2
C1
Distanța Maximă
+
C2
+
C1
[Mironică et al., ISSCS’11, IEEE]
[Mironică et al., CBMI’12, IEEE/ACM]
41
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
Evaluare – Comparație cu „State-of-the-Art”
Metoda propusă a fost comparată cu o serie de algoritmi
„State-of-the-Art”:
- Rocchio
- Nearest Neighbor RF - NB
- Boost RF
- SVM RF
- Random Forest RF - (RF)
- Decision Trees RF
- Relevance Feature Estimation - (RFE)
[Mironică et al., CBMI’12, IEEE/ACM]
42
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
Comparație cu „State-of-the-Art” (baze de date de imagini)
Curbele Precizie – Reamintire pentru bazele de date Caltech 101 și Microsoft
utilizând descriptorii de culoare, MPEG7 și Bag of Words (SURF)
[Mironică et al., CBMI’12, IEEE/ACM]
4/9/2015
43
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
Comparație cu „State-of-the-Art” – mai multe iterații feedback
[Mironică et al., CBMI’12, IEEE/ACM]
4/9/2015
44
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Relevance Feedback
Comparație cu „State-of-the-Art” – baze de date video
(MediaEval 2011)
Grafice Precizie – Reaminitire pentru o sesiune de relevance feedback
pe patru ferestre de afisare (20, 30, 40 si 50 de documente afișate)
[Ionescu, Seyerlehner, Mironică, Vertan, MTAP ’12]
4/9/2015
45
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Capitolul IV
Alte contribuții originale
Interfață
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
IV. Alte contribuții originale
• Descrierea conținutului de textură folosind automate celulare
[Mironică et al., Buletin UPB, ‘13]
• Analiza influenței metricilor asupra performanțelor sistemelor de indexare
[Mironică et al., EUSIPCO ’12, IEEE ]
• Algoritm de „Relevance Feedback" cu estimare a importanței trăsăturilor
[Mironică et al., SPAMEC ’11, EURASIP]
• Algoritm de „Relevance Feedback" cu reprezentare „Fisher kernel"
[Mironică et al., ICMR ’13, ACM]
• Metode multimodale de clasificare a documentelor video web prin integrarea
acestora cu algoritmi de relevance feedback
[Ionescu, Seyerlehner, Mironică, Vertan, MTAP ’12]
[Ionescu, Seyerlehner, Mironică, Vertan, EUSIPCO’12, IEEE]
• Sistem de indexare multimedia după conținut
[Mironică, Raport cercetare 2011]
47
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
IV. Alte contribuții originale
• Catalogarea imaginilor ORL
[Mironică et al., EHB ’11, IEEE]
• Catalogarea imaginilor microscopice
[Mironică et al., COMM ’10, IEEE]
[Mironică et al., ISSCS ’11, IEEE]
• Catalogarea după gen a documentelor video
Competiție MediaEval 2012 - Poziția 2 / 29 sisteme
[Mironică et al., CBMI’13, ACM/IEEE]
• Catalogarea conținutului de violență în filme (analiza și implementarea de trăsături
vizuale)
Competiție MediaEval 2012 - Poziția 1 / 35 sisteme
[Ionescu, Schlüter, Mironică, Schedl ICMR’13, ACM]
• Catalogarea gesturilor (pozițiilor) statice ale mâinii
[Vieriu, Mironică, Goraș, ISSCS’13, IEEE]
48
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
IV. Lista de lucrări originale
Articole publicate în reviste de specialitate
[1] Ionuț Mironică, Radu Dogaru, „A novel feature-extraction algorithm for efficient
classification of texture images", în Scientific Bulletin of UPB, Series C - Electrical
Engineering, 2012.
[2] Bogdan Ionescu, Klaus Seyerlehner, Ionuț Mironică, Constantin Vertan, Patrick
Lambert, „An Audio-Visual Approach to Web Video Categorization", Multimedia Tools
and Applications, 2012 (factor impact ISI 0.91).
Cărți
[3] Bogdan Ionescu, Ionuț Mironică, „Conceptul de Indexare Automată după
Conținut în Contextul Datelor Multimedia", trimisă spre publicare (103 pagini).
49
4/9/2015
49
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
IV. Lista de lucrări originale
Articole publicate în conferințe internaționale (18)
[4] Ionuț Mironică, Constantin Vertan, „Relevance feedback approaches for MPEG-7 content-based biomedical image
retrieval", Communications (COMM), iunie 2010, Bucucurești, Romania.
[5] Ionuț Mironică, Radu Dogaru, „A comparison between various classification methods for image classification stage in
CBIR", Signals, Circuits and Systems (ISSCS), iulie 2011, Iași Romania
[6] Ionuț Mironică, Constantin Vertan „An adaptive hierarchical clustering approach for relevance feedback in content-based
image retrieval systems", Signals, Circuits and Systems (ISSCS), iulie 2011, Iași, Romania.
[7] Ionuț Mironică, Constantin Vertan „A Modified Feature Relevance Estimation Approach to Relevance Feedback in ContentBased Image Retrieval Systems", Signal Processing and Applied Mathematics for Electronics and Communications, 26-28
august, 2011, Cluj-Napoca, Romania.
[8] Ionuț Mironică, Constantin Vertan, Bogdan Ionescu „A Relevance Feedback Approach to Video Genre Retrieval",
International Conference on Intelligent Computer Communication and Processing august, 2011, Cluj-Napoca, Romania.
[9] Ionuț Mironică, Constantin Vertan, Dan Cristian Gheorghe „Automatic Pediatric Otitis Detection by Classification of Global
Image Features", International Conference on e-Health and Bioengineering, EHB, noembrie, 2011, Iași, Romania.
[10] Ionuț Mironică, Bogdan Ionescu, Constantin Vertan, „Hierarchical Clustering Relevance Feedback for Content-Based
Image Retrieval", IEEE/ACM 10th International Workshop on Content-Based Multimedia Indexing, 27-29 iunie, Franța, 2012.
[11] Bogdan Ionescu, Klaus Seyerlehner, Ionuț Mironică, Constantin Vertan, Patrick Lambert, "Automatic Web Video
Categorization using Audio-Visual Information and Hierarchical Clustering Relevance Feedback", 20th European Signal
Processing Conference - EUSIPCO 2012, 27-31 august, București, Romania.
[12] Ionuț Mironică, Bogdan Ionescu, Constantin Vertan, „The Influence of the Similarity Measure to Relevance Feedback",
20th European Signal Processing Conference - EUSIPCO 2012, 27-31 august, București, Romania, 2012.
[13] Jan Schlüter, Bogdan Ionescu, Ionuț Mironică, Markus Schedl, „ARF @ MediaEval 2012: An Uninformed Approach to
Violence Detection in Hollywood Movies", MediaEval Benchmarking Initiative for Multimedia Evaluation workshopItalia 2012.
[14] Bogdan Ionescu, Ionuț Mironică, Klaus Seyerlehner, Peter Knees, Jan Schlüter, Markus Schedl, Horia Cucu, Andi Buzo,
Patrick Lambert, „ARF @ MediaEval 2012: Multimodal Video Classification", MediaEval workshop, Italia, 4-5 octombrie, 2012.
[15] Bogdan Ionescu, Jan Schlüter, Ionuț Mironică, Markus Schedl, „A Naive Mid-level Concept-based Fusion Approach to
Violence Detection in Hollywood Movies", ACM International Conference on Multimedia Retrieval - ICMR 2013, SUA, 2013.
ICMR
4/9/2015
ISSCS
EHB
50
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
IV. Lista de lucrări originale
Articole publicate în conferințe internaționale
[16] Ionuț Mironică, Bogdan Ionescu, Jasper Uijlings, Nicu Sebe, „Fisher Kernel based Relevance Feedback for Multimodal
Video Retrieval", ACM International Conference on Multimedia Retrieval - ICMR 2013, Dallas, Texas, SUA, 2013.
[17] Ionuț Mironică, Bogdan Ionescu, Peter Knees, Patrick Lambert, „An In-Depth Evaluation of Multimodal Video Genre
Categorization", IEEE/ACM 11th International Workshop on Content-Based Multimedia Indexing CBMI, iunie, Veszprém,
Ungaria, 2013.
[18] Ionuț Mironică, Bogdan Ionescu, Christoph Rasche, Patrick Lambert, „A Visual-based Late-Fusion Framework for Video
Genre Classification" Signals, Circuits and Systems (ISSCS), iunie 2013, Iași, Romania.
[19] Ionuț Mironică, Jasper Uijlings, Negar Rostamzadeh, Bogdan Ionescu, Nicu Sebe „Time Matters! Capturing Temporal
Variation in Video using Fisher Kernels", ACM Multimedia - ACM MM 2013, Barcelona, Spania, octombrie 2013.
[20] Negar Rostamzadeh, Gloria Zen, Ionuț Mironică, Jasper Uijlings, Nicu Sebe, „Daily Living Activities Recognition via
Efficient High and Low Level Cues Combination and Fisher Kernel Representation", International Conference on Image Analysis
and Processing, ICIAP, Napoli, Italia, 2013.
[21] Radu-Laurențiu Vieriu, Ionuț Mironică, Bogdan-Tudor Goraș, „Background Invariant Static Hand Gesture Recognition
based on Hidden Markov Models", Signals, Circuits and Systems (ISSCS), iunie 2013, Iași, Romania.
Competiții (3)
[22] participare MediaEval 2012 – secțiunea Tagging Task – membru în cadrul echipei ARF, cu membrii: Bogdan Ionescu, Ionuț
Mironică, Klaus Seyerlehner, Peter Knees, Jan Schlüter, Markus Schedl, Horia Cucu, Andi Buzo, Patrick Lambert
Am obținut locul 2 pentru pentru cel mai bun sistem (din 29 de sisteme propuse)
[23] participare MediaEval 2012 – secțiunea Violence Detection – membru în cadrul echipei ARF, cu membrii: Jan Schlüter,
Bogdan Ionescu, Ionuț Mironică, Markus Schedl Am obținut locul 1 pentru pentru cel mai bun sistem (din 35 de sisteme
propuse)
[24] organizare Mediaeval 2013 - secțiunea Diversity Task - membru organizator în echipa formată de: Bogdan Ionescu, Maria
Menéndez, Adrian Popescu, Henning Müller, Anca-Livia Radu, Ionuț Mironică și Bogdan Boteanu
4/9/2015
51
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
IV. Lista de lucrări originale
Citări
- 1 citare într-o revistă ISI (MTAP)
- 5 citări în conferințe internaționale de prestigiu (ACM MM, CBMI, MMSys,
ICASSP )
4/9/2015
52
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
V. Concluzii și direcții de dezvoltare
Contribuții principale
- propunere de algoritmi pentru indexarea conținutului multimedia (baze de
date de imagini și video)
- algoritmi de relevance feedback
- particularizarea conceptelor pentru diferite probleme de aplicație
Direcții de dezvoltare
- extinderea reprezentării „Fisher kernel” către alte modalități
- (text) prin crearea de metrici bazate pe ontologii semantice
- puncte de interes de mișcare
- îmbunătățirea performanței sistemelor multimodale prin utilizarea de algoritmi
de reducere a dimensionalității
- implementarea algoritmilor de relevance feedback pentru baze de date de
dimensiuni foarte mari (large scale)
53
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Intrebări?
54
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Vă mulţumesc!
55