ZAVOD ZA ELEKTRONIKU, MIKROELEKTRONIKU, RAČUNALNE I INTELIGENTNE SUSTAVE Diplomski rad Uporaba višeslojnog perceptrona za raspoznavanje brojčano-slovčanih znakova na registarskim tablicama Autor: Kristijan Kraupner Predmet: Raspoznavanje uzoraka Mentor: prof.
Download ReportTranscript ZAVOD ZA ELEKTRONIKU, MIKROELEKTRONIKU, RAČUNALNE I INTELIGENTNE SUSTAVE Diplomski rad Uporaba višeslojnog perceptrona za raspoznavanje brojčano-slovčanih znakova na registarskim tablicama Autor: Kristijan Kraupner Predmet: Raspoznavanje uzoraka Mentor: prof.
ZAVOD ZA ELEKTRONIKU, MIKROELEKTRONIKU, RAČUNALNE I INTELIGENTNE SUSTAVE Diplomski rad Uporaba višeslojnog perceptrona za raspoznavanje brojčano-slovčanih znakova na registarskim tablicama Autor: Kristijan Kraupner Predmet: Raspoznavanje uzoraka Mentor: prof. dr. sc. Slobodan Ribarić rujan 2003. Slikovna baza registarskih tablica 512 snimaka vozila u različitim uvjetima korišten digitalni fotoaparat OLYMPUS CAMEDIA C-2040 ZOOM fotografije zadnjeg dijela vozila snimano iz približno jednake udaljenosti 640 x 480 piksela, JPEG format primjeri Slikovna baza registarskih tablica Slikovna baza registarskih tablica Predobrada slika originalna slika pretvaranje u sliku sa sivim tonovima izdvajanje tablica i oznake država izolacija znakova binarizacija uzorak za raspoznavanje pretvaranje u sive slike normiranje dimenzija 20x32 pixela metoda globalnog rastezanja kontrasta (rad kolegice Vlaste Srebrić) ContrastStretch(15) Predobrada slika daljnja predobrada – ADOBE Photoshop 7.0 ™ izdvajanje tablica i oznake država (crop) izdvajanje znakova (crop) normiranje dimenzija na 20x32 piksela (resize) Predobrada slika binarizacija uzoraka (treshold value) Izvedba višeslojnog perceptrona (MLP) struktura MLP-a troslojni perceptron – aciklička potpuno povezana troslojna mreža strukture 640x20x38 prvi sloj - 32 x 20 slikovnih elemenata (piksela) binarne vrijednosti – 640 neurona skriveni sloj – 20 neurona izlazni sloj – 38 neurona (38 klasa) znamenke 0 ÷ 9 (10 neurona) velika slova engleske abecede A ÷ Z, bez Q (25 neurona) velika slova Č, Š i Ž (3 neurona) Izvedba MLP-a izlazni sloj 38 čvorova struktura MLP-a: ulazni sloj 640 (32x20) čvorova slika 32 x 20 piksela skriveni sloj 20 čvorova 0 1 2 Z Ž Izvedba MLP-a svojstva mreže neuroni (čvorovi) – sigmoidalna aktivacijska f. učenje algoritmom propagacije greške unatrag (generalizirano delta pravilo) w(k 1) w(k ) (k ) x(k ) w(k ) w(k 1) w izlazni neuron j n y j (n)1 y j (n) d j (n) y j (n) (r ) (r ) n y (jr ) (n)1 y (jr ) (n) wkj (n) k( r 1) (n) j skriveni neuron k online (sekvencijalni) način učenja Izvedba MLP-a parametri učenja moment učenja γ = 0.05 brzina učenja η = 0.025 20 uzoraka za učenje po znaku (760 uzoraka) 10 uzoraka za testiranje po znaku (380 uzoraka) broj epoha = 900 greška raspoznavanja testnih uzoraka – 10.7% Rezultati klasifikacije rezultati klasifikacije znakova ukupno 4.243 uzoraka (učenje, testiranje, provjera) broj točno klasificiranih uzoraka ukupan broj uzoraka 1000 epoha, 5 uzoraka, γ = 0.03, η = 0.03 1000 epoha, 10 uzoraka, γ = 0.025, η = 0.02 900 epoha, 20 uzoraka, γ = 0.05, η = 0.025 4243 3079 3386 3658 72.6% 79.8% 86.2% 86.2 % točno raspoznatih znakova veći broj uzoraka za učenje – povećava uspješnost rasp. poteškoće u raspoznavanju 1 ↔ I, 0 ↔ O; sličnost S i Š, C i Č, Z i Ž Rezultati klasifikacije postupak klasifikacije tablice i oznake države MLP klasifikator uzorak (slika) da predstavi uzorak na ulaz mreže Ima li još zn. za klasif? ne propagacija signala kroz mrežu odredi klasu 'X' s najvećim izlazom Pripada li znak tablici? klasificiraj uzorak kao 'X' klasificirani znak ne HR raspoznati znakovi oznake države da kraj klasifikacije tablice ZG 162 LC raspoznati znakovi tablice Rezultati klasifikacije rezultati klasifikacije tablica i oznaka države ukupno 407 registarskih tablica ukupno 243 oznake države uspješnost raspoznavanja: tablica i pripadna oznaka (gdje je ima) - 43.5% samo tablica – 54.5% (222 tablice) samo oznaka države – 65.4% (159 oznaka) problemi – netočne oznake, vrlo loše naljepnice broj znakova koje treba točno raspoznati (tablica – do 9 znakova, oznaka države – 1÷3 znaka) Rezultati klasifikacije - primjeri Rezultati klasifikacije - primjeri Sintaksna analiza registarskih tablica postupak klasifikacije uz provjeru sintakse MLP klasifikator uzorak (slika) da predstavi uzorak na ulaz mreže propagacija signala kroz mrežu Ima li još zn. za klasif? ne odredi klasu 'X' s najvećim izlazom klasificiraj uzorak kao 'X' klasificirani znak raspoznati znakovi oznake države Pripada li znak tablici? ne HP provjera sintakse da kraj klasifikacije tablice HR ŽUI 78U ŽU1 78U raspoznati znakovi tablice Sintaksna analiza registarskih tablica rezultati klasifikacije korištenjem sintaksne analize uspješnost raspoznavanja: tablica i pripadna oznaka (gdje je ima) – 68.8% samo tablica – 73.5% (299 tablica) samo oznaka države – 87.7% (213 oznaka) ograničenja sintakse neke slučajeve sintaksa ne može riješiti 6. znak hrvatskih tablica (može biti i slovo i broj) potreba za uvođenjem stupnja pouzdanosti (confidence measure) raspoznatog znaka Rezultati klasifikacije - primjeri Rezultati klasifikacije - primjeri Zaključak utjecaj na uspješnost raspoznavanja veličina i kvaliteta uzoraka (učenje, testiranje) odabir strukture MLP-a (broja slojeva, broja čvorova sloja) određivanje optimalnih parametara učenja i dr. direktno prezentiranje binarnih uzoraka mreži – ovisnost o kvaliteti uzorka mreža osjetljiva na promjene u uzorcima (skaliranje, rotacija) problem vrlo sličnih uzoraka (klase nedovoljno različite) S i Š, C i Č, Z i Ž, 1 i I, 0 i O, B i 8, i dr. mogućnosti poboljšanja izdvajanje značajki uzoraka (momenti, bočne projekcije, kodiranje i sl.) – značajke invarijantne na promjene u kvaliteti uzoraka odabir što većeg broja reprezentativnih uzoraka pojedinog znaka za učenje (nekoliko stotina uzoraka po znaku) multi-ekspertni pristup – veći broj neuronskih mreža