Transcript Metody automatycznego rozpoznawania głosów

Dr inż. Robert Wielgat
Metody automatycznego rozpoznawania głosów
ptaków
Państwowa Wyższa Szkoła Zawodowa w Tarnowie
Zakład Elektroniki i Telekomunikacji
Święto Uczelni 19 maja 2011
Metody automatycznego rozpoznawania głosów ptaków
Dr inż. Robert Wielgat
System akustycznego monitoringu ptaków –
program rozpoznający
Kamera
cyfrowa
Stacaja
meteo
Urządzenie
wabiące
Internet
Serwer
WWW
System
ekspertowy
Moduł
komunikacji
radiowej
Program
rozpoznający
Cyfrowy
rejestrator
audio
Baza
danych
Aparat
cyfrowy
GPS
Serwer GIS
Macierz
mikrofonowa
Program rozpoznający wczytuje pliki dźwiękowe nagrane cyfrowym
rejestratorem audio w celu automatycznego rozpoznania gatunku
śpiewającego ptaka. Informacja o rozpoznanym gatunku jest następnie
zapisywana do bazy danych.
Metody automatycznego rozpoznawania głosów ptaków
Dr inż. Robert Wielgat
Charakterystyka głosów ptaków
- Dźwięki głównie harmoniczne, zasadniczo brak składowych szumowych
- Dwie pary strun głosowych,
- W przypadku wielu głosów ptaków występują składowe ultradźwiękowe
niesłyszalne dla ucha ludzkiego
x 10
4
4.5
4
3.5
Frequency [Hz]
3
2.5
2
1.5
1
0.5
0
0
0.05
0.1
0.15
0.2
0.25
0.3
Time [s]
0.35
0.4
0.45
0.5
Metody automatycznego rozpoznawania głosów ptaków
Dr inż. Robert Wielgat
Trudności w rozpoznawaniu głosów ptaków
• Naśladownictwo
- myszołów
- szpak naśladujący myszołowa
• Nakładanie się głosów ptaków tzw. efekt „coctail party”
- ptaki śpiewające jednocześnie
• Rozpoznawanie w warunkach dużego szumu i hałasu
otoczenia
• Rozpoznawanie dużej liczby gatunków ptaków
Metody automatycznego rozpoznawania głosów ptaków
Dr inż. Robert Wielgat
Rozpoznawanie głosów ptaków - prefiltracja
Głos
puszczyka
Metody automatycznego rozpoznawania głosów ptaków
Dr inż. Robert Wielgat
Rozpoznawanie głosów ptaków - prefiltracja
Metody automatycznego rozpoznawania głosów ptaków
Dr inż. Robert Wielgat
Rozpoznawanie głosów ptaków - detekcja
Prawidłowa
detekcja
Metody automatycznego rozpoznawania głosów ptaków
Dr inż. Robert Wielgat
Rozpoznawanie głosów ptaków - detekcja
Błędna
detekcja
Prawidłowa
detekcja
Metody automatycznego rozpoznawania głosów ptaków
Dr inż. Robert Wielgat
Rozpoznawanie głosów ptaków - klasyfikacja
Wczytaj fragment
przefiltrowanego
nagrania
n=0, Pmax=0
Zapisz rozpoznany
gatunek do bazy
Stop
Tak
Start
n>N
Nie
Ekstrakcja cech -MFCC
n=n+1
Oblicz prawdopodobieństwo
dla HMM n-tego gatunku
MFCC – parametry melcepstralne (ang. Mel-Frequency
Cepstral Coefficients)
HMM – ukryte modele Markowa
(ang. Hidden Markov Models)
N – liczba gatunków ptaków w
słowniku dla danego pasma
P - prawdopodobieństwo
P > Pprog
Nie
Gatunek
odrzucony
Tak
P > Pmax
Nie
Tak
Nowy
kandydat
Metody automatycznego rozpoznawania głosów ptaków
Dr inż. Robert Wielgat
Wyniki Eksperymentów
Gatunek
Skuteczność
Błąd
Typ
Rozpoznawania rozpoznawania
sygnału
[%]
[%]
Gatunek
Skuteczność
Typ
Rozpoznawania
sygnału
[%]
Błąd
rozpoznawania
[%]
Wodniczka
B
92,86
0
Gąsiorek
A
100
0,35
Krzyżówka
A
25
0
Słowik szary
A
100
0
Świergotek łąkowy
A
100
0
Sosnówka
A
100
0
Uszatka
B
100
0
Bogatka
I
100
0
Myszołów
B
78,95
0,24
Mazurek
C
92,31
0
Dziwonia
A
100
0
Pierwiosnek
E
100
0
Gawron
A
98,33
0
Piecuszek
A
78,57
0
Kawka
A
100
0
Kowalik
B
100
0
Derkacz
A
98,68
0,25
Puszczyk
A
100
0
Kukułka
A
79,49
0,12
Puszczyk uralski
A
100
0,48
Dzięcioł duży
A
100
0,12
Szpak
E
100
0,12
Ortolan
A
100
0
Piegża
A
100
0,12
Zięba
G
100
0,13
Kwiczoł
A
100
0
Sójka
A
100
0
Dudek
A
100
1,37
Dymówka
A
54,55
0
Krętogłów
A
98,37
0
93,33
0,11
ŚREDNIA
Metody automatycznego rozpoznawania głosów ptaków
Dr inż. Robert Wielgat
Wnioski i kierunki dalszych prac
Wnioski
• Rozpoznawanie głosów ptaków z wykorzystaniem prefiltracji,
parametrów Mel-cepstralnych (MFCC) oraz niejawnych modeli Markowa
(HMM) okazało się najlepszą z przebadanych strategii rozpoznawania.
• Za pomocą opracowanej metody jest możliwe wykrywanie obecności
niektórych gatunków ptaków w terenie z dużym stopniem
prawdopodobieństwa.
Kierunki dalszych prac
• Powiększenie rozmiaru słownika do około 100 gatunków
• Opracowanie skutecznych metod detekcji oraz odszumiania sygnału
•Integracja programu rozpoznającego z pozostałymi elementami
systemu
Metody automatycznego rozpoznawania głosów ptaków
Dr inż. Robert Wielgat
Dziękuję Państwu za uwagę