Transcript 蛙聲辨識技術整理

蛙聲辨識技術整理
報告人：陳亞仲
Network Application Laboratory
1
摘要
1
介紹
2
前處理
3
特徵擷取
4
比對與分類
5
結論
2
介紹
1
介紹
2
前處理
3
特徵擷取
4
比對與分類
5
結論
3
介紹
前處理
特徵
擷取
比對與
分類
4
前處理
1
介紹
2
前處理
3
特徵擷取
4
比對與分類
5
結論
5
前處理
乾淨聲音
摺積性雜訊
(通道效應)
加成性雜訊
(背景雜訊)
雜訊聲音
6
前處理
聲音訊號
頻譜消去法
小波去噪法
去噪
端點偵測
預強調
絕對值能量法
平方和能量法
越零率修正法
熵值計算法
累積量化頻譜法
部分頻帶強度法
取音框
加窗
7
去噪

頻譜消去法
傅立葉轉換
估測
雜訊頻譜
所有頻譜減
去估測之雜
訊頻譜
傅立葉反
轉換
去噪後
訊號
8
去噪

小波去噪法
軟閾值
硬閾值
極大極小閾值
固定閾值
混合閾值…等等
選擇適合小波
及分解層數
分解每層之高
頻系數
進行比較
選擇閾值及
閾值比較方式
小波重構
去噪後
訊號
9
端點偵測

絕對值能量法
E n 
( N 1) 2
 s( p  i )
i   ( N 1) 2

平方和能量法
En 
( N 1) 2
2


s
(
p

i
)

i   ( N 1) 2
10
端點偵測

越零率修正法
( N 1) 2 1
ZCR n    uSgn s  p  i  s  p  i  1
i   ( N 1) 2
1, x  0
u x   
0, x  0
1, x  0
Sgn( x)  
 1, x  0
11
端點偵測

熵值計算法
u  n 1 A(n) / N
N
pi ' ( f m ) 
( E ( f m)  u )

M
m 1
( E ( f m )  u)
H i '  m 1 pi ' ( f m )  log pi ' ( f m )
M
u：the mean for energy of each frame
A(n)：the energy of each frequency component
N：total number of frequency components in FFT
E(fm)：the spectral energy for the frequency fm
Hi’：the new negative entropy for each frame
pi’(fm)：the new corresponding probability density
M：total number of frequency components in FFT
12
端點偵測
時
域
熵
值
能
量
13
預強調
s' (0)  s(0)
s' (n)  s(n)    s(n  1)
before
after
14
取音框
第一個音節
音框1
音框2
音框3
音框4
音框5
音框6
音框7
音框8
音框9
15
加窗
s ' ' ( n)  s ' ( n)  h( n)
h(n)  1      cos(2n( N  1))
16
特徵擷取
1
介紹
2
前處理
3
特徵擷取
4
比對與分類
5
結論
17
特徵擷取
spectrum
•平均頻譜
•線性頻帶係數
•共振峰
•線性預估倒頻譜
•梅爾頻率倒頻譜
cepstrum
•質量中心
•訊號頻寬
descriptive •滑動頻譜
18
平均頻譜
X ( k )  n  0 s ' ' ( n )  e
N 1
 j 2 kn / N
X seav 0  X 1 0  X 2 0    X J 0
X seav 1  X 1 1  X 2 1    X J 1
        
X seav N 2  1  X 1 N 2  1  X 2 N 2  1    X J N 2  1
19
線性頻帶係數
2
X (m)  log{ f m1 X (k )  Bm (k )}
k  f m1
0, k  f m 1　or　k  f m 1

Bm k   k  f m 1   f m  f m 1 , f m 1  k  f m
 f  k   f  f , f  k  f
m 1
m
m
m 1
 m 1
20
共振峰
Aˆ pi  Api
AP0
4
A
i 0
AP1
pi
, 0i4
AP3
AP4
AP2
21
線性預估倒頻譜

自相關分析
r m 
N 1 m
 s"ns" n  m, m  0,1,, p
n 0
m：the autocorrelation lag
p：the order of the LPC analysis
22
線性預估倒頻譜

杜賓演算法
E 0   r 0 ,
r i  E i 1 , i  1

i 1
k i  

i 1
i 1




r
i


r
i

j
E
, 1 i  p



j

j 1


 ii   ki ,
 ji    ji 1  ki ii j1 ,


E i   1  ki2 E ( i 1) ,
am  m  th　LPC coefficient   m p  , 1 m  p
23
線性預估倒頻譜

倒頻譜運算
c0  ln  2 ,
m 1
k
cm  am    ck am  k , 1 m  p
k 1  m 
m 1
k
cm    ck a m  k , m  p
k 1  m 
p
 2  r 0    ak r k 
k 1
24
梅爾頻率倒頻譜
f 

M  f   2595 log10 1 

 700
f 

M  f   1125 ln1 

 700
25
梅爾頻率倒頻譜
A
Am 
f m1  f m1
1
M
c( L) 
 m 1 X (m) cos( L(m  0.5) / M )
M
26
質量中心
j
S 
 k xk 
k 0
j
 xk 
2
2
k 0
27
訊號頻寬
j
B
2


k

S
xk 

k 0
j

xk 
2
k 0
28
滑動頻譜
M
M

2
2
S  max M   xk   C   xk  
k 1
k 1


29
比對與分類
1
介紹
2
前處理
3
特徵擷取
4
比對與分類
5
結論
30
比對與分類
動態時
軸校正
隱藏馬
可夫模
型
倒傳遞
類神經
網路
支援向
量機
31
動態時軸校正
sy
s2
s1
t1 t2
tx
32
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
距離計算
33
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
1
遞迴演算
34
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
5
1
遞迴演算
35
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
9
5
1
3
遞迴演算
36
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
9
5
1
4
3
遞迴演算
37
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
9
5
1
10
4
3
6
8
5
遞迴演算
8
9
10
38
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
9
5
1
10
4
3
6
8
5
路徑回溯
8
9
10
39
動態時軸校正
Y
sy
路徑限制
s  2 X 1  1
1
s   X  1  1
2
s  2 X  t x   s y
1
s  X  tx   sy
2
s2
s1
t1 t2
tx
X
40
隱藏馬可夫模型
41
倒傳遞類神經網路
42
結論
1
介紹
2
前處理
3
特徵擷取
4
比對與分類
5
結論
43
結論
前處理
•找出適合於野外環境之最佳去噪參數
•分析混音蛙類種類
•嘗試使用多種不同特徵參數
特徵擷取 •不同特徵參數之混合使用
比對
•持續收集標準蛙聲樣本檔
•研究與發展兩階段以上之比對演算法
44
Thank you for attention
45