Transcript 蛙聲辨識技術整理
蛙聲辨識技術整理
報告人:陳亞仲
Network Application Laboratory
1
摘要
1
介紹
2
前處理
3
特徵擷取
4
比對與分類
5
結論
2
介紹
1
介紹
2
前處理
3
特徵擷取
4
比對與分類
5
結論
3
介紹
前處理
特徵
擷取
比對與
分類
4
前處理
1
介紹
2
前處理
3
特徵擷取
4
比對與分類
5
結論
5
前處理
乾淨聲音
摺積性雜訊
(通道效應)
加成性雜訊
(背景雜訊)
雜訊聲音
6
前處理
聲音訊號
頻譜消去法
小波去噪法
去噪
端點偵測
預強調
絕對值能量法
平方和能量法
越零率修正法
熵值計算法
累積量化頻譜法
部分頻帶強度法
取音框
加窗
7
去噪
頻譜消去法
傅立葉轉換
估測
雜訊頻譜
所有頻譜減
去估測之雜
訊頻譜
傅立葉反
轉換
去噪後
訊號
8
去噪
小波去噪法
軟閾值
硬閾值
極大極小閾值
固定閾值
混合閾值…等等
選擇適合小波
及分解層數
分解每層之高
頻系數
進行比較
選擇閾值及
閾值比較方式
小波重構
去噪後
訊號
9
端點偵測
絕對值能量法
E n
( N 1) 2
s( p i )
i ( N 1) 2
平方和能量法
En
( N 1) 2
2
s
(
p
i
)
i ( N 1) 2
10
端點偵測
越零率修正法
( N 1) 2 1
ZCR n uSgn s p i s p i 1
i ( N 1) 2
1, x 0
u x
0, x 0
1, x 0
Sgn( x)
1, x 0
11
端點偵測
熵值計算法
u n 1 A(n) / N
N
pi ' ( f m )
( E ( f m) u )
M
m 1
( E ( f m ) u)
H i ' m 1 pi ' ( f m ) log pi ' ( f m )
M
u:the mean for energy of each frame
A(n):the energy of each frequency component
N:total number of frequency components in FFT
E(fm):the spectral energy for the frequency fm
Hi’:the new negative entropy for each frame
pi’(fm):the new corresponding probability density
M:total number of frequency components in FFT
12
端點偵測
時
域
熵
值
能
量
13
預強調
s' (0) s(0)
s' (n) s(n) s(n 1)
before
after
14
取音框
第一個音節
音框1
音框2
音框3
音框4
音框5
音框6
音框7
音框8
音框9
15
加窗
s ' ' ( n) s ' ( n) h( n)
h(n) 1 cos(2n( N 1))
16
特徵擷取
1
介紹
2
前處理
3
特徵擷取
4
比對與分類
5
結論
17
特徵擷取
spectrum
•平均頻譜
•線性頻帶係數
•共振峰
•線性預估倒頻譜
•梅爾頻率倒頻譜
cepstrum
•質量中心
•訊號頻寬
descriptive •滑動頻譜
18
平均頻譜
X ( k ) n 0 s ' ' ( n ) e
N 1
j 2 kn / N
X seav 0 X 1 0 X 2 0 X J 0
X seav 1 X 1 1 X 2 1 X J 1
X seav N 2 1 X 1 N 2 1 X 2 N 2 1 X J N 2 1
19
線性頻帶係數
2
X (m) log{ f m1 X (k ) Bm (k )}
k f m1
0, k f m 1 or k f m 1
Bm k k f m 1 f m f m 1 , f m 1 k f m
f k f f , f k f
m 1
m
m
m 1
m 1
20
共振峰
Aˆ pi Api
AP0
4
A
i 0
AP1
pi
, 0i4
AP3
AP4
AP2
21
線性預估倒頻譜
自相關分析
r m
N 1 m
s"ns" n m, m 0,1,, p
n 0
m:the autocorrelation lag
p:the order of the LPC analysis
22
線性預估倒頻譜
杜賓演算法
E 0 r 0 ,
r i E i 1 , i 1
i 1
k i
i 1
i 1
r
i
r
i
j
E
, 1 i p
j
j 1
ii ki ,
ji ji 1 ki ii j1 ,
E i 1 ki2 E ( i 1) ,
am m th LPC coefficient m p , 1 m p
23
線性預估倒頻譜
倒頻譜運算
c0 ln 2 ,
m 1
k
cm am ck am k , 1 m p
k 1 m
m 1
k
cm ck a m k , m p
k 1 m
p
2 r 0 ak r k
k 1
24
梅爾頻率倒頻譜
f
M f 2595 log10 1
700
f
M f 1125 ln1
700
25
梅爾頻率倒頻譜
A
Am
f m1 f m1
1
M
c( L)
m 1 X (m) cos( L(m 0.5) / M )
M
26
質量中心
j
S
k xk
k 0
j
xk
2
2
k 0
27
訊號頻寬
j
B
2
k
S
xk
k 0
j
xk
2
k 0
28
滑動頻譜
M
M
2
2
S max M xk C xk
k 1
k 1
29
比對與分類
1
介紹
2
前處理
3
特徵擷取
4
比對與分類
5
結論
30
比對與分類
動態時
軸校正
隱藏馬
可夫模
型
倒傳遞
類神經
網路
支援向
量機
31
動態時軸校正
sy
s2
s1
t1 t2
tx
32
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
距離計算
33
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
1
遞迴演算
34
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
5
1
遞迴演算
35
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
9
5
1
3
遞迴演算
36
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
9
5
1
4
3
遞迴演算
37
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
9
5
1
10
4
3
6
8
5
遞迴演算
8
9
10
38
動態時軸校正
sy
4
6
2
2
4
3
5
4
1
2
2
5
tx
9
5
1
10
4
3
6
8
5
路徑回溯
8
9
10
39
動態時軸校正
Y
sy
路徑限制
s 2 X 1 1
1
s X 1 1
2
s 2 X t x s y
1
s X tx sy
2
s2
s1
t1 t2
tx
X
40
隱藏馬可夫模型
41
倒傳遞類神經網路
42
結論
1
介紹
2
前處理
3
特徵擷取
4
比對與分類
5
結論
43
結論
前處理
•找出適合於野外環境之最佳去噪參數
•分析混音蛙類種類
•嘗試使用多種不同特徵參數
特徵擷取 •不同特徵參數之混合使用
比對
•持續收集標準蛙聲樣本檔
•研究與發展兩階段以上之比對演算法
44
Thank you for attention
45