Transcript 楽器音オントロジー作成のための楽器音特徴抽出

楽器音オントロジー作成のための
楽器音特徴抽出
北原 鉄朗† 後藤 真孝‡ 奥乃 博†
†東京理科大学理工学部情報科学科
‡電子技術総合研究所／科技団さきがけ21
発表の流れ
1.
2.
3.
4.
5.
6.
7.
8.
本研究の目標と今回の目的
なぜ オントロジーなのか
音源同定における問題点
提案： 基本周波数による特徴量テンプレート
の選択
特徴量抽出とその後の処理
基本周波数による音色変化の考察
実験・実験結果
まとめ
1. 本研究の目標と今回の目的
目標
音源同定の観点から, 楽器音オントロ
ジー
構築の具体的な方法論を確立する.
今回の目的
特徴量抽出を行い, 特徴量を検討,
基本周波数によって特徴量テンプレートを
切り替えることの必要性を指摘.
2. なぜ オントロジーなのか
• 既存の研究では, 楽器の種類を限定
→ 現在, 任意の楽器を対象とした研究は存在せず
• 楽器の性質は, 階層的な定義が可能
→ 楽器を限定しないためには階層的知識表現が必要
オントロジー（内容重視の階層的知識表現）が不可欠
3. 音源同定における問題点
楽器が同じであれば, 特徴量は同じ値を示すの
か?
(特徴量・・・その楽器に特有な値を示す物理量)
同じ楽器であっても, 音高・音の強
さ・
楽器の個体差・演奏方法によって,
特徴量は大きく変化する.
今回は, 音高（基本周波数）による特徴量変化に着目
No!
4. 提案： 基本周波数による
特徴量テンプレートの選
択
1) 対象音域をいくつかに分割, 音域ごとに
特徴量テンプレートを作成
(特徴量テンプレート・・・各楽器のさまざまなサンプ
ルから
抽出された特徴量の集合)
2) 入力信号の基本周波数が属している
音域の特徴量テンプレートを選択
対象音域
RL
110
220
RM
RH
440
880 周波数[Hz]
発表の流れ
1.
2.
3.
4.
5.
6.
7.
8.
本研究の目標と今回の目的
なぜ オントロジーなのか
音源同定における問題点
提案： 基本周波数による特徴量テンプレート
の選択
特徴量抽出とその後の処理
基本周波数による音色変化の考察
実験・実験結果
まとめ
5. 特徴量抽出とその後の処理
① 高調波成分の取得
(単音に対して, 基音・高調波の
周波数と音量の時間的変化を推定)
② アタック区間とサスティン区間の取得
③ 特徴量抽出
④ 基本周波数による特徴量テンプレート選択
⑤ 重み値と類似度の計算
5. 特徴量抽出とその後の処理
① 高調波成分の取得
(単音に対して, 基音・高調波の
周波数と音量の時間的変化を推定)
② アタック区間とサスティン区間の取得
③ 特徴量抽出
④ 基本周波数による特徴量テンプレート選択
⑤ 重み値と類似度の計算
アタック区間とサスティン区間
5. 特徴量抽出とその後の処理
① 高調波成分の取得
(単音に対して, 基音・高調波の
周波数と音量の時間的変化を推定)
② アタック区間とサスティン区間の取得
③ 特徴量抽出
④ 基本周波数による特徴量テンプレート選択
⑤ 重み値と類似度の計算
③ 特徴量抽出
(1) 各倍音の平均のパワー （10次倍音まで）
(2) 各倍音の音量・周波数の時間的変化
（次ページ参照）
(3) 全体の音量の時間的変化
(LSMによる近似直線の傾き・変調の振動数と振幅）
(4) その他
（周波数重心・累積パワーが80%を超える倍音次数）
各倍音の音量・周波数の時間的変
化
a)
b)
c)
d)
e)
f)
g)
音量がはじめて最大の90%になる時刻
音量が最大になるときの時刻
最大音量と平均の音量との差
アタック区間での音量変化の分散
音量変化のLSMによる近似直線の傾き
音量に関する変調の振動数と振幅
周波数変調の振動数と振幅
各倍音の音量・周波数の時間的変
化
a)~g)の9個×10倍音=90個の特徴量を
倍音次数に関する関数ととらえ抽象化
(A) LSMによる近似直線の傾き
(B) 近似直線の誤差の分散
(C) 近似直線が, 誤差の標準偏差を超える点
の個数
(D) 近似直線が, 誤差の標準偏差の2倍を超
える点の個数
各倍音の音量・周波数の時間的変
化
5. 特徴量抽出とその後の処理
① 高調波成分の取得
(単音に対して, 基音・高調波の
周波数と音量の時間的変化を推定)
② アタック区間とサスティン区間の取得
③ 特徴量抽出
④ 基本周波数による特徴量テンプレート選択
⑤ 重み値と類似度の計算
5. 特徴量抽出とその後の処理
① 高調波成分の取得
(単音に対して, 基音・高調波の
周波数と音量の時間的変化を推定)
② アタック区間とサスティン区間の取得
③ 特徴量抽出
④ 基本周波数による特徴量テンプレート選択
⑤ 重み値と類似度の計算
⑤ 重み付けの導入と類似度の計算
• 音域R, 楽器sに対する特徴量iの重み値：
1) その楽器の特徴量の平均値μsi が
他の楽器tの特徴量の平均値μti と離れている
2) その楽器の特徴量の分散σsi が小さい
⇒ 重み値が大きくなるよう定義
• 入力信号と楽器sとの類似度：
各特徴量での差をもとに算出
※ 木下（博士論文, 東大, 2000）の式にパラメータとして音域
を導入
6. 基本周波数による音色変化の考察
(Classical Guitarの場合)
6. 基本周波数による音色変化の考察
(Classical Guitarの場合)
基本周波数が高くなるにつれ,
 音量の減衰の度合いが急激になる
 高調波成分が減少する
 アタック区間での音量の変動が大きくなる
6. 基本周波数による音色変化の考察
(Classical Guitarの場合)
基本周波数が高くなるにつれ,
予想
 音量の減衰の度合いが急激になる
→「音量の近似直線の傾き」に影響
 高調波成分が減少する
→「周波数重心」に影響
 アタック区間での音量の変動が大きくなる
→「アタック区間での音量変化の分散」に影響
6. 基本周波数による音色変化の考察
(Classic Guitarの場合)
基本周波数によって, 特徴量が
変化することが確認できた
7. 実
言
験
語 MATLAB
使 用 音 源 ヤマハ製MU2000
楽 器 の 種 類 piano(pf), flute(fl), violin(vl),
trumpet(tp), classical guitar(gt)
音
高 音域RL, RM, RHをそれぞれ{A2, A3},
{A3, A4}, {A4, A5}で代表させる
ベ ロ シ テ ィ 20, 40, 60, 80, 100, 127
各楽器33回ずつ実験
7. 実 験 結 果
楽
テンプレート選択あり
テンプレート選択なし
器 認識率
内訳
内訳
認識率
[%]
[%]
RL RM RH
RL RM RH
pf
66.7 90.9 54.5 54.5
60.6 90.9 45.4 45.4
gt
72.7 81.8 100.0 36.3
51.5 45.4 54.5 45.4
tp
71.4
---
72.7 70.0
47.6 ---
54.5 30.0
vl
31.8
---
27.2 36.3
31.8 ---
36.3 27.2
fl
72.7
---
---
63.6 ---
---
72.7
63.6
8. ま と め
• 入力の基本周波数によって特徴量テンプ
レートを切り替えることで, 認識率の向上を
期待できることを確認した.
• 音源同定にオントロジーが不可欠であるこ
とを確認し, 「楽器音オントロジー作成」の
必要性を確認した.
今後の課題
• 大規模な楽器音データベースによる実験
• 特徴量の再検討
• テンプレート選択の効果が見られない楽器
に関する考察