Transcript パターン認識

第10回
パターン認識
1
画像認識の概念
物体認識(object recognition):
画像中に映っている認識対象の種別、位置、
姿勢を同定すること
 分類(classification):パターン認識
予め与えられたカテゴリーのどれに該当する
かを同定すること
～ 文字認識、音声認識

2
パターン認識 v.s. ３Ｄ物体認識
 パターン認識
・記号（文字，音声，・）
が対象
・個人性が変形要因
 ３Ｄ物体認識
・人工物，自然物が
対象
・視点変化による形
状変化が変形要因
・検出と認識は独立化 ・検出と認識は不可分
可能
パターン認識における特徴抽出
←幾何学的
←統計的
4
パターンのベクトル表現
f1
f2
f1
f2
・
=
・
=
f
=
・
fR
fR
5
メジャー：距離か、角度か？
距離で測ると濃度の違いは大きい
 角度で測ると濃度の違いは小さい
 角度で測る（Ss = cos2θ ：単純類似度）

d
θ
6
同じパターンとは？

濃度が違うパターンは違うと見るのか？

濃度が違っても同じと見たい（濃度＝ノルム）
7
白黒の反転は同じか？

濃度の変化を無視するなら、
白黒の反転も同じとみるべき
8
パターンの分布

超楕円錐形

反対側もある（白黒反転）
9
同じパターンとは？

背景が違うパターンは違うと見るのか？

背景が違っても同じと見たい（背景＝ＤＣ成分）
10
正準化とその意義

オール灰色パターンの直交補空間に射影

オール灰色は意味がない＝０であって欲しい
オール灰色
ボケ
ボケ
０に
近づく
正準化
正準化
ボケ 不変 ボケ
11
部分空間法

分布を部分空間で近似

部分空間の中を同じと見なす
12
部分空間法.vs. 単純類似度

分布を部分空間で近似
ｖｓ 代表元（単純類似度）

cos2θ = { ( f, φ1 )2+( f, φ2 )2 } / || f ||2
φ1 φ2：正規直交基底ベクトル
← 各クラスに属する
パターンの
自己相関行列Ｒ
の固有ベクトル
f
φ2
θ
φ1
CLAFIC法（渡辺慧，１９６９）：ＫＬ展開により部分空間を作成
13
部分空間法
未知入力パターン・ベクトルｐと辞書パターン・部分空間Qの
成す角度θ1を類似度として識別を行う
cos  Si
2
N
：


N
i 1
(p, qi)
2
2
|| p ||
N次元の辞書部分空間Qを
張る基底ベクトルの数
(p,qi) :
入力ベクトルpと辞書部分空間
Qの第i基底ベクトルqiとの内績
14
Karhunen-Loeveの展開（ＫＬ）法：
共分散行列を対角化する行列で変換すること
により無相関化

Principal Component Analysis
（主成分分析）と同値
• K. Karhunen （1946）
• M. Loeve （1948）
• H. Hotelling （1933）

パターン認識での再発見
• 飯島 泰蔵 （1963） 「視覚パターンの基礎方程式」
• 渡辺 慧 （1965） 「醜いアヒルの子の定理」
• Ｅ．Oja(1983) Subspace Method(部分空間法)
15
複合類似度法

複合類似度法の導出：
部分空間法の変形
～類似度計算過程において，
固有値による重み付加



fα
{ ( f, φ1 )2+λ2/λ1( f, φ2 )2 } / || f ||2
カテゴリ l に属するパターン集合を {fα} とする
パターン f のカテゴリ l に対する平均類似度
• Sm(l) [f] =Σαwα(l) (f, fα)2 / {|| f ||2 ||fα||2}
=Σm=1M λm(l) (f, φm(l))2 / {λ1(l)|| f ||2}
λm(l)、 φm(l) は行列 K(l) の固有値と固有ベクトル
K(l) = Σαwα(l) <fα, fα> / ||fα||2
= Σm=1M λm(l) < φm(l), φm(l) >
上記 Sm(l) [f] の変分を 0 とする極値として求まる
16
醜いアヒルの子の定理（渡辺慧，1969）

「醜いアヒルの子と普通のアヒルの子とは、
似通った２羽のアヒルの子が似ているのと
同じ程度に似ている」
～ ２つのものの類似性をある基準（例えば、
共に真である記述の個数）で測ると、
どの２つの類似性も等しい
～ 特徴選択を行っただけでは、
対象を複数のクラスに分類することはできない．
特徴に重要性（重み）を付加することが、
パターン認識における特徴選択の本質
17
部分空間法のバリエーション

複合類似度法


Sm(l)[f] =Σm=1M am(l)( f, φm(l) )2 / || f ||2
混合類似度法（大、犬、太を区別したい）

Sc(l)[f] =Σm=1M am(l)( f, φm (l) )2 / || f ||2
-Σ
N b (l)( f, ψ (l) )2 / || f ||2
n=1
m
n
大 犬 太
18
部分空間法のバリエーション：軌跡

単純類似度、複合類似度、混合類似度

( f, φ1 )2 、 ( f, φ1 )2 + ( f, φ2 )2 、
( f, φ1 )2 - ( f, φ2 )2
が 一定の軌跡 と ノルム || f ||
φ2
φ2
f
φ1
f
φ2
f
φ1
φ1
19
部分空間法の拡張

相互部分空間法

日立の特許
• 辞書を部分空間にしないで入力を部分空間

辞書・入力 両方とも部分空間
• 相互部分空間法
文字認識手法として提案，顔認識手法として普及
20
相互部分空間法
Ss(l)[f] = λmax
λmax は行列 X の最大固有値
X = (xij), xij = Σm=1M ( ψi ,φm(l))
( φm(l) ,ψj )
φm(l) は辞書の部分空間の基底、
ψi は f から作られる部分空間の基底
θ
λmax = 1
λnext = cos2θ
21
相互部分空間法
未知入力パターン・部分空間Pと辞書パターン・部分空間Qの
成す最小角度θ1に基づいて識別を行う
cos 2  Mi
| (u, v) |2
 max
uP , vQ || u ||2 || v ||2
||u||  0,||v||  0
θ1 ： 第１正準角(最小正準角）
2つの部分空間の成す角度は統計学に
おいて正準角と呼ばれ、M次元部分空間Pと
N次元部分空間Q（M≧N）の間にはN個の
正準角が定義できる
入力側がベクトルである部分空間法と比べ、
パターン変動に対する吸収能力を更に高めた手法
22
制約相互部分空間法
福井和広,山口修“一般化差分部分空間に基づく制約相互部分空間法”,
信学論D‐Ⅱ,Vol.87-D-2,No.8,pp1622-1631(2004-8)
相互部分空間法では識別に貢献しない成分（照明等に
よる影響）まで含めて識別を行う
識別に有効な成分から構成される制約部分空間への
射影を相互部分空間法に付加した方法
23
本当に部分空間法で良いのか？

バナナ分布
入江文平氏が発見
24
ノーフリーランチ定理

「あらゆる問題で性能の良い汎用最適化戦略は
理論上不可能であり，ある戦略が他の戦略より性能が
よいのは、現に解こうとしている特定の問題に対して特
殊化（専門化）されている場合のみである． 」
～ 問題領域の知識を可能な限り使用して
最適化すべき．
25
顔画像処理による
対話型コミュニケーションの研究
知能情報工学講座
西 奈津子
目的
障害者・高齢者(寝たきり・聾唖者）の
社会参加の機会が増大
日常会話が困難な障害者・高齢者との
コミュニケーションシステムの開発
顔画像処理(口部パターン認識)による
対話型コミュニケーションシステムの
プロトタイプ開発
基盤研究(C)(2)「分散視覚エージェントの統合に基づく
親和的情報空間の展開」の一環として実施
27
従来のアプローチ
筋萎縮性側索硬化症（ALS)を対象
（１） 身体装着センサ方式によるメニュー選択
伝の心(日立ケーイーシステムズ社）・はなしっ子（センサ社）
（２） 脳血液量変化検出方式 による選択
重度ALS患者用Yes/No検出装置（日立製作所)
（３） 表情の変化を使用したスイッチ代行方式
伝の心(日立ケーイーシステムズ社）
視線を用いた文字入力装置
国立身体障害者リハビリテーションセンター研究所･
福祉機器開発部
28
口部パターン認識の提案手法
相互部分空間法を用いた
口部パターンの認識
4種類の口部パターンの各々の辞書パターンと
未知入力パターンを部分空間で表現し、2つの
部分空間のなす最小角度を尺度として識別を行う
29
日常会話の階層化
各階層を４つのグループに分割
おはよう
こんにちは
こんばんは
ありがとう
トイレに
行きたい
あつい
さむい
いたい
あいさつ 飲食関係
訴え
他の要望
飲み物が
欲しい
お腹が
空いた
お菓子が
欲しい
何も
食べたく
ない
外へ
行きたい
テレビが
見たい
音楽が
聴きたい
眠りたい
30
口部形状パターンの割り当てと
明度ヒストグラムの対応
“口を開ける”
“歯を見せる”
あいさつ 飲食関係
訴え
“口をつぼめる”
他の要望
“舌を出す”
31
明度分布の特徴部分を用いた口部パターン認識（B4・M1）
2つの領域の
面積のみを使用
相互部分空間法を用いた口部パターン認識（M2）
0～255間の全ての
明度値を使用して
部分空間を作成
画像明度分布全体を使用して部分空間を作成する
ことにより、個人差による画像明度分布の違いに
対するロバスト性が期待できる
32
結果確認のための口部処理
１．口部分の形状を維持
２．口部分の形状を変化
ｔ
ｔ
ｔ＋１
ｔ＋１
ヒストグラム変化量 （Hｔ） ＜ TH1
ヒストグラム変化量（Hｔ） ＞＝ TH1
255
明度
一定時間継続
選択結果は正しい
255
選択結果が間違っている
H t＝| ht (i)  ht 1 (i) |
i0
33
実験結果
34
認識結果の比較
共通の辞書部分空間を作成した場合の認識率
口部
パターン
手法
口を
開ける
歯を
見せる
口を
つぼめる
舌を
出す
平均
相互部分
空間法
78.0%
74.5%
82.0%
73.7%
77.1%
部分空間法
63.2%
53.3%
52.6%
49.2%
54.6%
特徴部分のみ
を用いた手法
80.2%
57.2%
65.1%
63.1%
66.4%
35
個別の辞書部分空間を作成した場合の
認識率
被験者A
相互部分
空間法
被験者B
相互部分
空間法
口を
開ける
歯を
見せる
口をつ
ぼめる
舌を
出す
平均
89.7%
86.2%
93.5%
97.7%
91.8%
口を
開ける
歯を
見せる
口をつ
ぼめる
舌を
出す
平均
100%
90%
100%
100%
97.5%
36
個別の辞書部分空間を作成した場合の認識率
被験者A
口部
パターン
辞書
部分空間
口を
開ける
歯を
見せる
被験者B
口を
つぼめ
る
舌を
出す
平均
共通辞書
78.0% 74.5% 82.0% 73.7% 77.1%
個別辞書
(被験者A)
89.7% 86.2% 93.5% 97.7% 91.8%
個別辞書
(被験者B)
100%
90.0%
100%
100% 97.5%
個別辞書作成時間 ： 1つの口部形状につき，約1sec
37
障害者による認識実験

被験者 7名（男性4名，女性3名 年齢38歳～64歳）
・鹿児島市 身体障害者施設・誠光園 入居者
・障害等級 1級～2級
・障害名
脳卒中による身体の部分的な機能全廃・機能障害
脳性小児麻痺
頚椎先天奇形による機能障害
38
障害者による実験結果
39
障害を持つ被験者に対し
個別の辞書部分空間を作成した場合の認識率
相互部分
空間法
口を
開ける
歯を
見せる
口を
つぼめる
81.0%
86.3%
79.1%
舌を
出す
平均
78.8% 81.3%
40