Transcript ニューラルネットワーク応用技術 - 大阪府立大学知能情報工学科知的

ニューラルネットワークの基礎と応用技術
大松 繁
大阪府立大学大学院工学研究科
電気・情報系専攻
ニューロサイエンス特論
ニューラルネットワークの歴史
•1911 Discovery of Neuron
Cajar, Golgi
•1943 Neuron Model
McCulloch , Pitts
•1949 Hebb Rule
Hebb
•1958 Perceptron
Rosenblatt
•1969 Limit of Perceptron
Minsky, Papert
•1986 Error-Back Propagation Rumerhart et al.
•1946 ENIAC 世界初のコンピュータの開発
脳とコンピュータ
人間（脳）
表現法： パターン
 推論法： 直感

計算機（ノイマン型）
記号
論理

記憶法： 分散
局所

処理法： 並列
逐次

計算法： 学習
アルゴリズム
（自己組織化）

検索法： 内容
（プログラミング）
アドレス
1980年代ニューラルネットワークの進歩
•医学の進歩による大脳生理学的知見の蓄積
•ハードウエアの進歩による実験的検証
（並列分散処理計算機の実現）
•新しい学習アルゴリズムの提案
1) 誤差逆伝播学習法の提案:Minskyの指摘を解決
(Rumerhart et al. 1986)
2) Hopfield ネットワーク(Hopfield,1982)
3) Boltzmannマシーン (Hinton-Sejnowski, 1986)
4) Kohonen ネットワーク(Kohonen, 1982)
5) Radial basis function
(Broomhead-Lowe, 1988)
ものの見え方（パターン表現の重要性）
桑原茂夫（だまし絵百科）
ニューラルネットワークとは 神経回路網＝脳の情報処理
大脳皮質(brain cortex)
ニューロン
約2mm
ニューロン(3)
約10,000個
約1,000個
シナップス結合
１．活動電位が軸索端末へ到達す
ると、Caチャネルが開き、Caイオン
が流入する
２．Caイオンは神経伝達物質がｼﾅｯ
ﾌﾟｽ小胞から放出されるのを促進する
３．放出された神経伝達物質がシナッ
プス後ニューロンにある受容体と結
合してイオンチャネルのゲートを開く
４．Naイオンが流入し、膜電位が興
奮の方向に変わる
５．膜電位の変化が一定以上になる
と、活動電位が発生し、電気シグナ
ルとして細胞膜を伝わっていく
ニューロンの数式モデル
1
O j  f (net j ), f ( x) 
x
1 e
net j  WjiOi   j
j
Oi
net j 
wji
W O 
ji
i
j
f (net j )
i
ニューロン ｊ
Oj
パーセプトロンとBP法
S-unit
A-unit
R-unit
誤差逆伝搬法（Error Back-Propagation Method）
Output Layer
Threshold
x1
Hidden Layer
－１
Input Layer
－１
x1
x2
・ ・ ・
xn
Error Back-Propagation Method（1）
netk  WkjOj k
Ok  f (netk )
j
1
f ( x) 
1  exp(x)
f ( x)  f ( x)(1 f ( x))
f(x)=1/(1+exp(-x))
系列1
1
0.3
0.6
0.2
0.4
0.1
0.2
0
0
-6
-4
-2
f'(x)
f'(x)
y
0.8
0
x
2
4
6
-6
-4
-2
0
x
2
4
6
Error Back-Propagation Method（2）
20
O j  f (net j ), net j  WjiOi   j
15
i
10
Ok  f (netk ), netk  Wjk O j  k
5
i
0
0
-5
-10
-15
-20
-25
1
2
3
4
5
6
ek  dk  Ok
1
J   ek2  min
2 k
J  function(Wkj ,Wji ,k , j )
Error Back-Propagation Method（3）
Wji (n 1)  Wji (n)  jOi   (Wji (n) Wji (n 1))
Wkj (n 1)  Wkj (n) k Oj   (Wkj (n) Wkj (n 1))
 0
学習項
慣性項
 k  ek f (netk )  ek Ok (1  Ok )
 j  Wkj k O j (1  O j )
k
where ek  dk  Ok denotes the error and
generalized error .
k
is the
インテリジェント制御の基本原理
人間のインテリジェンス
• 次式を満足するように、アルファベットを0～9で
符号化せよ。ただし、M, S  0
SEND
) MORE
MONEY
研究室で行ったニューロ応用技術
• ニューロコントロール
1) 恒温槽の温度制御
2) 加熱炉の温度制御
3) 倒立振子の安定化制御
4) ハードディスクドライバの位置制御
5) 化学プラントの圧力制御
• ニューロパターン認識
1) 紙幣識別への応用
2)リモートセンシングデータ処理
3) 識別音響識別
4) 梅果とゴムパッキン傷の自動識別
ニューロコントロールと制御理論
ニューロコントロールの特徴
1. 線形・非線型に対して同じ方法で制御系設計が可能
2. 学習・適応制御方式
3. ノイズ・パラメータ変動にロバスト
4. 数式化できない制御対象も制御系設計が可能
フィードバック制御系
ＦＦＣ
設計仕様
r
e
＋
ＦＢＣ
＋
ＦＢ要素
u
操作量：プラント入力
y
制御量：プラント出力
e
偏差
r
目標値
u
Ｐｌａｎｔ
y
ニューロコントローラの種類
u
r
NN
y
プラント
(a)直列型
r
u
NN
＋
y
プラント
コントローラ
(b)並列型
r
コントローラ
u
NN
(c)セルフチューニング型
プラント
y
直列型NNC
copy
r
NN
u

u
e
+
NN
プラント
NN
r
NN
y
u
プラント

e

y
+
-
y
+
e
並列型ＮＮＣ
NN
r
+
e
FBC
+
u
プラント
-
フィードバック誤差学習（川人光男）
小脳のモデル
y
セルフチューニング型ＮＮＣ
r
+
e
コントローラ
-
u
コントロール
パラメータ
NN
プラント
y
PID制御
外乱
1
e
r
+
-
1
Ti s
+
kc
u
y
+
プロセス
Tds
ノイズ
+
ニューロＰＩＤ制御系


z 1
z p
z 1
z
-
e(t  1)
TD
NN2
(Emuｌator)
q
r (t  1)
+
NN1
(Gain
Tuner)
k p ki k d
z 1
PID制御
-
TD
u(t )

y(t 1)
+

e (t  1)
プラント
y(t 1)
ハードディスクドライブの位置制御
HDDの制御規範
HDD特有の問題
1) Following the cyclic motion (servo problem).
min
KP ,KI ,KD
1
J1  e(n  1)2
2
2) Stable tracking (robust problem).
min
KP ,KI ,KD
1 x2 (n  1)2
J2 
2 1  e(n  1)2
3) Reduce the internal vibration.
min
KP ,KI ,KD
J3 
Gopen( z0 )

定常偏差の比較
Proposal method
Conventional method
LQI control
H∞control
Position error
40
20
目標値」
0
-20
0.02
0.03
Time (sec)
0.04
0.05
定常状態での周波数特性
Proposal method
Conventional method
LQI control
H∞control
Gain (dB)
100
50
0
1
10
100
Frequency (Hz)
z0
1000
従来のパターン認識とニューロパターン認識
階層型ニューラルネットワークによる識別能力
ニューロ紙幣識別手法
1,000 Italian Liras
(a) A Direction of
1,000Lira
(c) C direction
of 1,000 Lira
(b) B direction
of 1,000 Lira
(d) D direction of
1,000 Lira
イタリア紙幣5,000リラの入力データ
(a) 50,000 Lira(new)
A direction
(c) 50,000 Lira(new)
D direction
(b) 50,000 Lira(old)
A direction
(d) 50,000 Lira(old)
D direction
競合型NN（ＬＶＱ）の構造
y1
yj
yM
d1
dj
dM
w
wj1
wjN M1
wji
wMi wMN
w1N
w11 w1i
…
x1
競合層
…
xi
入力層
xN
競合型ＮＮの学習法（ＬＶＱ１）
異カテゴリー
Wc(t+1)
同一カテゴリ－
Wc(t)
Wc(t+1)
X(t)
LVQ学習法
i）
ii）
xt 
とニューロン
c
の属するカテゴリーが同じであるとき
wc t 1  wc t    (t ) xt   wc t 
w j (t 1)  w j t  , j  c
xt  とニューロン
c
の属するカテゴリーが異なるとき
wc t  1  wc t    (t ) xt   wc t 
w j (t  1)  w j t  , j  c
t
 (t )  0 (1 ), 0  0, T : 学習回数
T
ＬＶＱによる紙幣識別
紙幣データ
（8金種×2方向. 各150枚）
L.CH.
R.CH.
搬
送
方
向
紙幣の時系列データ
＄１－Ｃ方向 の時系列データ
実験用競合型ＮＮ の構造
当初カテゴリー： 16 (= 8金種×2方向)
y1
yj
yM
d1
dj
dM
w
wj1
wjN M1
wji
wMi wMN
w1N
w11 w1i
…
x1
競合層
…
xi
入力層
xN
入力： 32次元（16次元×２ﾁｬﾝﾈﾙ）
ニューロン数最適化 の結果
当初設定の平均値ベクトルが、信頼性評価を考慮した最適
化学習で3ベクトルに分割された様子を示す。学習データ
(100枚 許容数：3 学習：100回 )
平均値基準ベクトル
最適化基準ベクトル
表３ 最適化後の識別能力（テストデータ）
カテゴリー
ニューロン数
認識率(%)
信頼性ワースト
$1 Ｃ方向
1
100
4×10-7
$1 Ｄ方向
1
100
2×10-11
$2 Ｃ方向
1
100
1×10-17
$2 Ｄ方向
1
100
2×10-20
$5 Ｃ方向
2
100
2×10-7
$5 Ｄ方向
4
98.67
3×10-6
$10 Ｃ方向
1
100
1×10-14
$10 Ｄ方向
2
100
1×10-33
$20 Ｃ方向
4
100
2×10-8
$20 Ｄ方向
2
100
4×10-9
$50 Ｃ方向
2
100
2×10-8
$50 Ｄ方向
6
100
9×10-12
旧$100 Ｃ方向
4
100
1×10-5
旧$100 Ｄ方向
2
100
3×10-15
新$100 Ｃ方向
1
100
5×10-13
新$100 Ｄ方向
1
100
2×10-21
総合値
35
99.92
1×10-5
紙幣音による紙幣の新旧識別
Banking Machine
Entrance
Part
Transportation Part
Acoustic Signal
of a bill
Bill
Audio Amplifier
Feeding
Rollers
Stacker
Cover
A/D Converter
(12bit, 1ch, 50kHz)
Personal Computer
紙幣音のデータ
Fatigue Level 0
Fatigue Level １
Fatigue Level ２
（New Bill）
（Reusable Bill）
（Fatigued Bill）
Little difference in amplitude
Difficulty for fatigue level classification by
using time series of signal → Acoustic Energy
Pattern

新旧識別精度
MCS
Fatigue Fatigue Fatigue
Level 0 Level 1 Level 2
Entire
Feature-Selected
Acoustic Energy Pattern
(Proposed)
0.9344
94.9%
82.4%
84.6%
87.3%
Acoustic Energy Pattern
(Conventional)
0.4644
86.5%
77.9%
75.4%
79.9%
匂いの科学
Source:
http://www.emsl.pnl.gov:2080/proj/neuron/papers/keller.spie99a.html
Metal Oxide Principle
1/2O2  (SnO2x )*  O ad(SnO2x )

CO  O ad(SnO2x )  CO2  (SnO2x ) *

Fig.2 Scheme of the reaction between CO and
absorbed oxygen on SnO2
Source: Figaro Engineering Inc.
Metal Oxide Sensors Circuit
Measuring
signal
Source: FIS Inc.
計測データ（８個のセンサ・１２個の匂い）
匂い識別装置2
• 20-30 oC
• 30-40%RH
• ENと匂い物： 1.5m
匂い吸入口
新鮮な空気
識別精度（％）
TSD
Sources
BP
SSD
k-means
BP
k-means
TRUE
%
TRUE
%
TRUE
Steam
39/39
100
40/40
100
38/39
97
39/40
98
Joss
39/39
100
40/40
100
39/39
100
40/40
100
Mos
39/39
100
40/40
100
39/39
100
40/40
100
Aroma
39/39
100
40/40
100
39/39
100
40/40
100
Candle
39/39
100
40/40
100
39/39
100
40/40
100
Flame
39/39
100
40/40
100
39/39
100
40/40
100
LPG
39/39
100
40/40
100
39/39
100
40/40
100
Oden
39/39
100
40/40
100
39/39
100
40/40
100
Oil
39/39
100
40/40
100
38/39
97
37/40
93
Toast
39/39
100
40/40
100
38/39
97
40/40
100
Paper
38/39
95
35/40
88
31/39
80
28/40
70
Wood
39/39
100
37/40
93
32/39
82
28/40
70
94
94
Average
94
94
94
%
94
TRUE
94
%
94
ＳＰ
半導体匂いセンサ・水晶振動子による匂い計測識別
本研究では、半導体ガスセンサと水晶振動子の周波数変化による匂い計測法で得られた様々な匂いデータ
に、ニューラルネットを適用した匂いの識別システムを構築し、その識別能力について考察する。
特
許
関連分野
パートナーへの要
望
有
無
共同研究先
有
無
技術段階
香料検査、食品検査、異常診断、匂い合成、匂い通信
研究段階
パートナー求む！
工学研究科・電気･情報系専攻・大松
電気・情報・化学に関する基礎知識
E-mail：omatu＠cs.osakafu-u.ac.jp
TEL：072-254-9278
繁
FAX：072-257-1788
５感情報処理の概念図
Albert Einstein & Caltech
１９３０－３２
Mathematics without intuition
makes us blind. However,
Intuition without mathematics
makes us deaf.
生物に学ぶ
• はと・ジェット機
• フクロウ・新幹線
• 生物の巧みな技は研究の源