#### Transcript Neural Network for Prediction

```適応システム理論
ガイダンス
Introduction to Neural Networks
Kenji Nakayama
Kanazawa University, JAPAN
PPTファイルの入手方法
http://leo.ec.t.kanazawa-u.ac.jp/~nakayama/
Education

Neural Networks
Network Structures
Multi-layer Network
Recurrent Network
Learning Algorithms
Supervised Learning
Unsupervised Learning
Functions
Pattern Mapping and Classification
Estimation and Prediction
Associative Memory
Optimization and Minimization
Multi-Layer Neural Networks
Artificial Neuron Model
Activation (Nonlinear) Function of Neuron
Active
1
y
u
1 e
Inactive
1  e u
y
1 eu
Space Separation
Pattern Classification by Single Neuron
Linearly Inseparable Problem
Two Layer Neural Network
Pattern Classification by Two-Layer NN
- Region Separation by Hidden Units-
Pattern Classification by Two-Layer NN
- Class Separation by Output Unit -
Learning of Connection Weights in Single-Layer NN
E[e2 ] is minimized
Learning of Connection Weights in Multi-Layer NN
- Error Back Propagation Algorithm -
Chain Rule in
Derivative
Learning Process (Initial State)
u=0
Learning Process (Middle State)
u=0
Learning Process (Middle State)
u=0
Learning Process (Convergence)
u=0
Training and Testing for Pattern Classification
Application 1
Prediction of Fog Occurrence
Number of Fog Occurrence
Fog is observed
every 30 minutes
Neural Network for Prediction
Weather Data
･Temperature
･Atmospheric Pressure
･Humidity
･Force of Wind
･Direction of Wind
･Cloud Condition
･Past Fog Occurrence
･････
20 kinds of weather data are used
Connection Weights from Input to Hidden Unit
Connection Weights from Hidden to Output
Fog will occur
Fog won’t occur
FFT of Connection Weights Used for Predicting Fog
Input→Hidden Unit #6
Input→Hidden Unit #10
FFT of Connection Weights for Predicting No Fog
Input→Hidden Unit #3
Input→Hidden Unit #14
Prediction Accuracy of Fog and No Fog
Application 2
Nonlinear Time Series Prediction
Examples of Nonlinear Time Series
Examples of Nonlinear Time Series
Sunspot
Lake
Level
Chaotic
Series
Nonlinear Predictor Combining NN and Linear Filter
Prediction Accuracy by Several Methods
Prediction Accuracy by Several Methods
Application 3
Prediction of Machine Deformation
Numerically Controlled Cutting Machine
Cutting Tool
Objective
Deformation of Cutting by Temperature Change
Machine Temperature Change in Time
Deviation of Cutting by Temperature Change
Tolerance
Prediction of Deformation Using NN
Tolerance

ニューラルネットワークによる
タンパク質二次構造予測
タンパク質はアミノ酸配列が立体的に

ＩＪＣＮＮ‘２００２
Ｒ．Ｐｏｌｌｏｃｋ，Ｔ．Ｌａｎｅ，Ｍ．Ｗａｔｔｓ

タンパク質二次構造
タンパク質二次構造予測は
タンパク質構造解析において非常に有用
データの操作
・１個のアミノ酸の二次構造を予測するため

・１個のアミノ酸に２２個の入力ユニット
（各アミノ酸種２０個、スペーサ１個、不変重み１個）
・入力ユニット２２＊９個、出力ユニット３個

７０

ニューラルネットワークによる
ブレイン・コンピュータ・インターフェイス
ブレイン・コンピュータ・インタフェイスとは
• 人間とコンピュータのインタフェースとして、

• 近年、脳波を解析して行う手法に注目
（ブレイン・コンピュータ・インタフェース：ＢＣＩ）
• 重度の運動障害を抱える患者が機器を操作
するのを助ける、といった応用が期待されて
いる
ＢＣＩの処理の流れ
• ユーザがやりたいことを想像し、そのときの

・メンタルタスク（想像する課題）を使用
• 脳波を解析し、ユーザの意図を推定する
• 推定結果に基づいて、機器を操作する
○○
した
い

タスクを

タスク
ＢＣＩの方式
• 特徴量
・ 周波数スペクトル
・ ＡＲ係数
• 分類方法
・ ニューラルネットワーク
・ 隠れマルコフモデル
・ 線形分類

• 特徴量
フーリエ変換の振幅
• 分類方法
ニューラルネットワーク
• 脳波データ
コロラド州立大学が公開しているデータ
メンタルタスク
５種類のメンタルタスク：
•
•
•
•
•
Ｂ ： できるだけリラックス
Ｍ： 掛け算を暗算で行う（49×78など）
Ｌ ： 手紙の文を考える
Ｒ ： 回転する3次元物体を想像する
Ｃ ： 数字を順番に書くことを想像する

• 脳波を測定する電極の数は、７個
C3, C4, P3, P4, O1, O2, EOG（まばたき検出）
• １回の測定は、 10 秒間
• 250Hzで、サンプリング
→１チャネルあたり、2500サンプル

250 Hz × 10 秒 ＝ 2500 サンプル
C3
C4
P3
P4
O1
O2
EOG
１チャネル分の脳波データ
このような波形が、７チャネル分ある

•
•
•
•

セグメント分割
フーリエ変換の振幅
サンプル数の低減
データの非線形正規化
セグメント

フーリエ

サンプル

データ
セグメント分割
0.5 秒
0.5 秒
0.5 秒
・・・
0.5 秒
セグメントごとに
フーリエ変換
• 10 秒のデータを 0.5 秒のセグメントに分割
• 0.25 秒ごとに、分類結果を出す（上の↓）
・・・
フーリエ変換の振幅
サンプル数１２５
サンプル数の低減
• 連続する複数サンプルで

サンプル数１２５
サンプル数２０
データの非線形正規化
• データの分布を広げるために正規化を行う
f ( x)  log( x  min1) / log(max min1)
データの非線形正規化
• 振幅は、対称なので半分だけ用いる

７チャネル分並べたものが、入力データとなる（10×7=70サンプル）
ニューラルネットワークによる分類
•
•
•
•

• 学習の際の目標出力は、
１：該当するタスクに対応する出力ユニット
０：その他の出力ユニット
ニューラルネットワークによる分類
• 最も大きな値を持つ出力ユニットに対応する
タスクを分類結果とする
• 出力が全体的に小さい値のときは、
リジェクト（判定不能）とする
1
2
3
・
・
・
・
4
5
0.3
0.9
0.1
0.0
0.2

1
2
3
・
・
・
・
4
5
0.1
0.1
0.2
0.0
0.1
リジェクト（判定不能）
シミュレーション
• ５種類のメンタルタスクに対して、
１０回ずつ測定を行ったので、合計５０個の
データセットがある
• このうち、４０個を学習に、残りの１０個を
テストに用いる
• テストに用いるデータを変えて、５回シミュ
レーションを行い、その平均値で、結果を

シミュレーション
• ２人の被験者の脳波を用いて、それぞれ
シミュレーションを行った
•
•
•
•
•

リジェクトのための閾値： 0.8

テストデータ

１
99.7
0.1 0.99 79.7 10.5 0.88
２
95.5
0.8 0.99 45.5 33.7 0.57

ＭＥＧ（Magnetoencephalograph）
• 脳の電気的な活動に伴って生じる磁場（脳

いて検出
• 仰臥して計測→被験者の負担が小さい
• 空間解像度が高い（mm～）
• 時間解像度が高い（ms～）
センサと頭部の対応付け
• 脳磁計のマーカ測定とMRI画像との位置

チャネル選択
• 前頭葉・頭頂葉・側頭頂・後頭葉から2chず
つ，合計8ch選択
• 各部位とセンサ位置の対応付けを決定し，

メンタルタスク
4種類のメンタルタスクを用いる
• Baseline：何も考えずリラックス
• Multiplication：3桁×１桁の暗算（例：456×8）
• Sports：体を動かす様を想像
• Rotation：回転する3次元物体を想像
（物体の形状は被験者に任意）

チャネル位置の最適化

4メンタルタスク×10 trial
↓
40セット

32セット
5種類の特徴分類の平均値で正答率を評価
テストデータ
8セット

90.0/10.0 82.5/17.5 57.5/42.5

97.5/2.5 85.0/15.0 72.5/27.5
Recurrent Neural Networks
Recurrent Neural Network
Hopfield Neural Network
･Symmetrical Connections
wij  wji
･No Self-loop
･One neuron randomly selected is updated.
･The energy function always decrease
or stay at the same value.
･Memory Capacity is about 15% of Neurons
Associative Memory (1)
4x4=16 Neuron RNN
6 Random Patterns {pi} are Stored
Connection Weights
M
W   pi pi
T
i 1
★Demonstration
Association from another random patterns
Traveling Salesman Problem
Active Neuron
Inactive Neuron
(5×5 Neurons)
Associative Memory (2)
･Error Correction Learning with Hysteresis
･Adaptive Hysteresis Threshold for Association
･51 Alphabet Letters and 10 Digits are Stored
in 16x16=256 Neuron RNN. 25% of Neurons
Association of ‘M’ from Its Noisy Pattern
Association of ‘M’ from Its Right Half Pattern
Association of ‘M’ from Its Upper Half Pattern
Competitive Learning
Lateral Inhibition Model
END OF THIS LECTURE
THANK YOU
```