Transcript 高時間分解能 - ATR 脳情報研究所

相関を超えた情報処理の操作
•
•
•
•
•
•
•
小脳内部モデル
計算モデルに基づくシステム神経科学
システム神経科学は難しい
情報処理の理解と検証が難しい
時間相関が主だから
回路、破壊は間接的
情報表現、処理を直接操作する
脳とロボットのダイレクト通信
ブレイン・マシン・インタフェース
研究の必要性
• 高度複雑化するIT社会
• ハードウェアの急速な進歩
• 使いにくい入力装置
– キーボード（50年前）
– マウス（20年前）
• 広がる情報格差
研究の目標
誰でも頭で考えるだけで
直接コンピュータやロボットを
通信制御出来る革新的な
ユーザーインターフェースの開発
４つの背景技術
ブレイン・マシン・
インターフェース
サルBMI
近赤外光
計測装置＋
脳波計測
可搬型
NIRS
ヒト脳内情報表現の復号化：
視覚刺激の傾き、手の形、音韻
復号化
階層ベイズ
非侵襲脳活動
高精度推定法
ブレイン・マシン・インタフェースサル
ニューロン記録
腕を使ったカーソル追跡
QuickTimeý Dz
YUV420 ÉRÅ[ÉfÉbÉN êLí£ÉvÉçÉOÉâÉÄ
ǙDZÇÃÉsÉNÉ`ÉÉǾå©ÇÈǞǽDžÇÕïKóvÇ­Ç•
ÅB
脳に埋め込んだ電極から得られる
神経活動でカーソル追跡
QuickTimeý Dz
YUV420 ÉRÅ[ÉfÉbÉN êLí£ÉvÉçÉOÉâÉÄ
ǙDZÇÃÉsÉNÉ`ÉÉǾå©ÇÈǞǽDžÇÕïKóvÇ­Ç•
ÅB
遠隔地の多自由度ロボットの制御にも成功
Miguel Nicolelis
デューク大学
ヒトへの適用（米国）
•
•
2003 FDA approval; 15 patients
acutely examined
2004 FDA approval; 5 patients
chronically implanted
侵襲的なため適用範囲が限定される
脳に埋め込んだ多重電極による
ブレイン・コンピュータ・インタフェース
2. 大脳皮質上に埋め込まれた電極で
神経細胞の活動を計測
QuickTimeý Dz
YUV420 ÉRÅ[ÉfÉbÉN êLí£ÉvÉçÉOÉâÉÄ
ǙDZÇÃÉsÉNÉ`ÉÉǾå©ÇÈǞǽDžÇÕïKóvÇ­Ç•
ÅB
1. カーソルを左上に
動かすように念じる
ブラウン大学ドナヒュー：首から下が麻痺した被験者（C4レベル脊損患者）に対して、世
界で初めてBMIの慢性臨床試験を開始した。
J. Donoghue, NatureNeuroscience 2002; Human implant 2004
Prediction of Movements from Neural Firings
NeuroEngineering, Neuro-prosthetics, Neuro-Robotics, BrainMachine Interface, and Brain-Computer Interface
•
•
•
•
•
•
Wessberg, ~ , Nicolelis: Real-time prediction of hand trajectory by
ensembles of cortical neurons in primates. Nature (2000)
Taylor, Tillery, Schwartz: Direct cortical control of 3D neuroprosthetic
devices. Science (2002)
Donoghue (2004) First implanted human patient; FDA 5 patients approved
Andersen RA: PRR, Cognitive neuro-prosthetics, Science reports (2004)
Morrow & Miller: Prediction of muscle activity by populations of sequentially
recorded primary motor cortex neurons. JNP (2003)
Yamamoto Kenji, Kitazawa, Kawato: Cerebellum
非侵襲脳活動計測
PET
fMRI
NIRS
MEG
EEG
（磁気共鳴）
（近赤外光）
（脳磁図）
（脳波）
空間分解能
○
◎
○
？
？
時間分解能
×
△
△
◎
◎
携帯性
×
×
◎
△
◎
安全性
×
○
◎
◎
◎
高精度大規模装置
PET、fMRI、NIRS：空間分解能が高い
fMRI
＋
MEG
MEG、EEG：時間分解能が高い
？：不良設定問題の解き方に依存
簡便可搬型装置
NIRS
＋
EEG
大規模装置
fMRI（高空間分解能）
＋
MEG（高時間分解能）
MRI / fMRI
ATR脳活動イメージングセンタ
脳磁計(MEG)
川人 振興調整費で
島津製作所と共同開発
階層ベイズ法による
高精度脳活動推定
可搬型計測装置
QuickTimeý Dz
YUV420 ÉRÅ[ÉfÉbÉN êLí£ÉvÉçÉOÉâÉÄ
ǙDZÇÃÉsÉNÉ`ÉÉǾå©ÇÈǞǽDžÇÕïKóvÇ­Ç•
ÅB
NIRS（高空間分解能）
＋
EEG（高時間分解能）
脳波（EEG)
近赤外光計測(NIRS)
島津製作所
ALS患者への脳波BCIの臨床実施
Birbaumer et al., (1999) Nature
• 脳波でカーソルを動かす
– 頭皮上の２カ所の電極(A, B)の電位を計測
– 電位とカーソルの動きの関係
電極A
電極B
電位
プラス マイナス
右
左
上
下
PC ↓
患者
– 携帯電話に似た文字入力ソフトと組み合わせ，
全身麻痺の人が長文を書くことに成功
５０日間、５万回訓練して、正答率７５％
fMRIの脳活動でカーソルを動かす
Yoo et al., (2004) NeuroReport
• １面終わるのに２５分間、ROIの活動の閾値処理だけ
心的課題
脳活動
パターン
1) 迷路を見せる
カーソル
が動く方向
暗算
心の中でなにか
言葉をつぶやく
2) 人間が心的
課題を行う
4) 対応する方向に
カーソルを動かす
右手を動かす
イメージ
左手を動かす
イメージ
3) コンピュータが
４つのうちどの活動
パターンに近いか判断
脳波リアルタイムBCI分散システム
The user has sometimes the feeling that Pacman
moves in the correct direction though the user
was consciously not aware of his decision,
sometimes consciously not even ready for a
decision.
応用例：ゲーム（パックマン）
• real time processing of 128-channels EEG data by
parallel computer
• Fisher’s Discriminant; classifier with minimum
probability of misclassifications
• move packman forward or backward by EEG
Krepki et al. Klaus-Robert Muller, DMS ’03
Published online before print December 7, 2004, PNAS
OpNeuroscience Control of a two-dimensional movement signal by a noninvasive
brain-computer interface in humans ( brain-machine interface |
electroencephalography ) Jonathan R. Wolpaw * and Dennis J. McFarland
QuickTimeý Dz
Sorenson Video êLí£ÉvÉçÉOÉâÉÄ
ǙDZÇÃÉsÉNÉ`ÉÉǾå©ÇÈǞǽDžÇÕïKóvÇ­Ç•
ÅB
脳／心の解読（デコーディング）
エンコーディング
刺激
デコーディング
脳活動
刺激の予測
??
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
QuickTime™ and a
TIFF (LZW) decompressor
are needed to see this picture.
視覚野の活動
神谷之康 ＡＴＲ脳情報研究
Scientific American 50 (2004-2005) 受賞
(modified from http://whatisthematrix.warnerbros.com/)
脳画像のパターン認識による視覚刺激の予測
予測
脳画像から
予測された傾き
0
図形の傾き
100%
運動制御への復号化の拡張
1. じゃんけんぽんのパターン認識
大脳皮質第１次運動野
2. 音韻のパターン認識
母音：小脳
子音：大脳皮質第１次運動野
方法
BMI
BCI
長所
神経活動測定
非侵襲的
短所
侵襲的なため
適用範囲限定
神経活動はブラッ
クボックスのため
機能限定
New Technology
非侵襲計測による高精度神経活動推定
脳内電流源の階層ベイズ推定
電流
高時間分解能(ミリ秒)と
高空間分解能(ミリメートル)で
脳神経活動推定
時間
階層ベイズ
逆フィルタ
MEG/EEGデータ
推定電流
推定電流を用いて
活動領域にフォーカス
電流
fMRI/NIRSデータに
よる柔らかな拘束条件
脳内電流源
fMRI/NIRSによる脳活動時間平均情報
時間
視覚刺激反応シミュレーション
視覚野上での
時系列活動パターン
fMRIデータ
MEGデータ
偽の活動情報
逆問題（電源推定）
階層ベイズ推定結果
三ヶ所が順番に活動
元の活動パターンを復元
Wiener推定結果
階層ベイズ推定による脳磁図逆問題の解決
Sato M, Yoshioka T, Kajiwara S, Toyama K, Goda N, Doya K,
Kawato M: Hierarchical Bayesian estimation for MEG inverse
problem. NeuroImage, 23, 806-826 (2004).
Inflated
Map
of
Cerebral
Cortex
QuickTimeý Dz
YUV420 ÉRÅ[ÉfÉbÉN êLí£ÉvÉçÉOÉâÉÄ
ǙDZÇÃÉsÉNÉ`ÉÉǾå©ÇÈǞǽDžÇÕïKóvÇ­Ç•
ÅB
Visual
Areas
非侵襲高機能ＢＭＩの仕様
• 安価（手術、fMRI, PET, MEG等を使用しな
い）＝脳波、光トポにもとづく
• 安全性（暴走しない）＝汎化性能＝限局した
脳活動を計測する必要
• 使用感（学習しやすさ）＝本来の脳情報の表
現を利用する＝限局、神経科学
• 高機能（高い操作性）＝多自由度、高正答率
＝統計手法、限局
ブレイン・ネットワーク・インタフェースの急激な進歩
(大量生産)
ユーザー訓練 学習アルゴリズム 脳表現
ALS脳波
50日
×
×
価格
5万円
性能
××
(1999)
fMRIカーサー
なし
△
◯
100万円
△
(2004)
侵襲ヒト
数日(時間)
◯
◎
500万円
◎
(2004)
脳波カーサー
20日
◯
◯
BBMI (EEG)
40分
◎
×
40万円
△
fMRIデコーディング
なし
◎
◎
100万円
◯
10万円
◯
(2004)
(2003)
(2005)
EEG-NIRSデコーディング
EEG-NIRS-Bayesian
40分
◎
◯
30万円
◎
5分
◎
◎
10万円
◎
(5年後)
(10年後)
ＡＴＲ脳情報研ブレイン・
ネットワーク・インタフェース開発の強み
1. 非侵襲型にもかかわらず限局した脳活
動：安全性と汎化能力の保障
2. １を可能にする階層変分ベイズ脳活動
推定法
3. 計算神経科学、復号化の実績
4. ヒューマノイドロボット研究の実績
5. 複数の強力な商品化パートナー
まとめ
非侵襲脳活動計測による脳の運動指令推定
頭で考えた運動イメージを
そのままコンピュータやロボットに実行させる
革新的なインターフェース開発
QuickTimeý Dz
YUV420 ÉRÅ[ÉfÉbÉN êLí£ÉvÉçÉOÉâÉÄ
ǙDZÇÃÉsÉNÉ`ÉÉǾå©ÇÈǞǽDžÇÕïKóvÇ­Ç•
ÅB
SARCOS
“脳を使う”の応用
1.計測装置
医療用・脳研究用の脳活動計測装置
安価な携帯型脳活動計測装置
2.リハビリテーション
関連の製品
脳機能モニター装置
→医療機関での脳活動モニターによる回復の診断訓練システム
→遠隔脳モニターによる在宅リハビリおよび機能支援
3.エンターテイメント
映像関連の製品
映像操作アプリケーション
→ビデオゲーム
→アーケードゲーム
→スポーツトレーニング
4.ロボット製品
大型ロボット操作におけるブレインマシンインタフェース
→災害救助・介護ロボットなどへの応用
小型ロボット・情報通信端末の高次レベル操作
→ペットロボット
→通信端末（ロボット）／PC／情報家電
5.その他の可能性
文字入力装置、外骨格・パワースーツ
脳活動パターン・スクリーニングシステム
機能的電気刺激(FES)による全身運動再建
制御脳科学の新しい流れ
1. 理論と実験データの時間相関を超える
新しいパラダイムの必要性
2. 脳からの情報抽出とフィードバック
3. 理論に基づいたフィードバックの操作
4. 抽出された脳情報の変更と、脳全体の
活動の変化
5. 理論とデータの因果関係の保証
6. 制御に基づいた理論の展開
推定した脳活動から情報を抽出し、
脳にフィードバックする
• EEG，MEGなどから２次元カーサーの動きを制御できる
ように訓練する
• ランダムに動く標的の追跡課題
• 脳活動とカーサーの動きの間に任意の変換（例えば回転、
ダイナミクス、ノイズ）を挿入
• 学習に伴う脳活動の変化を計測
• 脳活動と課題遂行の因果関係は保証されている
• 情報抽出する脳部位を系統的に検索
• 今水実験のブレイン・ネットワーク・インタフェース版
行動状態価値関数に基づいて
意志決定を操作する
• ブレイン・ネットワーク・インタフェースにより実際の意志決定
や運動開始前の実行可能 (Andersen 2004, Muller 2003)
• 行動状態価値関数を神経発火、BOLD信号として表現可能
（鮫島、春野）
• 左右の行動状態価値関数の差で意志決定
• 左右のQ関数から後の行動決定を復号化と修正式で修飾
• 意志決定式の変更に伴う行動学習と脳活動の変化を計測
• 脳活動と行動学習の因果律は保証されている
• 脳内の各部位から活動をとり意志決定につなげる
Understanding Hierarchical
Sensory-Motor Control by the Brain
through Robot Control with Neural Decoding
Human
ROBOT
Decision
Prefrontal decoding
Parietal decoding
CBL decoding
M1 decoding
Intention
Internal model
Muscle activity
QuickTimeý Dz
YUV420 ÉRÅ[ÉfÉbÉN êLí£ÉvÉçÉOÉâÉÄ
ǙDZÇÃÉsÉNÉ`ÉÉǾå©ÇÈǞǽDžÇÕïKóvÇ­Ç•ÅB
SARCOS, ATR, CMU, NiCT
ヒトのコミュニケーションの進化
脳の重量はネアンデルタール大；脳の数（コミュニケーション）でホモ
サピエンスが圧倒、多数の脳と身体の共同作業
300万年前
20-3万年前
数千年前
数百年前
160年前
120年前
20年前
未来
ミメシス
共同作業
言語
高効率
記号
時間と空間を超える
交通(全身)
リアルタイムではない
電信
記号・リアルタイム
電話
音声言語・感情
インターネット
記号→受動的画像・音声
ミメシス＋時間＋空間＋文化
分身コミュニケーション 脳研究＋ロボット
脳計算モデルとヒューマノイドによる電気通信
●脳のモデル
●見まね制御
●コミュニケーション
信号の認知
●脳のモデル
●見まね制御
●時間遅れ
●コミュニケーション
信号の認知