Transcript 基于镜像神经机制的人类动作行为认知计算研究-朱华平

基于基于镜像神经机制的人类动作行
为认知计算研究
报告人：朱华平
导师：孙杳如
专业：模式识别与智能系统
年级：2009年秋
研究方向：认知心理学与拟
脑计算
报告内容
1
2
3
4
5
镜像神经研究情况
镜像神经元特性
镜像神经元研究领域
镜像神经元参与虚化动作理解机理研究
下一步研究展望
1.镜像神经研究情况—溯源
发现者
被人誉为可以比肩生物学发现DNA一样的重大成就
di Pellegrino G, Fadiga L, Fogassi L, Gallese V,
Rizzolatti G. ， the University of Parma
研究历程
An accidental discovery
di Pellegrino et al.，1992（最多人接受）



Rizzolatti et al.1988(最早可追溯)
Rizzolatti et al.1996（正式提出并延展）
从猿到人

镜像神经最早在猿猴的F5区

人存在镜像神经和镜像神经系统？

镜像神经的来源，先天还是后天？
人类镜像神经系统功能的延展


动作理解到行为意图理解
语言理解与习得的动作理论

共情、神经效率……
1.镜像神经研究情况—论文发表
SCI收录论文
SCI收录论文数
.通用格式
.通用格式
主题：mirror neuron
• 来源：web of SCI
多篇science,Nature,Cell
•
.通用格式
其他论文
•
.通用格式
2011年论文
.通用格式
•
•
•
.通用格式
.通用格式
发表论文年份
.通用格式
2000
绝对数量有所下降
分布学科范围较广
计算模型仍然很少
2005
2010
•
• 逐年递增
2007年以来发表文章
数增加较快
• 2010年井喷
2.镜像神经元特性—monkey

•
What are “Mirror neuron”
Mirror neurons (MNs) are a specific class of motor neurons
that originally discovered in the macaque’s ventral
premotor cortical area( F5 area).

Properties
Mirror neurons discharge both when the animal performs an action
(grasps an object) and sees another individual make a similar action
(monkey or human).
2.镜像神经元特性—monkey
•记录猴子F5脑区的120
个左右神经元
•观看人类抓花生与猴子
自己抓取花生
•有目标的动作激活强烈
•无目标的动作激活较弱
•用工具有目标的动作激活最弱
2.镜像神经元特性-monkey
目标不可见或仅是声音

MNs respond even if the action can’t be
observed directly（Umiltà et al., 2001,
Neuron）

拨花生的声音也能激活猴子镜像神经元
2.镜像神经元特性-monkey
1
2
3
目标导向
•
猴子镜像神经元具有目标导向（ object-directed action ）
•
object alone or hand movement alone is not enough
固定模式
•
激活是固定的，非奖励激起（Reward not relevant to firing）
•
目标存在不一定要眼见（目标是预先编码的？）
•
有关动作的声音也可以激起（引申到语言习得、理解等）
•
可以感知为生物的动作执行体（非工具）
多模态
2.镜像神经元特性—从猿到人
猴子
猴子的镜像神经元
Macaque’s ventral premotor cortical area
Human’s ventral premotor cortex overlaps with
Broca’s region
Furthermore, researchers described mirror
neurons in songbirds that fired when a bird sings
or hears another bird sing a song similar to its own
人类
人类镜像神经系统
存在于inferior parietal lobe (IPL), the inferior frontal
gyrus (IFG)
Brodmann 44 ，covering part to Inferior Frontal
Gyrus (44,45,47)，with Brodmann 45 makes up
Broca’s Area, known for speech production
IPL,IFG与STS组成人类镜像神经系统（mirror
neuron system，MNS）
2.镜像神经元特性—迷人之处
A
不需要额外的mind
第一人称
reading,
或是过多的推
理,可以快速理解他人动
感同身受
作的意图
C
与动作相关的精神病
相关疾病的
共情困难的自闭症
病理依据
阿尔兹海默(老年痴呆)
B
由于动作与语言产生的
帮助语言理解
关系，镜像神经系统与
语言产生联系起来
D
快速识别动作,理解动作
人机交互的启示
意图,镜像机制为非受限
的智能人机交互带来新
的启示
3.镜像神经元研究领域
Action understanding
•
•
•
多个问题存在,如
Hicock的八个问题
和2011年的论战?
Language
镜像神经元的由
来,镜像机制仅仅
是功能体现?
•
•
镜像神经系统失衡（自闭症）
成瘾（烟瘾、暴力模仿）
神经效率Neural efficiency
脑机接口Brain–machine interfaces
艺术感觉Esthetic reactions to art
人机交互（虚拟人，乃至灵魂出窍）
• 拟人机器人Humanoid robots
语言的产生
语言的理解与进化
Consciousness
•
•
•
还涉及研究
•
•
•
•
•
•
帮助理解意图
易化（Facilitating ）模仿
Empathy（共情）
由于伦理限制，缺少
人类镜像神经元单神
经的研究证据
Theory of mind
Six sense
Social cognition
4.镜像神经元参与虚化动作理解机理研究
存二义性的手动
仅轮廓的手动
素描的手动
失真的手动
真实的手动
存二义性的手部动作，与背景知识与指导
语有关，研究较少
行为实验研究显示图示性的手部动作可以
引起自动模仿，但缺乏镜像神经激活证据
素描特征的手部动作极有可能激活人类镜
像神经系统，但没有实验验证
颜色与纹理不匹配的电脑生成的手或阴影
手也用于人类镜像神经系统的研究
真实手的不及物动作能激活镜像神经元
Mu rhythm suppression被认为是人类镜
像神经元活动的EEG 指标
4.镜像神经元参与虚化动作理解机理研究-1
•
•
直接匹配假说（Direct Matching Hypothesis
）认为人类镜像神经系统的激活与否不取决于
刺激的颜色、形状、纹理、填充物等外观形态
，而是取决于观察者是否有对其所观察运动的
内在运动表征。
镜像神经元可能参与抽象运动理解。
轮廓、象形
线条画的手为刺激
缺填充物
素描手为刺激
缺颜色、纹理
阴影手为刺激
真实的手
颜色、形状、纹
理、填充物等高度
真实的手

Huaping Zhu, Yaoru Sun, Wenya Duan, Electroencephalogram evidence for
mirror neuron activity during the observation of drawn hand, Neural
Regeneration Research, 6(18), 1398-1403,2011.
4.镜像神经元参与虚化动作理解机理研究-1
实验方法

记录F3, Fz, F4, C3, Cz, C4, P3, Pz, P4, O1,和O2等11导
脑电信号

真实手，阴影手，素描手，线条手与基线刺激

计算mu（8-13Hz）的去同步化（能量降低）

进行重复实验方差分析
实验结果

T检验显示在观看真实手运动和素描手运动时，mu节
律抑制（mu suppression）现象显著计算mu（813Hz）的去同步化（能量降低）

重复实验方差分析显示实验刺激间，C3,Cz,C4电极间
及二者相互交互均无显著差异行重复实验方差分析

对F3，Fz，F4电极的mu抑制现象分析发现与运动区电
极有同样的模式

枕区O1，O2无明显mu抑制现象，说明不是注意调制
引起
4.镜像神经元参与虚化动作理解机理研究-1
实验发现
非及物的虚化（impoverished）手指运动也能激活人类镜像神经元存在的脑区

刺激的颜色，纹理与填充内容并不是决定镜像神经元激活差异的因素

验证了镜像神经的直接匹配假说

实验结果
4.镜像神经元参与虚化动作理解机理研究-2
实验发现

学习
动作执行体确认为手，但不知具体手指运动特征时，镜
像神经系统不激活

通过学习，建立起了执行体，动作特征的一一对应，镜
像神经系统激活（EEG特征）

感觉运动学习（sensorimotor learning）是镜像神经元
形成的重要条件
提出应用框架

大量研究表明自闭症与镜像神经系统功能失衡有关，虚化的（不同表现特征的生物体运动）能
激活镜像神经系统，但自闭症患者却不一样

脑电的安全性与实时性，mu节律可以反映镜像神经系统的活动

感觉运动学习（sensorimotor learning）是镜像神经元形成的重要条件

基于以上发现，借助脑机接口（BCI）技术，开发互动的、生动的（或写实的、或抽象的）人
类动作，利用学习强化镜像神经系统，从而达到自闭症康复治疗目的。

Huaping Zhu, Yaoru Sun, JinhuaZeng, Hongyu Sun, “Mirror neural training induced by virtual
reality in Brain–Computer Interfaces may provide a promising approach for the autism therapy”,
Medical Hypotheses, 76(5), 646-647,2011.
5.下一步研究展望
镜像神经元的动作链架构
•
直接匹配中动作的组织方式—动作链
•
动作链的发生、发展、消亡与可塑
动作直接映射的计算范式
•
建立动作基元的链式表达结构
•
动作的快速映射机制
动作认知的相关应用研究
•
人类动作（如手势）快速识别与交互
国家自然科学基金（面上）2012年-2015年：基于动作
链及镜像神经系统的人类动作行为理解的认知计算研究
谢谢大家！