Transcript SOM与侧向相互作用 - 北京师范大学系统科学学院

SOM与侧向相互作用
北京师范大学 系统科学系
陈家伟
2010.7.23
提纲
• 人工神经网络介绍
• SOM——自组织映射
• SOM与神经系统
• 侧向相互作用
人工神经网络介绍（ANN）
人工神经网络发展历史
• 第一阶段（兴起）
–
–
–
–
1943年，W.S.Mcculloch和W.Pitts 提出了M-P神经元模型；
1949年，D.O.Hebb提出突触联系可变的假设；
1957 年，Rosenblatt提出了著名的感知机模型；
1960年，B.Windrow和E.Hoff提出了自适应线性单元。
• 第二阶段（低谷）
–
–
–
–
1969年，M.Minsky和S.Papert出版Perceptron一书；
1972年，T.Kohonen 提出了自组织映射理论；
1976年，S.A.Grossberg提出自适应共振理论（ART）；
1982年，K. Fukushima提出了认知机模型。
• 第三阶段（热潮）
– 1982年，J.J.Hopfield提出Hopfield网络；
– 1984年，Hinton等人提出了Boltzmann机网络模型；
– 1986年，D.E.Rumelhart和J.LMcclelland提出了误差反向传播算法，成为
至今为止影响很大的一种网络学习方法。
• 第四阶段（平稳发展）
BNN与ANN
神经元模型
权重变化
d
wij    (1  wij ) i  j    wij
dt
经典的ANN模型
反向传播算法 Backpropagation，BP算法
感知机模型 Perceptron
Self-organizing maps，SOM
Hopfield 网络
SOM——自组织映射
模型结构
• 输入层
– n个神经元
• 输出层
– m个神经元排成一维或二
维形式空间形式；
– 神经元之间全连接。
• 权重矩阵
– 全连接，wij是m*n维矩阵
• 核心机制
– 竞争：Winner take all；
– 合作：lateral interaction
侧向相互作用
训练过程
• 连接权值初始化，一般随机设定
• 对网络输入模式： xk  ( x1k , x2k ,..., xnk )
• 计算输入 xk 与全部输出结点权向量的距离：
n
d j   ( xik  Wij )2 , j {1, 2,..., m}
i 1
min {d j }
• 具有最小距离的输出结点获胜 ：d j  j{1,2,...,
m}
*
• 调整获胜节点一节获胜节点邻域内的权重值：
Wij   (t )  e

d2
2 2 ( t )
 ( xik  Wij ), N j  NE j* (t ), i {1, 2,..., n}
• 输入新的样本，继续训练。
学习效率和邻域大小
• 学习效率  (t ) 随时间减小。随着训练过程的进行，
权值的调整幅度越来越小。
• 邻域大小 NE j (t ) 也随着时间而收缩，当t足够大时，
只训练获胜结点本身。
*
• 训练过程分为两个阶段：
– 排序阶段：形成权值向量的拓扑排序；
– 收敛阶段：提供输入空间的准确统计量。
SOM的本质——保范映射
• SOM实质上是从任意维离散或连续
空间V 到一维或二维离散空间A的一
种保范映射。
SOM的性质：输入空间的近似
对于V中的向量v，首先根
据特征映射Φ 确定在输出
空间A中的最佳匹配单元
S，S 的权重向量Ws可视
为S投影到输入空间的坐
标。通过不断调整的权重
矩阵，可以使得输出空间
A近似的表示输入空间V。
SOM的性质：拓扑排序
• 通过SOM算法计算的特征映射Φ 是拓
扑有序的，意味着网络中神经元的空间
位置对应于输入模式的特定区域或特征。
• 演示
• 输入和输出都是一维的情况下，可以证
明系统收敛到排序的状态。
J. A. Flanagan, Self-organization in the one-dimensional SOM with a decreasing neighborhood. Neural Networks, 2001, 14(10):1405-1417.
SOM的性质：密度匹配
• 特征映射Φ反映输入分布在统计上
的变化：在输入空间上X中样本以
高概率抽取的区域映射到输出空间
A中的更大区域，反之依然。
• 演示
SOM的性质：特征选择
• 在具有非线性分布的空间中给定数
据，SOM能够为逼近固有分布选择
一组最好的特征。
• 演示
SOM的应用
•
•
•
•
•
•
数据压缩
降维
聚类
向量量化
模式分类
……
SOM与神经系统
对初级视皮层朝向敏感性的模拟
视觉初级皮层朝向敏感性
英文单词聚类
汉字的聚类
Model——Acquisition of lexicon
汉字获得的SOM模型
躯体感觉皮层
感觉皮层
汉字认知的模式
• 行为实验
– 初级学习者；
– 中级学习者；
– 母语。
• 知觉学习模型
– Hebb学习法
– 侧向相互作用
单个汉字学习
初始状态
训练结果
左右结构的汉字训练
连接受损时的情形
侧向抑制
什么是侧向抑制
锐化
• 视觉：更容易从背景中分出对象，尤其在看
物体的边角和轮廓时会提高视敏度。
• 色觉：红和绿，黄和蓝的成对拮抗效应；
• 在听觉系统中，耳蜗神经纤维的侧抑制可以
加强对音高的辨认。
• 在皮肤上，侧抑制有助于触点的定位。
人眼对对比度的适应
• 瞳孔：1.5~8mm，约25倍的调节能力；
• 光亮的差别：暗室和阳光下的差别约
100万倍。
• 调节的方法就是视网膜水平细胞的侧抑
制作用。
视觉——对比度
视觉——对比度
错觉
另一类错觉
谢谢！