Transcript Artificial Intelligence 人工智能

Artificial Intelligence
人 工 智 能
Prof. Dong Hongye
董鸿晔 教授
[email protected]
第3章人工神经网络及其应用
• 3.1神经生理学基础
• 3.2人工神经网络的基本原理
• 3.3几种典型的模型及其应用
– Hopfield网络模型
– 反向传播BP模型
– 自适应共振理论ART模型
• 3.4 几个实例
本章重要概念（简述）
• 神经元的结构（画出示意图）
• 神经元的模型（画出示意图）
• 神经元的数学模型
• 人工神经网络的主要特征
• 三种典型的人工神经网络模型
3.1神经生理学基础
• 人类的智能到底起源于何处，这是自古以
来人们追求的一个目标。古代人们认为心
是智慧的源泉，直到现在，很多汉语词汇
仍然保留着历史的踪迹，如“心智”、
“心理”等等。
• 现代医学及生理学告诉我们，人脑特别是
大脑，是人类高级智慧的核心，而其中的
神经元又是人类智能活动的基础。
神经元的结构
神经元的结构
• 神经元胞体内含有细胞核、核糖体、原生质网状
结构等，它是神经元新陈代谢等各种生化过程的
活动场所，是神经元的能量提供者。
• 树突是胞体外一些枝状延伸物，主要接收别的神
经元传送的神经信号，一般为电信号或化学信号。
• 轴突是细胞体外伸的一个管状纤维，轴突最长可
达1m以上。轴突的功能是把神经元的神经信号传
到其神经末梢。
• 神经末梢是在轴突端部一些细小的枝状物，它接
收来自轴突的神经信号，并与下一个神经元接触。
神经元信号传递
• 我们可以看到，人脑中神经信号的传
送就是一个神经元的神经末梢与下一
个神经元的树突发生信号传递的过程，
神经元末梢与一个神经元的树突接触
区域称为突触，这个区域可以用下图
来表示。
大脑神经元的基本运行状态
• 在神经信号的驱动下，神经末梢会释放囊
泡中的神经传递介质，下一个神经元的树
突有一个受体接收到这个传递介质，并引
起神经元胞体内的电位上升，一旦下一个
神经元从众多的树突中接收到足够多的神
经刺激，它就会被激活，从而沿轴突将神
经信号传送到它的神经末梢，引起下一批
神经元被激励。
3.2人工神经网络的基本原理
• 1943年，美国科学家Pitts和McCulloch首
次提出了神经元的M-P数学模型，为人工神
经网络的研究开辟了道路。
• 1949年Hebb提出了著名的Hebb学习定律，
认为如果两个神经元处于激励状态，则它
们之间的连接（以权重为衡量标准）得到
加强，如果两个神经元处于抑制状态，它
们之间的连接就被减弱，Hebb定律为人工
神经网络的学习机制研究指明了方向。
感知机模型
• 1961年，Rosenblatt第一次提出了感知机
模型（Perceptron)，系统地研究了人工神
经网络作为一种智能模型的功能及作用，
感知机模型的出现极大地鼓舞了智能技术
的研究者，使人觉得一个新的智能应用时
代的到来。
陷入低潮
• 但人工智能的先驱者Minsky等仔细分析了
以感知器为代表的神经网络系统的功能及
局限后，于1969年出版了《Perceptron》
一书，指出感知器不能解决高阶谓词问题。
他们的论点极大地影响了人工神经网络的
研究，加之当时串行计算机和人工智能所
取得的成就，掩盖了发展新型计算机和人
工智能新途径的必要性和迫切性，使人工
神经网络的研究处于低潮。
Hopfield神经网络模型
• 在此期间，一些人工神经网络的研究者仍
然致力于这一研究，提出了适应谐振理论
（ART网）、自组织映射、认知机网络，同
时进行了神经网络数学理论的研究。以上
研究为神经网络的研究和发展奠定了基础。
1982年，美国加州理工学院物理学家
Hopfield提出了Hopfield神经网络模型，
引入了“计算能量”概念，给出了网络稳
定性判断。
• 1984年，他又提出了连续时间Hopfield神
经网络模型，为神经计算机的研究做了开
拓性的工作，开创了神经网络用于联想记
忆和优化计算的新途径，有力地推动了神
经网络的研究。
• 1986年Rumelhart、McClelland等研究者发
表文章*，系统地描述了人工神经网络的理
论基础，特别是针对Minsky提出的感知机
的缺陷，提出了利用隐节点来克服感知机
仅限于线性可分的局限，从而引起新的一
轮人工神经网络的研究热潮。
*《Parallel Distributed Processing: Explorations in the
Micro-structure of Cognition》，
人工神经网络的核心——
神经元的模型
神经元的数学模型
• 输入X={x1 , x2 ，… ，xn｝T 模拟其他神经
元 对 本 神 经 元 的 影 响 ， 权 重 W ={w1,
w2 ，… ，wn｝模拟输入对神经元的传递效
率，θ为使本神经元处于激活状态所需的阐
值，f (u) 为一旦神经元被激活后输出值的
变化，数学模型为：
f (u）的三种模型
f ( u ) = ku
阶跃型
线性连续型
f ( u ) = 1 / ( 1 + e -u)
S型
说明
• 不同的神经元模型代表了人工神经网络一些基本
特征，但这不是研究的全部，更重要的是如何利
用这些基本组件来构造人工神经元系统。
• 这些系统可能基本元件一样，但由于结构、连接
方式的不同，产生的系统行为会有重大的区别。
• 用一个形象的比喻，我们知道碳是地球上的一个
重要化学元素，虽然同是C12原子，但由于分子结
构不同，它可以形成非常坚硬的金刚石，能够阻
挡放射线的石墨和我们日常生活中容易燃烧的木
炭。
高度非线性动力学
•
•
•
•
大量的形式相同的神经元连结在一起就组
成了神经网络。
神经网络是一个高度非线性动力学系统。
虽然每个神经元的结构和功能都不复杂，
但是神经网络的动态行为则是十分复杂的。
因此，用神经网络可以模拟、表达实际物
理世界的各种现象，解决一些其他领域难
以解决的问题。
人工神经网络的主要特征
•(1)并行分布性处理
•(2)可学习性
•(3)鲁棒性和容错性
•(4)泛化能力
(1）并行分布性处理
• 并行性来自于人工神经网络中的神经元排
列并不是杂乱无章的，往往是分层或以一
种有规律的序列排列，信号可以同时到达
一批神经元的输人端，这种结构非常适合
并行计算。
• 同时如果将每一个神经元看作是一个小的
处理单元，则整个系统可以是一个分布式
计算系统。
(2)可学习性
• 一般人工神经网络模型都有自己的学习算
法，或者利用样本指导系统模拟现实环境
（称为有教师学习），或者对输人进行自
适应（称为无教师学习）。
(3)鲁棒性和容错性
• 由于采用大量的神经元及其相互连接，
人工神经网络中少量的神经元发生失
效或错误，不会对系统整体功能带来
严重的影响。
(4)泛化能力
• 如果输入发生较小变化，其输出能够与原
输人产生的输出保持相当小的差距。
3.3几种典型的模型及其应用
• 3.3.1 Hopfield网络模型
• 3.3.2反向传播BP模型
• 3.3.3自适应共振理论ART模型
3.3.1 Hopfield网络模型
• Hopfield于1982年提出了用于联想记忆的
人工神经网络模型，它是一种带有反馈
（输出作为输人的一部分）的网络。
Hopfield模型
• Hopfield 是带有自反馈的神经网络模型。
模型分为两层：
• 第 0 层为引入反馈而设计，它是退化了的
神经元层，神经元的输出等于输入；
• 第 1 层是标准的神经元模型，它的数学模
型如下。第 1 层第 j 个神经元的输入前部
（对神经元的刺激）:
• 如果选择阶跃型函数作为神经元的激励函
数时，有
稳定性分析
• Hopfield网络由于其输出端有反馈到其输
入端，在输入的激励下，其状态发生变化，
这个变化反馈到输入，从而产生新的输出，
引起一系列的状态转移。
• 如果这种状态转移经过一定的时间稳定下
来，t + 1 时刻与t 时刻状态相同，则我们
称系统到达了稳定平衡状态。
网络稳定的充分条件
• 并不是所有的Hopfield网络都是稳定的，那么，什么样的
网 络 是 稳 定 的 呢 ？ 目 前 没 有 通 常 的 方 法 ， cohen 和
Grossberg在1953年给出了关于Hopfield网络稳定的充
分条件：如果Hopfield网络的权系数矩阵W是一个对称矩
阵，并且W的对角线元素为0，则这个网络是稳定的，即
是说在权系数矩阵W中，如果
则Hopfield网络是稳定的。
网络退化成没有自反馈的Hopfield 网络
• 所谓充分条件是指只要满足以上条件的Hopfield网络，系
统经过一定的迭代循环，肯定能够达到稳定的状态。但这
并不代表不满足以上条件的Hopfield网络就绝对不稳定。
离散Hopfield网络的工作方式
• ① 串行方式
• 在时刻 t 时，只有某一个神经元 j 的状态发生
变化，而其他 n-1个神经元的状态不变。
• ② 并行方式
• 在任一时刻 t，所有的神经元的状态都产生了变
化，则称并行工作方式。
结
论
• 从Hopfield 网络可以看出，它是一种多输入的二值非线性动
力系统。在动力系统中，平衡稳定状态可以理解为系统的某种
形式的能量函数在系统运动过程中，其能量值不断减小，最后
处于最小值。
联想存储器
• 令Hopfield网络是一个具有m个输入节点的
网络，学习开始时具有m个样本，它们为
• 其权值变化为
• 当联想检索时，令输入为
• 初始输出
• 利用如下的迭代公式
• 其中f(.)一般为非线性函数，常用阶跃型函
数。y (t + 1)与 y( t ) 经过一定次数的迭代
后，系统输出不再变化，达到稳定。
• Hopfield网络用它做联想记忆时，如果输
入向量与训练的样本不完全一样或有部分
不正确的数据，但是网络仍能够产生所记
忆的信息的完整输出。
•以 上 讨 论 的 Hopfield 网 络 是 离 散 型 的 ，
Hopfield在离散型网络基础上发展了连续型
神经网络。连续型Hopfield网络的结构与离
散型网络一样，只是输人变换函数f（· ）一
般取sigmoid函数，即
•可以证明如果连续型Hopfield网络的权重矩
阵满足对角线元素wii = 0 ，并且wij = wji，
则该网络是稳定的 。
3.3.2反向传播BP模型
• Rosenblatt 于 1961 年提出了感知机模型
Perceptron，它利用神经元模型模拟人类的
逻辑思维取得了很大的成功，但 MIT 的著
名人工智能学者Minsky分析了Perceptron
的结构与特征，提出了它的致命缺陷，无
法实现像XOR（异或）这样简单的非线性
逻辑运算。
异或运算真值表
• 令++ 为异或算子，Z = X ++ Y，则 Z 的取值可以
从下表中得到：
X
Y
Z
0
0
0
0
l
1
l
0
1
1
1
0
异或运算平面图
• 因为Perceptron是线
性分类器，因此如图
中虚线所表达的，无
论如何切割，总是无
法将黑球与白球分开。
所以Perceptron无法
面对像XOR这样的逻辑
问题。
引入隐节点
• 1986年，Rumelhart 等研究者提出了引入
隐节点，采用非线性神经元的新型神经模
型，由于它的学习算法是基于误差反向传
播（error Back-Propagation)，于是被称为
BP模型，或反向传播模型。
• 下面将两个模型加以对照：
① 结构比较
• （以三个输入节点，两个输出节点为例）
② 映射函数比较
解决方案
• 由于 BP 模型采用了非线性的映射函数，在
解决 XOR 这样非线性分类问题时可能进行
图中的划分。
能量最小原理
• ① 初始化权重，一般取接近零的随机数；
• ② 将样本的输入作为BP 模型的输入，逐
级计算出神经网络的输出；
• ③ 将样本的输出与神经网络的输出进行比
较（均方差，即能量），产生学习误差；
• ④ 以该误差作为修改各层神经元输出的依
据，从顶层（输出层）到底层（输入层）
修改连接每一个神经元的权重，即所谓误
差的反向传播。
结论
• 研究人员已经证明：只要有足够多的隐节
点和足够的学习时间，BP模型可以模拟任
意复杂的非线性曲线。
• 正是BP模型具有这么强大的学习能力，它
目前在人工神经网络中得到广泛的应用。
DEMO
3.3.3自适应共振理论ART模型
• 1976年美国 Boston 大学的 S. Grossberg 和 A.
Carpenet 提出了自适应共振理论 ART( Adaptive
Resonance Theory）模型。
• 它试图利用数学方法描述人类心理与认知活动，
如短期记忆（STM）、长期记忆（LTM）、注意力
聚焦等等。
• ART 是一种自组织神经网络模型，其学习方法属
于无教师的自适应过程。当在神经网络和环境有
交互作用时，神经网络自动对环境信息进行编码，
即对神经网络的权重进行自组织活动。
ART 模型的结构
ART模型连接图
ART工作原理
• 输入层F1接收来自系统的输入，它经过输入层神
经元的加工，只有较强刺激的输入才能激活输入
层神经元。所谓较强刺激，即一个称为“2/3规则”
的控制。“2/3” 规则告诉我们，三个输入中当有
两个输入为正（刺激）时 STM-F1 中的神经元才
处于激活状态。（看结构图）
• 这里，STM-F1，通常称为比较层，STM-F2称为
识别层，它们之间的通道（权重矩阵）称为LTM
（长期记忆）。STM-F2状态的变化表示对注意力
转移过程，而由于模式不匹配而引起的状态转移
信号就称为定向子系统。
• 我们可以从结构图中看到，短期记忆STM-Fl有三个输入，
分别对应系统输入、增益控制1输入及从STM-F2来的自上
而下的输入，“2/3”规则告诉我们，三个输入中当有两个
输入为正（刺激）时STM-Fl 中的神经元才处于激活状态。
• STM-F1的输出经过变换（称为自适应滤波，实际是权重
矩阵变换）到达STM-F2，在STM-F2中神经元及来自系统
输入部分的作用下，STM-F2形成关于目前输入的特征模
式，这个特征模式一方面作为刺激直接作用STM-F1，
• 另一方面通过反馈通道与输入模式进行匹配返回给STMF1，如果匹配结果比较差，就有可能产生信号（STM重置
波），这个信号使得STM-F2放弃目前的特征模式，同时
在系统输入的作用下调整神经网络的权重，形成新的特征
模式，从而继续循环下去，直到找到合适的特征模式。这
就是自适应共振模型的基本运行思路。
应用
• 由于ART模型在刻画人类认知心理过程中
的独到之处，常常被用来进行机器人算法
设计、人脸识别、聚类分析等等许多领域，
取得了良好的效果。
3.4 几个实例
神经网络实际运行过程
导入规则就是在使用神经网络过程中将符号表达解
释成神经网络所需的数值表达的方法。导出规则是
在神经网络运行结束后，将神经网络的输出结果解
释成符号，以便于进行符号推理的方法。
Q&A
课堂讨论与习题（简述）
• 神经元的结构（画出示意图）
• 神经元的模型（画出示意图）
• 神经元的数学模型
• 人工神经网络的主要特征
• 三种典型的人工神经网络模型
谢谢
Prof. Dong Hongye
董鸿晔 教授
[email protected]