Transcript 计算智能概论 - 暨南大学计算机科学系

第一讲:计算智能概论
•
•
•
•
•
•
•
智能科学的有关术语
传统人工智能
计算智能
计算智能的主要内容
主要应用领域
教材与参考书目
课程安排
2015/4/9
谭营---计算智能
1
脑与智能？
• 脑(Brain)与智能(Intelligence)？
• 智能的核心是思维（thought），思
维是人的大脑活动，思维的器官是
大脑。大脑活动的主要内容是处理
信息和再生信息。
• 智能: 在给定任务或目的下，能根
据环境条件制定正确的策略和决策，
并能有效地实现其目的的过程或能
力。
2015/4/9
谭营---计算智能
2
智能的概念
• 什么是生物智能 （Biological IntelligenceBI）？
• 什么是人工智能 (Artificial Intelligence-AI)？
• 什么是计算智能 (Computational IntelligenceCI)？
所谓的智能ABC
• Bezdek的观点： CI  AI  BI (1992)
• Jacek M. Zurada的观点: CI不完全包含于AI
2015/4/9
谭营---计算智能
3
什么是智能？什么是智能信息处理？
• 脑(Brain)与智能(Intelligence)？
• 智能的核心是思维（thought），思维的器官是大脑。
大脑活动的主要内容是处理信息。
• 智能：在给定任务或目的下，能根据环境条件制定
正确的策略和决策，并能有效地实现其目的的过程
或能力。
• 信息：信息是用来消除观察者认识上的不确定性的
度量。
• 智能信息处理：利用各种智能手段进行信息变换的
过程，这里的各种智能手段包括人工智能、机器智
能和计算智能等。
2015/4/9
谭营---计算智能
4
人的活动过程模型
感知器官
传导神经
外部环境
大脑思维器官
效用器官
2015/4/9
谭营---计算智能
传导神经
5
人的活动过程的信息模型
信息获取
信息传输
外部环境
信息处理
与再生
信息施效
2015/4/9
谭营---计算智能
信息传输
6
智能的深层定义
• 智能：有效地获取、传递、处理、再生和利用信息，
使其在任意环境下成功地达到预定目标的能力。
– 对于同样的环境和目标下，具有更强的信息‘获取、处理、再生和
利用’信息的能力，就更容易或有效地实现目标，从而表现出具有
更高的智能水平。
• 思维：人的大脑活动。主要是指处理和再生信息的
能力。
– 由此可见，思维是智能的一个关键部分。有时，人们也把思维能力看
作是一种狭义的智能。
2015/4/9
谭营---计算智能
7
信息与知识的关系？
• 知识
– 是人类实践经验的总结和提炼，具有抽象性和普遍性，属于认识论范畴的
概念。
• 信息（在认识论层面上）
– 认识主体所感受的事物状态及其变化的方式。
• 知识是信息加工的产物，是抽象化和广义化的信息。
• 在现有人工智能的文献中
– 知识的概念完全等同于信息的概念-----事物运动的状态积极状态变化的方式。
– 知识与信息是同义词。
• 其他术语
– 神经网络中：输入、输出、模式、刺激、激励、反应等。
– 规则、图表，等等。
2015/4/9
谭营---计算智能
8
智能理论研究
• 智能理论
– 自然智能理论
• 研究智能的产生、形成和工作机制
– 人工智能理论
• 研究如何用人工的方法模拟、延伸和扩展智能
2015/4/9
谭营---计算智能
9
人工智能的三个学派
• 符号主义学派
–
–
–
–
始于20世纪50年代
以知识为基础，通过推理来进行问题求解
功能模拟的方法
代表人物：Simon, Minsky和Newell. McCarthy, Nillsson.
• 联接主义学派
–
–
–
–
始于1943年的M-P模型（McCulloch, Pitts）
1982年Hopfiled提出的用硬件模拟神经网络, BP算法
结构-功能模拟的方法
代表人物： McCulloch, Pitts, Hopfield, Rumelhart等。
• 行为主义学派
–
–
–
–
–
2015/4/9
进化主义或控制论学派
始于20世纪60-70年代
智能行为的“感知-动作”模式
行为模拟的方法
代表人物： R.A. Brooks
谭营---计算智能
10
人工智能理论
• 传统人工智能
– 始于20世纪50年代
– 以符号形式表达和模拟智能行为
– 问题求解为核心问题
• 计算智能
– 始于20世纪80年代
– 以数字形式表达和模拟智能行为
– 结构模拟与演化过程为手段
2015/4/9
谭营---计算智能
11
智能信息处理的发展过程
•
伴随着人工智能技术发展的过程而发展
– 研究通用处理方法，1940s—1960s
– 专用领域的智能处理方法, 1970s—1980s
– 模糊处理技术，1970s
– 模块处理方法, 1980s
•
神经网络研究的兴起， 1980s
– 模拟人脑的微结构.1980s
– 连接主义的兴起,1990s.
•
计算智能技术，1990s—2000s
– 遗传算法与进化计算
– 群体演化算法，
– 等等。
2015/4/9
谭营---计算智能
12
计算智能
• 定义一：以数据为基础，以计算为手段
来建立功能上的联系（模型），而进行
问题求解，以实现对智能的模拟和认识。
• 定义二：用计算科学与技术模拟人的智
能结构和行为。
2015/4/9
谭营---计算智能
13
计算智能与软计算
• 计算智能是强调通过计算的方法来实现
生物内在的智能行为。
• 软计算是受智能行为启发的现代优化计
算方法,强调计算和对问题的求解。
2015/4/9
谭营---计算智能
14
研究内容与范畴
•
•
•
•
•
•
•
•
•
•
•
•
2015/4/9
人工神经网络
遗传算法
模糊逻辑
人工免疫系统
群体计算模型（ACO,PSO等）
支撑向量机
模拟退火算法
粗糙集理论与粒度计算
量子计算
DNA计算
智能代理模型
等等。
谭营---计算智能
15
神经网络
• 前馈神经网络计算模型
– BP 网络、RBF网络等
• 反馈神经网络计算模型
– Hopfield网络、回馈网络等
• 自组织网络计算模型
– Hebb学习、竞争学习、ART和基于信息论模型
等
• 联想记忆网络模型
– 单向和双向联想记忆
• 细胞神经网络模型
• 小波神经网络
• 等等。
2015/4/9
谭营---计算智能
16
神经元与多层前馈网络结构
2015/4/9
谭营---计算智能
17
进化计算
遗传规划(GP)
进化策略(ES)
遗传算法(GA)
分类器系统(CS)
• 候选解的遗传表示
• 遗传算子
• 选择方案
• 2015/4/9
问题领域
进化规划(EP)
谭营---计算智能
18
遗传算法简介
遗传算法(Genetic Algorithm-GA)是模拟
生物在自然环境中的遗传和进化过程
而形成的一种自适应全局优化概率搜
索算法。
自然进化原理：适者生存，优胜劣汰。
GA是在1960’s,由美国Michigan Ann大学的Prof. Holland及其学
生们受到生物模拟技术的启发，创造出了一种基于生物遗传和
进化机制的适合于复杂系统计算优化的自适应概率优化技术
2015/4/9
谭营---计算智能
19
2015/4/9
谭营---计算智能
20
求全局最小值
•
•
•
•
函数 f: R2R
例子:Ackley variant
多个局部极值
在 (0,0)有唯一全局最小
值
2015/4/9
谭营---计算智能
21
计算智能研究的主要问题
• 学习
• 搜索
• 推理
2015/4/9
谭营---计算智能
22
计算智能研究的主要方法
• 模型
– 具有生物背景知识并描述某一智能行为的数学模型
• 算法
– 以计算理论、技术和工具研究对象模型的核心，它
具有数值构造性、迭代性、收敛性、稳定性和实效
性。
• 实验
– 对许多复杂问题，难以进行理论分析，数值实验和
实验模拟成为越来越重要的研究手段，并获得了很
大的成功（分叉、混沌、孤波等）。
2015/4/9
谭营---计算智能
23
计算智能的主要应用领域
•
•
•
•
•
•
•
•
•
•
模式识别
优化计算
经济预测
金融分析
智能控制
机器人学
数据挖掘
信息安全
医疗诊断
等等。
2015/4/9
谭营---计算智能
24
计算智能是多学科交叉
非线性科学
应用数学
运筹学
统计学
人工智能
自动控制
计算机科学
计算智能
人工生命
其他学科
应用领域
2015/4/9
信息论
脑科学
认知科学
仿生学
谭营---计算智能
25
计算智能的主要应用领域
集成制造CIMS
语音/图象识别理解
实时分布
并行处理
自然语言理解
Internet
人工智能
智能控制
计算智能
模式识别
其他学科
应用领域
2015/4/9
智能机器人
多媒体
机器视觉
专家系统
谭营---计算智能
返回目录
26
应用示例
---鸡尾酒会问题
2015/4/9
谭营---计算智能
27
1
1
1
0.5
0.5
0.5
0
0
0
0
200
(a)
400
3
0
200
(b)
400
1
源
0
200
(c)
400
1.5
2
1
混合
0.5
1
0
0.5
0
200
(d)
400
0
0
200
(e)
400
0
0.4
0.4
0.4
0.2
0.2
0.2
0
0
2015/4/9
200
(g)
400
0
0
200
(h)
400
谭营---计算智能
0
0
200
(f)
400
分离
结果
0
200
(i)
400
29
0
-0.1
0
200
(a)
400
0.2
Errors
0.2
Errors
Errors after 150 iterations
Errors after 50 iterations
0.1
0
-0.2
0
200
(b)
400
0
-0.2
0.1
0.2
0.2
0
0
0
-0.1
Final errors
5
0
x 10
200
(d)
400
-0.2
0
200
(e)
400
-0.2
-4
0.01
10
0
200
(c)
400
0
200
(f)
400
200
(i)
400
x 10
-3
5
0
0
0
-5
0
2015/4/9
200
(g)
400
-0.01
0
200
(h)
谭营---计算智能
400
-5
0
30
二维图象的分离
(a)
(b)
1500
800
200
(d)
400
0
1000
500
200
(e)
源
2015/4/9
400
0
0
200
(f)
400
0
(b)
(c)
800
800
800
600
600
600
400
400
400
200
200
200
500
200
0
(a)
1000
400
500
200
0
(c)
1500
600
400
500
0
800
1000
600
1000
(b)
(a)
(c)
0
200
(d)
400
0
0
200
(e)
400
0
0
200
(f)
混合
谭营---计算智能
400
0
0
100
(d)
200
0
0
100
(e)
200
0
0
200
(f)
分离结果
31
400
二维图象的分离(续)
2015/4/9
(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(i)
谭营---计算智能
32
应用示例6
---时间序列预测例子
f x
输 出

F(x6)?
 K 1
1
 2  x  ...
隐 单 元 层  1x
x1 x2 x3 x4
x5
 2 ...  K
新加入隐单元
 K x
 K 1x 
x6
输 入 x
x1
x2
...
xn
基本网络结构
2015/4/9
谭营---计算智能
33
40
R A N -E
P -R A N
时间序列预测例子
N um ber of H idden U nits
30
20
1 .0
10
R A N -E
W PE
P -R A N
0
0
1000
2000
0 .1
3000
N u m b e r o f O b s e rv a tio n
隐层节点数变化曲线
预测误差
0 .0
0
1000
2 .0
2000
3000
N u m b e r o f O b s e rv a tio n
2 .0
H enon Sequence
H enon S equence
P -R A N
P -R A N
1 .0
1 .0
2 .0
H enon S equence
Fitting Curve
0 .0
1 .0
Fitting Curve
R M SE
P -R A N
-1 .0
0 .0
0 .0
-1 .0
-2 .0
-1 .0
0
20
40
60
2950
80
2950
预测逼近函数的前段
2015/4/9
2960
2970
2980
2990
3000
N u m b e r o f O b s e r v a tio n
N u m b e r o f O b s e rv a tio n
2960
2970
2980
2990
3000
N u m b e r o f O b s e r v a tio n
预测逼近函数的后段
谭营---计算智能
预测函数
34
生物现象/过程与其人工计算方法
神经网络
遗传算法
模糊逻辑
群体计算 等
生物现象/过程
目的：研究生物现
象/过程！
2015/4/9
目的：解决复杂实
际问题！
人工计算方法
生物信息学
神经信息学 等
谭营---计算智能
35
教材与参考书目
（作者、书名、出版社及出版年）：
•
•
•
•
•
•
Andries P. Engelbrecht, Computational Intelligence: An
Introduction, Wiley, New York, 2002. ISBN 0-470-84870-7.
丁永生 编著，《计算智能——理论、技术与应用》，科学出版
社，2004.8. ISBN7-03-013902-X. P.481. （TP183/27）
褚蕾蕾，陈绥阳，周梦 编著，《计算智能的数学基础》，科学
出版社，2002. (TP183/15)
徐宗本，张讲社，郑亚林， 编著，《计算智能中的仿生学：理
论与算法》，科学出版社，2003.5，ISBN7-03-010792-6. P.315.
（TP183/17）
徐宗本，编著，《计算智能（第一册）---模拟进化计算》，高
等教育出版社，2004.2，ISBN7-04-013839-5. P.141.
王国俊，编著，《计算智能（第二册）---词语计算与Fuzzy
集》，高等教育出版社，2005.2，ISBN7-04-016032-3. P.106.
（TP183/31:2）
2015/4/9
谭营---计算智能
36
• 罗四维，著，《大规模人工神经网络理论基础》，清华大学出版社和北
方交通大学出版社，2004.2，ISBN7-81082-174-1. P.177.
• Haykin S. Neural Networks: A Comprehensive Foundation, Macmillan, IEEE
Press, 1994.
• 张乃尧、阎平凡 编著， 《神经网络与模糊控制》，清华大学出版社，
2002。
• 王小平，曹立明 编著， 《遗传算法--理论、应用与软件实现》，西安交
通大学出版社，2002.1。
• 张颖，刘艳秋 等，《软计算方法》，科学出版社，2002。
• 谷荻隆嗣 等，《人工神经网络与模糊信号处理》，科学出版社，2003。
• 李士勇 等，《蚁群算法及其应用》哈尔滨工业大学出版社，2004.9
2015/4/9
谭营---计算智能
37
• 陈国良、王煦法、庄镇权等，《遗传算法及其应用》，人民邮电出版
社，1995。
• 史忠植，《知识发现》，清华大学出版社，2002。
• 傅京孙 等，《人工智能及其应用》，清华大学出版社，1987。
• 蔡自兴、徐光佑，《人工智能及其应用》清华大学出版社，1996
• 蔡自兴， 《智能控制---基础与应用》，国防工业出版社，1998。
• 刘金琨 编著， 《智能控制》， 电子工业出版社，2005.5。
2015/4/9
谭营---计算智能
38
•
•
•
•
•
•
T. Hastie, R. Tibshirani and J. Friedman, "Elements of Statistical
Learning: Data Mining, Inference and Prediction". Springer-Verlag,
2001.
T. Mitchell, "Machine Learning". McGraw Hill, 1997.
C. M. Bishop. "Neural Networks for Pattern Recognition", Oxford
University Press, 1995.
C. Burges. A Tutorial on Support Vector Machines for Pattern
Recognition. Knowledge Discovery and Data Mining, 2(2), 1998.
N. Cristianini, J. Shawe-Taylor. An Introduction to Support Vector
Machines and Other Kernel-based Learning Methods. Cambridge
University Press, 2002.7.
K. M.Passino, S. Yurkovich. Fuzzy Control. Prentice Hall/Pearson.
2001.11.J. Han and M. Kamber. Data Mining: Concepts and
Techniques. Morgan Kaufmann, 2001
2015/4/9
谭营---计算智能
39
Where to Find References?
• IEEE Computational Intelligence society
– IEEE Trans. Neural Networks,
– IEEE Trans. Fuzzy Systems,
– IEEE Trans. Evolutionary Computations,
– International Journal of Computational Intelligence Research
– Neurocomputing, Softcomputing, et.al.
• AI & Machine Learning
– Conferences: Machine learning (ML), AAAI, IJCAI, COLT (Learning Theory),
etc.
– Journals: Machine Learning, Artificial Intelligence, IEEE Trans. On KDE, etc.
• Data mining and KDD
– Conferences: ACM-SIGKDD, IEEE-ICDM, SIAM-DM, PKDD, PAKDD, etc.
– Journal: Data Mining and Knowledge Discovery, KDD Explorations
2015/4/9
谭营---计算智能
40
课程的目的和基础
• 开课目的：
– 本课程系统地讲授计算智能的有关理论、技术及其
主要应用，并给学生们全面地介绍计算智能研究的
前沿领域与最新进展。通过本课程的学习，要求学
生系统地掌握计算机智能的基本内容与方法，了解
计算智能的主要应用领域。
• 开课基础：
– 学习本课程之前，要求学生已经选修过《高等数
学》，《计算机基础与算法》《人工智能基础》和
《模式识别基础》等课程。
2015/4/9
谭营---计算智能
41
• 课程内容与学时分配：
– 计算智能概论(1次课)
– 人工神经网络 (3次课)
– 支撑向量机理论 (2次课)
– 自适应提升算法 (1次课)
– 遗传算法与进化计算(3次课)
– 群智能算法(2次课)
– 人工免疫(1次课)
– 模糊集与模糊信息处理(1次课)
– 粗糙集理论与粒度计算(1次课)
– 计算智能的未来发展 (1次课)
（共16次课）。
2015/4/9
谭营---计算智能
42
作业题
1. 论述智能与思维，信息与知识的关系，
以及计算智能的研究范畴。
2. 什么是传统人工智能和计算智能？它们
之间的关系如何？
3. 计算智能的主要研究内容有哪些？有何
特点？它们的关系如何？
4. 计算智能的主要研究方法是什么？它们
具有哪些特征？
2015/4/9
谭营---计算智能
43
谢谢！
2015/4/9
谭营---计算智能
44