Transcript 第1章导言

智能优化方法
Intelligent Optimization Methods
By Wang Hongfeng PhD
ISE, NEU
Shenyang, P.R. China
课程安排
No.1
导言、伪随机数的产生方法
No.2 禁忌搜索(TS)
No.3 模拟退火(SA)
No.4 进化算法(GA)
No.5 进化算法(ES, EP, GP,DE)
2
课程安排
No.6
群体智能算法(PSO)
No.7
群体智能算法(ACO,BFOA,ABC)
No. 8
智能优化领域的最新进展
3
课程理解
 这是一门关于计算智能的课程
 这是一门介绍优化工具的课程
 这是一门注重技巧学习的课程
让我们共勉！！！
4
教材
 《智能优化方法》
汪定伟 王俊伟 王洪峰等编著
高等教育出版社
 中英文文献
5
第一章 导言
6
第一章 导言
〇.最优化的重要性
一.传统优化方法的基本步骤——三步曲
二.传统优化方法的局限性
三.实际问题中对最优化方法的要求
四.智能优化算法的产生与发展
五.应用前景局限性和研究方向、注意事项
六.优化领域的新进展
七. 学习这门课程需要具备的基础
7
〇.最优化的重要性（1）
1. 人类的一切活动都是认识世界和改造世界的
过程
即：
认识世界
↓
(建模)
→
改造世界
→
↓
(优化)
8
〇.最优化的重要性（2）
2. 一切学科都是建模与优化在某个特定领域中
的应用
概念模型(定性)
→
数学模型
→
结构模型(图)
→
智能模型
9
〇.最优化的重要性（3）
3. 最优化理论的发展
①
极值理论
②
运筹学的兴起(OR)
③
数学规划：线性规划(LP)；非线性规划
(NLP)；动态规划(DP)；马尔可夫规划(MDP)
4. 最优化理论在国民经济中的广泛应用
10
一.传统优化方法的基本步骤—三步曲（1）
如右图所示
开始
1. 选一个初始解
①
LP：大M法，二阶段法
②
NLP：任意点或一个内点
选初始解
停止判据
Y
停止
N
改进解
11
一.传统优化方法的基本步骤—三步曲（2）
2. 停止判据——最优性检验
①
LP：检验数
1
  CB B N  CN
T
C  C B | C N 
T
T
A  B | N 
当∏≥0时有可能减小
②
NLP：f ( x)  0
12
一.传统优化方法的基本步骤—三步曲（3）
3. 向改进方向移动——改进解
①
LP：转轴变换（进基、退基）
②
NLP：向负梯度方向移动（共轭梯度方向、
牛顿方向）
13
一.传统优化方法的基本步骤—三步曲（4）
开始
选择一个初始解
最优性检验
Y
停止
N
向改进方向移动
14
二.传统优化方法的局限性（1）
1. 对问题中目标函数、约束函数有很高的要
求——有显式表达，线性、连续、可微，且
高阶可微
2. 只从一个初始点出发，难以进行并行、网络
计算，难以提高计算效率
15
二.传统优化方法的局限性（2）
3. 最优性达到的条件太苛刻——目标函数为凸，
可行域为凸
4. 在非双凸条件下，没有跳出局部最优解的能
力
16
三.实际问题中对最优化方法的要求（1）
1. 对问题的描述要宽松（目标和约束函数）—
—可以用一段程序来描述(程序中带判断、
循环)，函数可以非连续、非凸、非可微、
非显式
2. 并不苛求最优解——通常满意解、理想解，
甚至可行解就可以
17
三.实际问题中对最优化方法的要求（2）
3. 计算快速、高效，可随时终止（根据时间定
解的质量）
4. 能够处理数据和信息的不确定性（如数据的
模糊性，事件的随机性）
18
四.智能优化算法的产生与发展（1）
1. 基于单点的元启发式算法：
 1977年 Glover提出禁忌搜索 (TS)
 1982年 Kirkpatrick提出模拟退火(SA)
 1995年 Feo提出贪婪随机适应性搜索算法(GRASP)
 1995年 Mladenovic提出可变邻域搜索(VNS)
 1997年 Voudouris提出导向局域搜索(GLS)
19
四.智能优化算法的产生与发展（1）
2. 进化算法：
 1965年 Rechenberg等提出进化策略(ES)
 1975年 Holland提出遗传算法(GA)
 1995年 Fogel提出进化规划(EP)
 1995年 Tackett提出遗传规划(GP)
 1995年 Storn等提出差分进化(DE)
20
四.智能优化算法的产生与发展（2）
3. 群体智能算法：
 1995年 Kennedy等提出粒子群优化算法(PSO)
 1995年 Dorigo提出蚁群算法(ACO)
 2002年 Passino提出细菌觅食优化算法(BFOA)
 2005年 Karaboga提出人工蜂群算法(ABC)
21
四.智能优化算法的产生与发展（3）
4. 其他智能优化算法：
 1994年 Reynolds提出文化算法(CA)
 1998年 Linhares提出捕食搜索算法(PS)
 2002年 Narayanan提出量子进化算法(QEA)
 2004年 Wang提出群落选址算法(CLA)
22
五.应用前景局限性和研究方向、注意事项（1）
1. 应用前景十分广阔
2. 局限性——不能保证最优解，理论上不完备
23
五.应用前景局限性和研究方向、注意事项（2）
3. 研究方向及注意事项
①
以应用为主，扩大面向新问题的应用；不要刻意
做理论研究，若碰上也不拒绝
②
算法改进表现在以下几个方面：问题的描述、编
码方法、算法构造及可行性修复策略
③
要进行大量的上机计算
24
五.应用前景局限性和研究方向、注意事项（3）
④
算例的选取
 以下算例的说服力降序排列：网上的测试用例、文献中
的例子、实际例子、随机产生的例子、自己编的例子
 Benchmark的不断发展
⑤
如何检验算法的好坏：比较计算速度及消耗、可
解规模、 （从不同的随机种子出发）达优率——
客观公正与良心！
25
六.优化领域的新进展
1. 随着人们关注的系统越来越复杂，最优化技
术也相应不断发展
 多目标环境
 动态环境
 多峰环境
26
六.优化领域的新进展
2. 最优化方法的发展
 1940s－1970s：数学规划阶段——目标和约束
是解析函数
 1970s—2000s：智能优化阶段——目标和约束
可以放宽为含有判断逻辑的计算机程序
 2000s之后：基于仿真优化阶段
27
七.学习这门课需要具备的基础
1. 信心、决心、热情
2. 良好的外语能力
3. 较为熟练的计算机编程能力
4. 一定的数学基础
28