Transcript 课件下载

第四章
无约束优化方法
 坐标轮换法
 鲍威尔法
 梯度法
 牛顿法
 DFP变尺度法
 BFGS变尺度法
 无约束优化方法的评价准则及选用
 无约束优化方法是优化技术中基本的也是非常重要的内
容。无约束优化问题的数学模型
求上述问题最优解（x*,F*）的方法，称为无约束优化方
法
 无约束优化方法，不仅可以直接求无约束优化设计问题
的最优解，而且通过对无约束优化方法的研究给约束优
化方法建立明确的概念、提供良好的基础·某些优化设计
方法就是先把约束优化设计问题转化为无约束问题后，
再直接用无约束优化方法求解。
无约束优化理论研究开展得较早，构成的优化方法巳很多
，也比较成熟，新的方法仍在陆续出现。本章的内容与目的
是讨论几个常用无约束优化方法的基本思想、方法构成、迭
代步骤以及终止准则等方面问题。
无约束优化方法总体分成两大类型:解析法或称间接法、
直接搜索法或简称直接法；
在n维无约束优化方法的算法中，用函数的一阶、二价
导数进行求解的算法，称为解析法;
对于n维优化问题，如果只利用函数值求最优值的解法，称
为直接搜索法；
 解析法的收敛速率较高，直接法的可靠性较高。
 本章介绍的坐标轮换法和鲍威尔法属于直接法；梯度法、
共轭梯度法、牛顿法和变尺度法属于解析法
 无约束优化方法算法的基本过程是:
从选定的某初始点x(k)出发，沿着以一定规律产生的
搜索方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的
新迭代点x(k+1),使之逐步逼近最优点x* 。可以把初始点
x(k) 、搜索方向S(k) 、迭代步长a(k) 称为优化方法算法的
三要素。其中以搜索方向S(k)更为突出和重要，它从根本
上决定着一个算法的成败、收敛速率的快慢等。所以，
一个算法的搜索方向成为该优化方法的基本标志，分析、
确定搜索方向S(k)是研究优化方法的最根本的任务之一。
坐标轮换法
坐标轮换法属于直接法，既可以用于无约束优化
问题的求解，又可以经过适当处理用于约束优化问题
求解。
坐标轮换法是每次搜索只允许一个变量变化，其
余变量保持不变，即沿坐标方向轮流进行搜索的寻优
方法。它把多变量的优化问题轮流地转化成单变量
（其余变量视为常量）的优化问题，因此又称这种方
法为变量轮换法。此种方法只需目标函数的数值信息
而不需要目标函数的导数。
一、坐标轮换法的迭代过程
如
图
，
以
二
次
函
数
为
例
。
任取一初始点x(0)作为第一轮的始点x0 (1),先沿第一坐
标轴的方向e1作一维搜索，用一维优化方法确定最优步
长1(1) ，得第一轮的第一个迭代点
x1(1) =x0(1) + 1(1) e1，
然后以 x1 (1)为新起点，沿第二坐标轴的方向e2作一维
搜索，确定步长2(1) ，得第一轮的第二个迭代点
x2(1) =x1(1) + 1(1) e2
第二轮迭代，需要
x0(2) x2 (1)
x1(2) = x0(2) + 1(2) e1
x2(2) =x1(2) + 2(2) e2
依次类推，不断迭代，目标函数值不断下降，最后
逼近该目标函数的最优点。
二、终止准则
可以采用点距准则
注意：
若采用点距准则或函数值准则，其中采用的点应该是一轮
迭代的始点和终点，而不是某搜索方向的前后迭代点。
坐标轮换法的计算步骤
⑴任选初始点
作为第一轮的起点
坐标矢量：
，置n个坐标轴方向矢量为单位
⑵按照下面迭代公式进行迭代计算
k为迭代轮数的序号，取k=1，2，……；
i为该轮中一维搜索的序号，取i=1，2，……n
步长α一般通过一维优化方法求出其最优步长。
⑶按下式判断是否中止迭代
如满足，迭代中止，
并输出最优解
最优解
否则，令k←k+1
返回步骤（2）
例题4.1 用坐标轮换法求目标函数
的无约束最优解。
给定初始点
，精度要求ε=0.1
解：做第一轮迭代计算
沿e1方向进行一维搜索
式中， 为第一轮的起始点，取
按最优步长原则确定最优步长α1，即极小化
此问题可由某种一维优化方法求出α1。这里，我们暂且
用微分学求导解出，令其一阶导数为零
以
为新起点，沿e2方向一维搜索
以最优步长原则确定α2，即为极小化
对于第一轮按终止条件检验
继续进行第2轮迭代计算，各轮计算结果见课本表4.1。
计算5轮后，有
故近似优化解为
入口
(0)
给定 x ,ε
k←1
坐
标
轮
换
法
的
流
程
图
i←1
xi( k )  x ( 0 )
沿ei方向一维搜索αi
(k ) (k ) (k )
x  x  e
i
i 1 i i
x  xi(k ) F←F(x)
i←i+1
-
i=n?
k←k+1
+
xn( k )  x0( k )   ?
+
x*x
F F(x*)
*
出口
-
x
(0)
x
(k)
n
小结
坐标轮换法程序简单，易于掌握。但是计算效率
比较低，尤其是当优化问题的维数较高时更为严重。
一般把此种方法应用于维数小于10的低维优化问题。
对于目标函数存在
“脊线”的情况，在脊线
x2
的尖点处没有一个坐标方
向可以使函数值下降，只

有在锐角所包含的范围搜
索才可以达到函数值下降
的目的，故坐标轮换法对
脊线
x1
此类函数会失效。
鲍威尔方法
鲍威尔方法是直接搜索法中一个十分有效
的算法。该算法是沿着逐步产生的共轭方向进
行搜索的，因此本质上是一种共轭方向法。
一、鲍威尔基本算法
如图所示，以三维二次目标函数的无约束优化问题为例。
鲍
威
尔
基
本
算
法
的
搜
索
过
程
鲍威尔基本算法的步骤：
第一环基本方向组取单位坐标矢量系e1、 e2、 e3 、…、
en，沿这些方向依次作一维搜索，然后将始末两点相连作
为新生方向，
Sk=xnk-x0k
再沿新生方向作一维搜索，完成第一环的迭代。以后
每环的基本方向组是将上环的第一个方向淘汰，上环的新
生方向补入本环的最后而构成。
S2k S3k …… Sn Sk
n维目标函数完成n环的迭代过程称为一轮。从这一
轮的终点出发沿新生方向搜索所得到的极小点，作为下一
轮迭代的始点。这样就形成了算法的循环。
鲍威尔基本算法的缺陷：
可能在某一环迭代中出现基本方向组为线性相关的
矢量系的情况。如第k环中，产生新的方向：
Sk=xnk-x0k=1(k)S1(k)+ 2(k)S2(k) + • • • + n(k)Sn(k)
式中， S1(k)、S2(k) 、 • • • 、 Sn(k)为第k环基本方向
组矢量， 1(k) 、 2(k) 、 • • • 、 n(k)为个方向的最优步长。
若在第k环的优化搜索过程中出现1(k) =0，则方向Sk
表示为S2(k) 、 S3(k) 、 • • • 、 Sn(k)的线性组合，以后的各
次搜索将在降维的空间进行，无法得到n维空间的函数极
小值，计算将失败。
如图所示为一个三维优化问题的示例，设第一环中
1 =0 ，则新生方向与e2 、e3共面，随后的各环方向组中，
各矢量必在该平面内，使搜索局限于二维空间，不能得到
最优解。
x3
S1
x2
 2 e2
x1
 3 e3
1=0
鲍威尔基本算法的退化
二、鲍威尔修正算法
在某环已经取得的n+1各方向中，选取n个线性无关
的并且共轭程度尽可能高的方向作为下一环的基本方向组
鲍威尔修正算法的搜索方向的构造：在第k环的搜索中，
x0k 为初始点，搜索方向为S1(k)、S2(k) 、 • • • 、 Sn(k)，产生
的新方向为Sk ，此方向的极小点
为x(k)。点 xn+1(k)=2xn(k)-x0(k) ， 为x0(k)对xn(k)的映射点。
计算x0(k) 、 x1(k) 、 • • • 、 xn(k) 、 x(k)、 x n+1(k) 各点的
函数值，记作：
F1=F(x0(k))
F3=F(xn+1(k))
F2=F(xn(k))
= F(xm(k)) -F(xm-1(k))
是第k环方向组中，依次沿各方向搜索函数值下降最大值，
即Sm(k)方向函数下降最大。
鲍
威
尔
算
法
的
方
向
淘
汰
(F1)
函数下降量△
(F2)
影射点
(F3)
为了构造第k+1环基本方向组，采用如下判别式：
按照以下两种情况处理：
1、上式中至少一个不等式成立，则第k+1环的基本方
向仍用老方向组S1(k)、S2(k) 、 • • • 、 Sn(k)。 k+1环的初
始点取
x0(k+1)=xn(k)
F2<F3
x0(k+1)=xn+1(k)
F2F3
2、两式均不成立，则淘汰函数值下降最大的方向，并用第
k环的新生方向补入k+1环基本方向组的最后，
即k+1环的方向组为
S1(k)、S2(k) 、 • • • 、 Sm-1(k)、Sm+1(k) • • • 、 Sn(k) 、
Sn+1(k) 。
k+1环的初始点取
x0(k+1)=x(k)
x(K)是第k环沿Sn+1(K)方向搜索的极小点。
鲍威尔算法的终止条件：
|| x(K)-x0(k) ||  
三 修正算法的迭代步骤及流程图
Powell算法的步骤如下：
⑴任选初始迭代点
，选定迭代精度ε，取初始基本
方向组为单位坐标矢量系
其中，i=1，2……n（下同）。然后令k=1（环数）开始
下面的迭代
⑵沿
使
诸方向依次进行n次一微搜索，确定各步长
得到点阵
i=1，2……n
构成新生方向
沿
方向进行一维搜索求得优化步长
⑶判断是否满足迭代终止条件。如满足
则可结束迭代，最优解为
停止计算。否则，继续进行下步。
，得
⑷计算各迭代点的函数值
最大者
，并找出相邻点函数值差
（1≤m≤n）
及与之相对应的两个点
的连线方向。
⑸确定映射点
并计算函数值
和
，并以
表示两点
检验鲍威尔条件
若至少其中之一成立转下步，否则转步骤⑺
⑹置k+1环的基本方向组和起始点为
（即取老方向组）
当F2＜F3
当F2≥F3
令k←k+1，返回步骤⑵
⑺置k+1环的方向组和起始点为
令k←k+1，返回步骤⑵
例题4.2 试用鲍威尔修正算法求目标函数
的最优解。已知初始点
，迭代精度ε=0.001
解：第一环迭代计算
沿第一坐标方向e1进行一维搜索
α1=2
以
为起点，改沿第二坐标轴方向e2进行一维搜索
α2=0.5
构成新方向
沿S1方向进行以为搜索得极小点与极小值
计算点距
需进行第二环迭代计算
第二环迭代计算
首先确定上环中的最大函数下降量及其相应方向
映射点及其函数值
检查鲍威尔条件
于是可知
鲍威尔条件两式均不成立。第二环取基本方向组和起始
点为
沿e2方向作一维搜索得
以
为起点沿S1方向一维搜索得
构成新生方向
沿S2方向一维搜索得
检查迭代终止条件
需再作第三环迭代计算。
根据具体情况来分析，S1，S2实际上为共轭方向，见下图。
本题又是二次函数，有共轭方向的二次收敛性，上面结果就
是问题的最优解。可以预料，如果做第三环迭代，则一定各
一维搜索的步长为零，必有
故得最优解
梯度法
优化设计是追求目标函数值最小，因此，自然可以设想
从某点出发，其搜索方向取该点的负梯度方向，使函数值在
该点附近下降最快。这种方法也称为最速下降法。
一、基本原理
梯度法的迭代公式为：
x(k+1)=x(k)-(k)g(k)
其中g(k)是函数F(x)在迭代点x(k)处的梯度f(x(k)) ， (k)一
般采用一维搜索的最优步长，即
f(x(k+1))=f(x(k)-(k)g(k))=min f(x(k)-(k)g(k))=min()
据一元函数极值条件和多元复合函数求导公式，得
’()= -( f(x(k)-(k)g(k)))T g(k) =0
即
( f(x(k+1)))T g(k) =0
或
(g(k+1))Tg(k)=0
此式表明，相邻的两个迭代点的梯度是彼此正交的。
也即在梯度的迭代过程中，相邻的搜索方向相互垂直。梯
度法向极小点的逼近路径是锯齿形路线，越接近极小点，
锯齿越细，前进速度越慢。
这是因为梯度
是函数的局部性质，
从局部上看，在该点
附近函数的下降最快，
但从总体上看则走了
许多弯路，因此函数
值的下降并不快。
二、迭代终止条件
采用梯度准则：
|| g(k) || 
三、迭代步骤
（1）任选初始迭代点x(0)，选收敛精度 。
（2）确定x(k)点的梯度（开始k=0)
（3）判断是否满足终止条件|| g(k) || ？若满足输出最优解，
结束计算。否则转下步。
（4）从x(k)点出发，沿-g(k)方向作一维搜索求最优步长(k)。
得下一迭代点 x(k+1)=x(k)-(k)g(k) ,令k=k+1 返回步骤(2)。
四、梯度法流程图
入口
给定： x(0)，
k=0
x(k)= x(0)
计算：g(k)
||g(k)||  ？
Y
x*=x(k)
f*=f(x(k))
出口
k=k+1
N
沿g(k)方向一维搜索，
求最优步长(k)。
x(k+1)= x(k)- (k) g(k)/ ||g(k)||
例题4.3用梯度法求目标函数
已知初始点
迭代精度ε=0.005
解：函数的梯度
的最优解。
第一次迭代：以
为起点沿一
方向作一维搜索
得第一个迭代点
继续第二
次迭代
到第五次迭代结束时，有
故迭代可终止，最优解为
迭代数据表见课本表4.2
共轭梯度法
共轭梯度法是共轭方向法的一种，因为该方法中每
一个共轭向量都是依赖于迭代点处的负梯度而构造出来的，
所以称作共轭梯度法。
一、共轭梯度法的搜索方向
共轭梯度法的搜索方向采用梯度法基础上的共轭方向，
如图所示，目标函数F(x)在迭代点xk+1处的负梯度为-
f(xk+1)，该方向与前
k+1
k+1)
S

f(x
一搜索方向Sk互为正交，在此
基础上构造一种具有较高收敛
x
速度的算法，该算法的搜索方
*
向要满足以下两个条件：
（1）以xk+1点出发的搜索方
向 Sk+1是- f(xk+1)与Sk的线性
xk
组合。即
Sk
xk+1
Sk+1 = - f(xk+1) + kSk
（2）以与为基底的子空间中，矢量与相共轭，即满足
[ Sk+1]T G Sk = 0
二、 k的确定
确定方法自学，不作要求。记住
三、 共轭梯度法的算法
（1）选初始点x0和收敛精度。
（2）令k=0，计算S0 = - f(x0) 。
（3）沿Sk方向进行一维搜索求(k)，得
x(k+1)=x(k)+(k)S(k)
（4）计算 f(xk+1) ，若|| f(xk+1)||  ，则终止迭代，取
x*=xk+1；否则进行下一步。
（5）检查搜索次数，若k=n，则令x0=xk+1，转（2），否则，
进行下一步。
（6）构造新的共轭方向
Sk+1 = - f(xk+1) + kSk
令k=k+1，转（3）
四、共轭梯度法流程图
入口
给定： x(0)，
k=0，计算：- f(x0)
求(k) ，x(k+1)= x(k) +(k)S(k)
计算：  f(xk+1)
||  f(xk+1) ||  ？
K=K+1
出口
Y
x*=xk+1
f(x*)=f(xk+1)
N
k n ？
Y
Sk+1 = - f(xk+1) + kSk
N
x0=xk+1
五、共轭梯度法的特点
共轭梯度法属于解析法，其算法需求一阶导数，所用公式
及算法简单，所需存储量少。
该方法以正定二次函数的共轭方向理论为基础，对二次型
函数可以经过有限步达到极小点，所以具有二次收敛性。但
是对于非二次型函数，以及在实际计算中由于计算机舍入误
差的影响，虽然经过n次迭代，仍不能达到极小点，则通常
以重置负梯度方向开始，搜索直至达到预定精度，其收敛速
度也是较快的。
六、例题
牛顿法
牛顿法是求无约束最优解的一种古典解
析算法。
牛顿法可以分为原始牛顿法和阻尼牛顿
法两种。
实际中应用较多的是阻尼牛顿法。
原始牛顿法
一、原始牛顿法的基本思想
在第k次迭代的迭代点x(k)邻域内，用一个二次函
数去近似代替原目标函数F(x)，然后求出该二次函数
的极小点作为对原目标函数求优的下一个迭代点，依
次类推，通过多次重复迭代，使迭代点逐步逼近原目
标函数的极小点。
如图所示。
0(x)
1(x)
F(x)
x*
x2 x1 x0
二、原始牛顿法的迭代公式
设目标函数F(x)具有连续的一、二阶导数，在x(k)点
邻域内取F(x)的二次泰勒多项式作近似式，即
取逼近函数(x)为
设x(k+1)为(x)极小点，根据极值的必要条件，应有
(x(k+1))=0，即 (x)= gk+ Hkx=0
又 x= x (k+1) - x (k)
得 x (k+1) = x (k) - Hk-1gk
即牛顿法迭代公式，方向- Hk-1gk称为牛顿方向
三、原始牛顿法的特点
若用原始牛顿法求某二次目标函数的最优解，则
构造的逼近函数与原目标函数是完全相同的二次式，
其等值线完全重合，故从任一点出发，一定可以一次
达到目标函数的极小点。
牛顿法是具有二次收敛性的算法。
其优点是：对于二次正定函数，迭代一次即可以
得到最优解，对于非二次函数，若函数二次性较强或
迭代点已经进入最优点的较小邻域，则收敛速度也很
快。
原始牛顿法的缺点是：由于迭代点的位置是按照
极值条件确定的，并未沿函数值下降方向搜索，因此，
对于非二次函数，有时会使函数值上升，即 f(xk+1) >
f(xk)，而使计算失败。
阻尼牛顿法
对原始牛顿法的改进
为解决原始牛顿法的不足，加入搜索步长(k)
因此，迭代公式变为：
x (k+1) = x (k) - (k) Hk-1gk
这就是阻尼牛顿法的迭代公式，最优步长(k)也称
为阻尼因子，是沿牛顿方向一维搜索得到的最优步
长。
牛顿法算法步骤
⑴任选初始点
，给定精度ε，置k←0
⑵计算
点的梯度矢量及其模
⑶检验迭代终止条件
如满足，则输出最优解
否则，转下步
⑷计算
点处的海塞矩阵
i，j=1，2……n
并求其逆矩阵
⑸确定牛顿方向
并沿牛顿方向作一维搜索，求出在
长
方向上的最优步
⑹计算第k+1个迭代点
置k←k+1，返回步骤⑵
入口
给定
x ( 0 ),ε
k←0
牛
顿
法
的
算
法
流
程
图
(k)
计算F(x(k ) ) gk  F(x )
gk   ?
-
计算 H k1
S ( k )   H k1F ( x ( k ) )
沿 S ( k )方向一维搜索
求最优步长  ( k )
x(k1) x(k) (k)S(k)
k←k+1
x*x
F* F(x*)
出口
+
例题4.5 用牛顿法求函数
的最优解。初始点
解：函数的梯度
和海赛矩阵及其逆
，
在
沿
点处
方向移位搜索求得最优步长
故新迭代点为
该点的梯度
迭代即可结束
由于目标函数是二次正定函数，
故迭代一次即达到最优点
三、阻尼牛顿法的特点
优点：
由于阻尼牛顿法每次迭代都在牛顿方向进行一维搜索，
避免了迭代后函数值上升的现象，从而保持了牛顿法的二
次收敛性，而对初始点的选择没有苛刻的要求。
缺点：
1、对目标函数要求苛刻，要求函数具有连续的一、
二阶导数；为保证函数的稳定下降，海赛矩阵必须正定；
为求逆阵要求海赛矩阵非奇异。
2、计算复杂且计算量大，存储量大
DFP变尺度法
变尺度法也称拟牛顿法，它是基于牛顿法的
思想而又作了重大改进的一类方法。我们所介绍
的变尺度法是由Davidon于1959年提出又经
Fletcher和Powell加以发展和完善的一种变尺度
法，故称为DFP变尺度法。
一、变尺度法的基本思想
变尺度法的基本思想与牛顿法和梯度法有密切
联系。观察梯度法和牛顿法的迭代公式
x(k+1)=x(k)-(k)g(k)
和
x(k+1)=x(k)-(k)Hk-1 g(k)
分析比较这两种方法可知：梯度法的搜索方向
为
-g(k) ，只需计算函数的一阶偏导数，计算量小，当
迭代点远离最优点时，函数值下降很快，但当迭代
点接近最优点时收敛速度极慢。
牛顿法的搜索方向为- Hk-1 g(k) ，不仅需要计算一
阶偏导数，而且要计算二阶偏导数及其逆阵，计算量
很大，但牛顿法具有二次收敛性，当迭代点接近最优
点时，收敛速度很快。
若迭代过程先用梯度法，后用牛顿法并避开牛顿法
的海赛矩阵的逆矩阵的烦琐计算，则可以得到一种较好
的优化方法，这就是“变尺度法”产生的基本构想
为此，综合梯度法和牛顿法的优点，提出变尺度法的
基本思想。
变尺度法的基本迭代公式写为下面的形式：
x(k+1) = x(k) - (k)Ak gk
式中的Ak为构造的n n阶对称矩阵，它是随迭代点的位置
的变化而变化的。
若Ak =I，上式为梯度法的迭代公式
若Ak = Hk-1 ，上式为阻尼牛顿法的迭代公式。
变尺度法的搜索方向
S(k)=- Ak gk ，
称为拟牛顿方向。
DFP法构造矩阵序列的产生
构造矩阵是随迭代过程的推进而逐次改变的，因而它是
一种矩阵序列
{Ak}，k=1，2，……
选取初始矩阵A0，并以梯度方向快速收敛，通常取单位
矩阵E作为初始矩阵，即A0=E。而后的矩阵均是在前一构造
矩阵的基础上校正得到，令
A1=A0+△A0
推广到一般的k+1次构造矩阵
Ak+1=Ak+△Ak
△Ak称为校正矩阵
矩阵序列的
基本迭代式
拟牛顿条件
设F（x）为一般形式n阶的目标函数，并具有连续的一、二
阶偏导。在点
处的二次泰勒近似展开
该近似二次函数的梯度是
式中，
，若令
，则有
上式中
是第k次迭代中前后迭代点的矢
量差，称他为位移矢量，并为简化书写
而
是前后迭代点的梯度矢量差
由以上三式得
由上式，用第k+1次构造矩阵
海赛矩阵与
梯度间的关系式
近似代替
上式通常称为拟牛顿条件或拟牛顿方程
，则
DFP法构造矩阵
Ak+1=Ak+△Ak
的递推公式（推导过程略）
由上式可以看出，构造矩阵
中的下列信息：
的确定取决于第k次迭代
上次的构造矩阵Ak，迭代点位移矢量
迭代点的梯度增量
，因此，不必作二阶
导数矩阵及其求逆的计算
对DFP法几个问题的说明与讨论
⑴DFP公式总有确切的解
⑵构造矩阵的正定性
⑶DFP法搜索方向的共轭性
⑷关于算法的稳定性
DFP算法的迭代步骤步骤
⑴任取初始点
给出迭代精度ε.计算初始点精度
及其模
若
转步骤⑺，
否则进行下一步。
⑵置k←0，取Ak←E
⑶计算迭代方向
步长
，使
确定下一个迭代点
沿
方向做一维搜索求优化
⑷计算
的梯度
及其模
则转步骤⑺，否则转下一步
⑸计算位移矢量
，若
和梯度矢量
按DFP公式计算构造矩阵
⑹置k←k+1。若k<n(n为优化问题的维数)返回步骤⑶，
否则返回步骤⑵
⑺输出最优解（x*，F*），终止计算
例题4.6 用DFP尺度法求目标函数
的最优解。已知初始点
解：第一次迭代：
，迭代精度ε=0.01
式中最优步长应用一维搜索方法在计算机上求解。为了
说明问题，又因为此例目标函数简单，所以用解析法来求：
为求极小，将上式对α求导，并令f’(α)=0
得：
于是：
第二次迭代：
确定
点的拟牛顿方向
按DFP公式计算构造矩阵
将数据代入得
则拟牛顿方向为
沿
方向进行一维搜索求最优点
求一维搜索步长
则：
迭代即可结束，输出优化解
讨论：
①该题的理论最优点是
。按DFP搜索方向为
共轭的性质，本题为二元二次函数在两次迭代后即达到最
优点，本题计算结果少有误差，这是由于一维搜索的不精
确性产生的。
②若在已知A1的基础上，再用DFP公式递推下一次的构造
矩阵，可计算得
而计算目标函数海赛矩阵的逆阵有
  x ( k 1)  x ( k )
入口
 T
M 
Ty
输入：x (0) , n, 
k 0
A ( k ) yy T A ( k )
N 
Ty
A ( k 1)  A ( k )  M  N
A ( 0)  I
（0）
计算：g
S ( k 1)   A ( k 1) g ( k 1)
 F（x ）
（0）
x (0)  x ( k 1)
g ( k 1)   ?
S (k )   A(k ) g (k )
min F ( x ( k ) )   ( k ) S ( k )   ( k )
+
DFP
法
的
算
法
流
程
图
y  g ( k 1)  g ( k )
x ( k 1)  x ( k )   ( k ) S ( k )
x*  x ( k 1) ]
F *  F ( x*)
g ( k 1)  F ( x ( k 1) )
出口
k=n？
+
BFGS变尺度法
DFP算法由于舍入误差和一维搜索的不精确，有可能
导致Ak奇异，而使数值稳定性方面不够理想。所以1970
年提出更稳定的算法，称为BFGS算法。
其校正公式为
无约束优化问题的评价准则
为了比较各种优化方法的特性，必须建立合理 的评
价准则。
无约束优化方法的评价准则主要包括以下几个方面：
1、可靠性。即在合理的精度要求下，在一定允许时
间内能解出各种不同类型问题的成功率。能够解出的问
题越多，则算法的可靠性越好。
2、有效性。即算法的解题效率。它有两个衡量标准。
其一是对同一题目，在相同精度和初始条件下，比较机
时多少。其二是在相同精度下，计算同一题目所需要的
函数的计算次数。
3、简便性。一方面指实现该算法的准备工作量的大
小。另一方面指算法占用存储单元的数量。
下面讨论本章所介绍的几种优化方法的适用范围：
可靠性：牛顿法较差，因为它对目标函数要求太高，
解题成功率较低。
有效性：坐标变换法和梯度法的计算效率较低，因为
它们从理论上不具有二次收敛性。
简便性：牛顿法和变尺度法的程序编制较复杂，牛顿
法还占用较多的存储单元。
在选用无约束优化方法时，一方面要考虑优化方法的
特点，另一方面要考虑目标函数的情况。
1、一般而言，对于维数较低或者很难求得导数的目标
函数，使用坐标轮换法或鲍威尔法较合适。
2、对于二次性较强的目标函数，使用牛顿法效果好。
3、对于一阶偏导数易求的目标函数，使用梯度法可使
程序编制简单，但精度不宜过高。
4、综合而言，鲍威尔法和DFP法具有较好的性能。