Transcript çº¦æ Ÿä¼˜åŒ–é—®é¢˜åŸºç¡€

无约束数值优化基础
最优化问题
• 最优化问题的数学定义
– 目标函数是光滑的
– 变量可以是向量
目标函数的光滑特性
• 为了简单起见，我们考虑光滑函数，因为
– 光滑函数是各阶可导的
• 首先函数是连续的
• 且函数可微
• 且各阶导数连续且可微
• 由于函数连续可微，提供了（不为垂直
的）切线方向
几个相关概念
• 不连续函数
• 连续函数但不可微
• 连续可微函数但不光滑
向量变量
• 一般情况下变量是用特征向量的形式表示
• 向量如何求导
– Partial derivative
– Vector value
数值最优化
• 没有闭式解
• 函数信息昂贵
– 变量个数小，但函数计算复杂
– 变量个数巨大
• 思路
– 从某点出发
– 根据局部信息，作一些迭代
– 判断是否达到了解
解
• 为什么我们要定义一个函数的解？
– 全局极值
• 在整个变量域，难找，也不必要
– 局部极值
• 某个开区间，容易找，通常情况下称为解
• 一个局部极值具有哪些特性
– 严格局部极小值
– 孤立局部极小值
课堂测试（1）
• 以下哪些说法是对的
– 严格局部极小值都是孤立局部极小值
– 严格局部极小值不都是孤立局部极小值
– 孤立局部极小值都是严格局部极小值
– 孤立局部极小值不都是严格局部极小值
如何判断一个局部极值
• 在f(x)是二阶连续可微的情况下，x*是局部
极值
– 必要条件
– 充分条件
算法
• 数值最优化算法的基本思想
– 从给定的x0出发
– 产生一系列的x1,x2,x3…xK
– 当收敛条件达到时
• 结束算法
– 单调性要求：f(x1)>f(x2)>f(x3)…
• 两种策略
– Line search线搜索
• 选择一个方向，再选择步长
– Trust region信赖域
• 定一个范围，根据这个区域内的近似模型选择方向
两种策略
线搜索方法
• 选择一个函数值下降的方向
– 最速下降
– Newton法
– Quasi-Newton法
• 步长
– 足够大
• 使下一次函数值有效减小
– 足够小
• 确定步长的计算代价不太大
信赖域方法
• 选择一个信赖域
–在
• 在信赖域内选择一个与目标函数具有相同
特性的近似函数
• 选择一个方向