Transcript 「西川、三宮、茨木著、最適化、岩波書店(1982)」 佛明 智

最適化
知識科学研究科
知識システム構築論講座 林研究室
佛明 智
目次

数理計画法と最適値の探索



制約のない問題に対する手法
非線形計画法
最適制御


制御問題における最適化
最適制御
制約のない問題に対する手法
制約のない最小化問題とは
“ある目的関数を最小にする解（最適解）を
求める”
と定義することができる．一般的に表現すると
min f x
とかける．
x
大域的最小点と局所的最小点
Local mi ni mum
Grobal mi ni mum
勾配ベクトルとHesse行列

勾配ベクトル(gradient vector)
 f f
f 

f  
,
,,
xn 
 x1 x2

Hesse行列(Hessian)
2



f
2

H   f  


x

y
i
j



0次法，直線探索法
第1の方法は目的関数値のみを用
いて探索方向を決める方法で，直
接探索法または，0次法と呼ばれ
る．この方法は最小点の近傍での
収束速度が遅く，全体としてあま
り効率のよい方法ではない．
1次法
第2の方法は，目的関数の勾配ベ
クトルを利用して探索方向を決め
るもので，最急降下法がその代表
例である．この方法は，1次の導
関数を利用していることから，1次
法と呼ばれる．
2次法
第3の方法は，目的関数のHesse行列まで利
用するもので，Newton法がその代表例で
ある．この方法は，2次の導関数を利用し
ていることから，2次法と呼ばれる．2次法
では，Hesse行列を利用しているため，解
の近傍での収束速度が速いという特徴が
ありますが，一方で計算が複雑になるため
1ステップあたりの計算量が多いという欠
点がある．
非線最適化のアルゴリズム
0次法
導関数を利用しない
直線探索，GA
1次法
1次の導関数を利用
最急降下法
2次の導関数を利用
Newton法,
準Newton法
2次法
ニュートン法
①X0での傾きを求める
X1
②dk=-f(X0)/f' (X0)
X0
③dkだけ変数の値をずらす
f xk 
dk  
f ' xk 
xk 1  xk  dk
xk 1  x *  C xk  x *
2
最急降下法
-f ' ( Xk)
Xk
dk   f ' xk 
xk 1  xk  k dk
直線探索
f ( a) >f ( b) <f ( c)
s 2s
Xka
b
4s
c
ステップ幅を具体的に求め
るために，初期点Xkより，
最急降下法で求めた探
索方向に沿って，最小点
を通り越すまでだんだん
増加させて進ませる．ここ
で微小な距離sを設定し，
s,2s,4sのように進ませる．
各々の点で関数値f(xi)を
計算し，f(xi)<f(xi+1)と
なった時点で
xi-1=x1,xi+1=x2として
黄金分割法に進む．
黄金分割法
f ( X3) <f ( X4)
d
X1 X3
X4X2
黄金比
1 5

2
 1
1
x3  x1 
d , x4  x1  d


f x3   f x4   x1  x3
f x3   f x4   x2  x4
d 
制御問題における最適化（1）

温度制御系
目標値
制御装置
蒸気
制御弁
温度検出器
ポンプ
液体
熱交換器
制御問題における最適化（2）

温度制御系のブロック線図
制御対象システム
目標値
制御入力
制御装置
弁開度
制御弁 蒸気パイプ 熱交換器 温度検出器
出力
温度
制御問題における最適化（3）

状態方程式



 

xt   A xt  b ut 

出力方程式
 
yt   c xt 
但し，
行列A(n×n)
列ベクトル
X(t) (n×1)
b
(n×1)
行ベクトル
c
(1×n)
最適制御
状態方程式，出力方程式
時間の離散的な値に対してのみ定義
離散時間系
されるシステム
時間の連続的な値に対してのみ定義
連続時間系
されるシステム
線形系
特に，状態方程式が線形の場合