Transcript 第8回輪講資料 「ラグランジュ緩和」

慶應義塾大学 理工学部
管理工学科４年 曹研究室
60803571
遠藤 健司
 非線形計画法
ラグランジュ緩和問題
 双対問題
 不等式制約のある最適化問題最適性
 KKT条件
 制約条件のない最適化問題の最適性
 最急降下法


「数理計画法の基礎」



坂和正敏 著
森北出版（株）（1999,初版）
「数理計画法」～最適化の手法


森哲夫 著
共立出版（株）（1994,初版）
主問題
主問題の目的関数をラグラン
ジュ関数に置き換えることで、
満足すべき制約条件が緩くなり、
解き易くなる。（緩和問題）
→ラグランジュ緩和問題
min f ( x )
s .t .　g i ( x )  0 , i  1, 2 ,..., m
h j ( x )  0 , j  1, 2 ,..., l
x R
n
ラグランジュ緩和問題
ラグランジュ乗数
min L ( x, λ, μ ) 
x X
 i (  0 ) i  1, 2 ,..., m 
 j j  1, 2 ,..., l
m

 min f ( x )    i g i ( x ) 
i 1

 s .t . x  R n



ラグランジュ乗数と、対応す
る主問題の制約関数との積の
和に、目的関数を加える。
→ラグランジュ関数
L ( x, λ, μ )  f ( x ) 
双対関数
g
i
i 1
l
i
(x) 

j 1

j
h j (x)
i 1
を x で最適化したもの
→双対関数
L ( x, λ, μ )
ラグランジュ関数
m
l
j
h j (x)
d ( λ, μ )  min L ( x, λ, μ )
x X
双対問題（ラグランジュ双対問題）
max d ( λ, μ )
s .t . λ 0



m

L (x , λ , μ )  f (x ) 



i g i (x ) 
i 1
但し、g i ( x

l


j 1
)  0 , i  1, 2 ,..., m

h j ( x )  0 , j  1, 2 ,..., l

主問題が与えられた場合、こ
れとペアになる問題である、
双対問題が必ず存在する。
しかし、主問題の最適解に対
する最適値と、双対問題の最
適解に対する最適値が等しく
なるとは限らない。
→弱双対定理

主問題の最適解


x :
 , :
双対問題の最適解
これらの値をラグラン
ジュ関数に代入する。
 i  0 , i  1, 2 ,..., m




L (x , λ , μ )  f (x )
・・・①
また、双対関数の定義より、
d ( λ, μ )  min L ( x, λ, μ )
x X





 d ( λ , μ )  L ( x , λ , μ ) ・・・②
式①、②より、



f ( x )  d ( λ , μ ) →弱双対定理



※　f ( x )  d ( λ , μ )

 j h j (x )
の場合、双対
ギャップが存在する。
双対ギャップが存在しない
非線形計画問題
→凸計画問題
凸計画問題
min f ( x ) →凸関数
s .t . g i ( x )  0 , i  1, 2 ,..., m →凸関数
h j ( x )  0 , i  1, 2 ,..., l
x R
n
→凸集合
→一次関数
制約条件のない非線形計画問題
min f ( x )
s .t . x  R
大域的最適解
x
n


f ( x )  f ( x ) 局所的最適解
x
x  R
f (x )  f (x)
0
n
0
N ( x ,  )  {y  R
0
定理：局所的最適性の必要条件
1
0
f ( x )  C のとき、
x が制約条件の
ない最適化問題の局所的最適解であ
0
るための必要条件は  f ( x )  0
が成立することである。
n
| || y  x ||   }
0
定理：局所的最適性の２次必要条件
2
0
f ( x )  C のとき、x が制約条件の
ない最適化問題の局所的最適解であ
0
るための必要条件は  f ( x )  0 で、
しかも x 0 におけるヘッセ行列
2
0
 f ( x ) が半正定 d T  2 f ( x 0 ) d  0
n
 d  R となることである。
定理：凸関数の最適性の必要十分条件
T
2
0
n
n
f ( x )d  0,  d  R
d 
f (x) が R
x
上で微分可能な凸関数とするとき、 が制約条件のない最適化問

 f ( x )  0 が成立することで
題の大域的最適解であるための必要十分条件は、
ある。
不等式条件のある非線形
計画問題
min f ( x )
s .t . g i ( x )  0 ,
i  1, 2 ,..., m
不等式制約式による制約集合
X
i
 {x  R
n
| g i ( x )  0 }, i  1, 2 ,..., m
i 1
 {x  R
i
n
| g i ( x )  0 , i  1, 2 ,..., m }
g i ( x ) が全て凸関数であれば、
X
x X :
不等式条件のある非線形問題の実行可
能解
I ( x )  {i | g i ( x )  0 } :
m
X   X
定理：凸計画問題の最適性の条件
不等式条件のある非線形計画問題の
制約集合が凸集合で、目的関数が凸
関数であれば、その局所的最適解は
大域的最適解であり、最適解の集合
は凸集合である。
は凸集合となる。
活性制約式（ g i ( x )  0 ）の添字集合
定義：線形独立制約想定（正規
条件）
先述の非線形計画問題の制約関
数 g i ( x ) は全て C 1 級の関数
で、x  X とする。このとき、
x  X における勾配ベクトル
 g i ( x ), i  I ( x ) が線形独立
であれば、制約関数 g i ( x ) は
x  X で線形独立制約想定を
満たすという。
→ラグランジュ乗数の存在を
保証する。
f ( x ), g i ( x ) : C 級の関数
1
x  X :
0
局所的最適解
Kuhn-Tucker, KKT 条件
m
 x L (x , λ )   f (x ) 
0
0
0

0
i
g i (x )  0
0
i 1
g i (x )  0
0
 i g i ( x )  0 →相補条件
0
0
 i  0 , 0
i  1, 2 ,..., m
定理：凸計画問題に対する最適性の十分
条件
不等式条件のある非線形計画問題におい
て、f ( x ), g i ( x ), i  1,..., m が全て凸関
数の時、（つまり、凸計画問題の時）
0
x  X において、KKT条件を満たして
いれば、x 0 は大域的最適解 x  となる。
KKT条件を満たすラグランジュ乗数  i が存在すると仮定した場合、KKT条
件を満たす x 0 はラグランジュ関数 L ( x, λ 0 ) の最小値を与える。
→ラグランジュ緩和問題の最適解となる。（凸計画問題の場合）
0
では、非線形計画問題が凸計画問題ではなかった場合は・・・
n
ある初期点から出発して、目的関数 f ( x ) の値を次々と減少させるような R
l
の点列、f ( x )  f ( x )    f ( x )   となるような点列 { x } を系統的に生成する。
→降下法
1
2
l
x : 現在の点
l
x
l 1
: 次の新しい点
l
d : 方向ベクトル
 l : ステップ幅
方向ベクトルd l はあるステップ幅 a  0
l
l l
l
に対して、f ( x   d )  f ( x ) を満たす必要
がある。（ d l ：降下方向）
またステップ幅  l  0 は一次元探索問題
l
min  ( )  f ( x   d )
l
a0
l
l
を解くことで求められる。
更新公式
x
l 1
: x   d , l  1, 2 ,...
l
l
l
目的関数の微分可能性を仮定すると、
テイラーの定理より、
f ( x   d )  f ( x )    f ( x )d
l
l

1.
l
であるため、方向ベクトル d は
f ( x ) d  0 を満たせば降下方向になる。
降下方向d l を勾配ベクトル  f ( x l )
l
T
l
を用いて、d   f ( x ) とするこ
l
とにより、x l の近傍で f ( x ) を最も
急激に減少させる最急降下方向に
選ぶ手法
→最急降下法
降下法のアルゴリズム
初期点 x l を選び、l : 1 とする。
l
2.
現在の点 x において停止基準
をみたせば終了、そうでない場
合は降下方向 d l をもとめる。
3.
一次元探索問題を解き、ステッ
プ幅  l をもとめ、
x
l 1
: x   d , l : l  1
l
l
l
として、手順2.へ戻る。
※
停止基準：||  f ( x l ) ||  
一次元探索問題の最小値が正確に
求められた場合


  f ( x   d )d
l
 
l
l
l
l
l
  f (x
l 1
)d  0
l
l 1
は  f ( x ) と直交するの
で、新しい方向ベクトル
l 1
T
l 1
d   f ( x ) はこれまでに
得られている全ての方向ベク
トルと直交する。
d
等高線が超球（二次元の場合は円）となる関数の場合、一回の探索で最小点に到
達できる。しかし、それ以外の等高線が偏心しているよう一般の関数では、最小
点の近傍での探索でジグザグになり、効率のよい探索方法とは言えない。
f (x)  a  b x 
T
1
2
x Q x  2 x1  x1 x 2  2 x 2
T
2
2
f ( x )  20
1
 1
0
 , b    , a  0
4 
0
 4
Q 
 1
初期点をx 1  ( 2 ,3 ) とする。
 f ( x )  x Q  ( 4 x1  x 2 ,  x1  4 x 2 )
T
なので、
 f ( x)  b  x Q
T
T
min  ( ) 
 0
 f ( x )  ( 5 ,10 )
より、

1
 

l
  f ( x   d )d  0
l
l
l
l
l
l
l
 (b  x Q )d   (d ) Q d  0
T
T
l
l
l
T
l
となるので、αに関する式に変換
すると、最適ステップ幅が解析的
に与えられる。
 q ( x )d
l
 
l
T
(d ) Q d
l
l
, f ( x )  (  5 ,  10 )
1
l  1, 2 ,...
 q ( x )d
1
 
1
l
T
二次関数に対する一次元探索問題
の最適ステップ幅は、
 { b  ( x   d ) Q }d  0
T
d  
1
l
1 T
(d ) Q d
l
1
 5 

( 5 ,10 ) 
5
  10 
 

 1   5  16
 4

(  5 ,  10 ) 
 

1
4

10



よって、
x  x  d
2
1
1
1
2 5
   
 3  16

 5 
 
 10 
1  7   0 . 4375


16   2    0 . 1250



同様にしてx3を求めると、
x  x  d
3
2

2
2
1  2   0 . 0469
 
128  3   0 . 0703



となり、点列 {x l } は右図のように
２つの直線
x2 
3
2
x1 , x 2  
7
2
x1
上の値を交互に取りながら、最適
解 x 0  ( 0 ,0 ) T に近づいていく。

論文に戻る

「A Paradigm for the Scheduling of a
Continuous Walking Beam Reheat Furnace
Using a Modified Genetic Algorithm」
Jonathan S. Broughtona, Mahdi Mahfoufb* &
Derek A. Linkensb
Materials and Manufacturing Processes
 Volume 22, Issue 5, 2007


An Optimal Scheduling Algorithm for
Reheating Furnace in Steel Production
NING Shu-shi,WANG Wei,LIU
 Control and Decision
2006-10
