Transcript 適応的シミュレーテッドアニーリング

適応的シミュレーテッドアニーリング
同志社大学
三木光範，廣安知之
同志社大学大学院
○小野景子，吉田武史，窪田耕明
研究背景
最適化問題の複雑化
ヒューリスティック探索
・遺伝的アルゴリズム
生物の進化を模倣
・ニューラルネットワーク
ボルツマンマシーン
・シミュレーテッドアニーリング
良好な解を短時間で求めることが重要になる
シミュレーテッドアニーリング（SA）とは
・金属の焼きなましを模倣
高温時･･･エネルギーが大きい
低温時･･･エネルギーが小さい安定状態
・最小エネルギーを得られる
SAのアルゴリズム
・温度が重要になる
▲
最適解
SAのアルゴリズム
←近傍→
・温度が重要になる
・近傍が重要になる
研究目的
固定近傍
温度可変近傍
適応的近傍→目的関数のランドスケープを考慮
Coranaの手法
受理：却下
1：1
受理率が高い→近傍を大きく
Coranaの手法に変わる
受理率が低い→近傍を小さく
適応近傍（SA/AAN）の提案
▲
最適解
Coranaの手法の定式化
Coranaの手法の実験結果
エネルギー履歴
Rastrigin関数
近傍幅履歴
局所解に陥る
・局所に陥っている
・近傍を小さくしている→局所から脱出できない
新しい適応的近傍の必要性
Coranaの手法
・局所解に陥りやすい
→近傍の拡大率が固定
→局所からの脱出に必要な大きさの
近傍を作り出せない場合が多い
問題に依存しない近傍拡大率の設計
適応的に拡大率を求めるSA/AANを提案する
SA/AANのアルゴリズム
H0
近傍拡大率：固定
受理率：0.5
近傍拡大率：適応的
受理率：制限なし
適応的近傍拡大率により局所から脱出可能
SA/AANの定式化
H0
対象問題
Rastrigin
Griewank
Rosenbrock
パラメータ設定
実験結果
・Coranaの手法では0.5のみ．SA/AANは他の受理率も可
・0.1程度の受理率の時，解の精度がよい
実験結果
エネルギー履歴
近傍幅履歴
・近傍から脱出
・近傍は局所解に陥らない大きさになる
まとめ
Coranaの手法では局所解に陥った時，近傍幅が
十分に大きくならずそこからの脱出が困難になる
目標受理率が高い（受理率：0.5）
目標受理率を下げる必要がある
近傍の拡大率自体を適応変化させる必要がある
局所解から脱出可能な近傍生成メカニズム
（SA/AAN）を提案した
従来の方法より良質な解が得られた
付録
解交換なしTPSA（Rastrigin）
温度
0
5
10
15
20
25
30
35
100
エネルギー
10
1
0.1
0.01
0.001
ave5
mid5
ave1
mid1
ave0.5
mid0.5
ave0.1
mid0.1
ave0.05
mid0.05
ave0.01
mid0.01
解交換なしTPSA（Griewank）
温度
0
100
10
エネルギー
1
0.1
0.01
0.001
0.0001
5
10
15
20
25
30
35
ave500
mid500
ave100
mid100
ave50
mid50
ave10
mid10
ave5
mid5
ave1
mid1
ave0.5
mid0.5
ave0.1
mid0.1
ave3
mid3
ave4
mid4
解交換なしTPSA（Rosenbrock）
温度
0
1000
100
エネルギー
10
1
0.1
0.01
0.001
5
10
15
20
25
30
35
ave5
mid5
ave1
mid1
ave0.5
mid0.5
ave0.1
mid0.1
ave0.05
mid0.05
ave1
mid1
ave0.5
mid0.5
ave0.1
mid0.1
Coranaの手法の改良
近傍拡大率
一定に保つ受理率を
小さくする
Coranaの改良
近傍を拡大する確率
を上げる
Corana
近傍幅を大きくすること
で局所から脱出可能
Coranaの手法の改良の結果
受理率0.1
受理率0.27程度の
受理率になる
受理率0.1
近傍が大きくならない
近傍の拡大率を大きく
する必要がある
実験結果(受理率)
目的の低い受理率を保つ事が可能に
考察(近傍幅) -Griwank関数-
固定近傍と適応的近傍(Rastrigin)
Energy [10 trials, Median]
1.0E+03
1.0E+01
SA/FN
TPSA/FN
SA/AN
TPSA/AN
1.0E-01
1.0E-03
1.0E-05
1.0E-07
0.01
0.05
0.1
0.5
1
Neighborhood range
5
固定近傍と適応的近傍(Griewank)
Energy [10 trials, Median]
1.0E+02
1.0E+00
SA/FN
TPSA/FN
SA/AN
TPSA/AN
1.0E-02
1.0E-04
1.0E-06
1.0E-08
0.1 0.5
1
5 10 50 100 500
Neighborhood range
3次元での結果
3次元でも，受理率0.1で良好な解を得た
アニーリングステップ数を増やした結果
Rastrigin(2次元)
アニーリングステップ数を増やした結果
Rastrigin(3次元)
拡大率1の範囲
p1
p2
受理率0.4
0.3
0.5
受理率0.3
0.2
0.4
受理率0.2
0.1
0.3
受理率0.1
0.05
0.15
受理率
0.05
受理率
0.01
0.025
0.075
0.005
0.015