Transcript 近傍並列SAは - 医療情報システム研究室

連続最適化問題における
近傍並列シミュレーテッドアニーリング
同志社大学工学部知識工学科
知的システムデザイン研究室
三木 光範
廣安 知之
○ 及川 雅隆
Intelligent Systems Design Laboratory
研究背景
• 最適化問題
連続最適化問題
組合せ最適化問題
タンパク質の構造予測
• ヒューリスティック探索
－ シミュレーテッドアニーリング
（ Simulated Annealing : SA ）
－ 遺伝的アルゴリズム
( Genetic Algorithm : GA)
－ ニューラルネットワーク
( Neural Network : NN )
LSI配置問題
大規模，複雑な問題では
膨大な計算コストがかかる
並列化による効率的な探索
Intelligent Systems Design Laboratory
SAのアルゴリズム
• 金属の焼き鈍しを模倣
（エネルギーを最小化）
改善方向
受理確率 P = 1
改悪方向
Metropolis基準により
受理確率を決定
Intelligent Systems Design Laboratory
SAにおける重要なパラメータ
SAにおける重要なパラメータは近傍と温度
組合せ最適化問題
近傍は設計変数の入れ替えなど，固定的な操作
温度の設定が重要
連続最適化問題
温度の設定は影響が小さい
近傍の設定が，解探索性能に大きく影響
Intelligent Systems Design Laboratory
近傍の構造
・ 固定近傍
－ 近傍幅を固定
・ 適応的近傍
－ 探索に応じて近傍幅を調節
・ 温度可変近傍
－ 温度に応じて近傍を決定
(高温では大域探索，低温では局所探索)
一様分布
（近傍内に一様的に次状態を生
成）
正規分布，Cauchy分布 など
（密度分布によって次状態を生
成）
Intelligent Systems Design Laboratory
近傍の設定
・近傍が大きすぎる
→収束しない
・近傍が小さすぎる
→探索に時間がかかる
適切な近傍の設定が重要
Intelligent Systems Design Laboratory
近傍の設定
・近傍が大きすぎる
→収束しない
・近傍が小さすぎる
→探索に時間がかかる
適切な近傍の設定が重要
Intelligent Systems Design Laboratory
対象問題（１）
Rastrigin関数
（n＝2）
Griewank関数
（n＝2）
Intelligent Systems Design Laboratory
対象問題（２）
Rana関数
（n＝2）
Egg Holder関数
（n＝2）
Intelligent Systems Design Laboratory
近傍の大きさと解精度の関係（Rastrigin）
• 種々の近傍幅に対して実験（一様分布）
等高線
最適な近傍幅 （1.0）
＝ 局所最適解から効率的に抜け出す近傍
Intelligent Systems Design Laboratory
近傍の大きさと解精度の関係（Griewank）
等高線
最適な近傍幅 （0.05）
＝ 局所最適解から効率的に抜け出す近傍
最適な近傍の設定には膨大な予備実験が必要
Intelligent Systems Design Laboratory
近傍の大きさと解精度の関係（Rana）
等高線
局所解の間隔が一様でない
最適な近傍の設定が困難
Intelligent Systems Design Laboratory
近傍の大きさと解精度の関係（Egg Holder）
等高線
局所解の間隔が一様でない
最適な近傍の設定が困難
Intelligent Systems Design Laboratory
研究目的
・ 連続問題においては，近傍は連続的に変化する
ため，最適な近傍を一意に決定するのは困難
・ 問題に応じた近傍の設定が必要
・ SAは膨大な計算コストを必要とする
近傍を並列化させて探索行なう近傍並列SAを提案
（Neighborhood Parallel Simulated Annealing : NPSA）
Intelligent Systems Design Laboratory
NPSAのアルゴリズム
• 各プロセスは異なる近傍でアニーリング
• 解のランクづけをし，良好な解から順に小さな近傍を与える
Intelligent Systems Design Laboratory
NPSAのアルゴリズム
• 各プロセスは異なる近傍でアニーリング
• 解のランクづけをし，良好な解から順に小さな近傍を与える
Intelligent Systems Design Laboratory
NPSAのアルゴリズム
• 各プロセスは異なる近傍でアニーリング
• 解のランクづけをし，良好な解から順に小さな近傍を与える
Intelligent Systems Design Laboratory
NPSAのアルゴリズム
• 各プロセスは異なる近傍でアニーリング
• 解のランクづけをし，良好な解から順に小さな近傍を与える
Intelligent Systems Design Laboratory
NPSAのアルゴリズム
• 各プロセスは異なる近傍でアニーリング
• 解のランクづけをし，良好な解から順に小さな近傍を与える
Intelligent Systems Design Laboratory
NPSAのアルゴリズム
• 各プロセスは異なる近傍でアニーリング
• 解のランクづけをし，良好な解から順に小さな近傍を与える
Intelligent Systems Design Laboratory
NPSAのアルゴリズム
• 各プロセスは異なる近傍でアニーリング
• 解のランクづけをし，良好な解から順に小さな近傍を与える
Intelligent Systems Design Laboratory
NPSAのアルゴリズム
• 各プロセスは異なる近傍でアニーリング
• 解のランクづけをし，良好な解から順に小さな近傍を与える
Intelligent Systems Design Laboratory
NPSAのアルゴリズム
• 各プロセスは異なる近傍でアニーリング
• 解のランクづけをし，良好な解から順に小さな近傍を与える
Intelligent Systems Design Laboratory
NPSAのアルゴリズム
• 各プロセスは異なる近傍でアニーリング
• 解のランクづけをし，良好な解から順に小さな近傍を与える
Intelligent Systems Design Laboratory
NPSAのアルゴリズム
• 各プロセスは異なる近傍でアニーリング
• 解のランクづけをし，良好な解から順に小さな近傍を与える
・ エネルギー値が低い → 小さな近傍
・ エネルギー値が高い → 大きな近傍
良い解は局所探索をし，解精度の悪い解は大域探索を行なう
Intelligent Systems Design Laboratory
パラメータの設定
対象問題
Rastrigin, Griewank
手法
SA
プロセス数
PSA
Rana, Egg Holder
NPSA
1
32
SA
PSA
NPSA
1
32
最高温度
10.0
6.6
最低温度
0.01
6.6×1.E-4
32
32
クーリングステップ数
クーリング周期
10240
320
クーリング方法
総アニーリング数
近傍幅
予備実験で得られた
最適な近傍
10240
320
指数型
指数型
10240×32
10240×32
32種類の
固定近傍
温度可変の
正規分布
32種類の
正規分布
（PSA：並列SA， NPSA：近傍並列SA）
正規分布
（ 設計変数の数 ： D ）
温度Tが標準偏差
Intelligent Systems Design Laboratory
実験結果（SA，PSA，NPSAの比較）
Rastrigin関数
Griewank関数
逐次SA，並列SAと比べて，近傍並列SAは
良好な探索結果
Intelligent Systems Design Laboratory
実験結果（SA，PSA，NPSAの比較）
Rana関数
Egg Holder関数
逐次SA，並列SAと比べて，近傍並列SAは
同等，もしくは良好な探索結果
Intelligent Systems Design Laboratory
エネルギーと近傍の履歴（Rastrigin）
並列SAの履歴
近傍並列SAの履歴
近傍並列SAは解の探索に応じて適応的に近傍を調節
Intelligent Systems Design Laboratory
エネルギーと近傍の履歴（Griewank）
並列SAの履歴
近傍並列SAの履歴
近傍並列SAは解の探索に応じて適応的に近傍を調節
Intelligent Systems Design Laboratory
エネルギーと近傍の履歴（Rana）
並列SAの履歴
近傍並列SAの履歴
・ 並列SAは，指数型アニーリングにより階段型の近傍履歴
・ 近傍並列SAは近傍を適応的に調節し，探索序盤において
良好な解探索が行なわれている
Intelligent Systems Design Laboratory
エネルギーと近傍の履歴（Egg Holder）
並列SAの履歴
近傍並列SAの履歴
・ 並列SAは，指数型アニーリングにより階段型の近傍履歴
・ 近傍並列SAは近傍を適応的に調節し，探索序盤において
良好な解探索が行なわれている
Intelligent Systems Design Laboratory
総探索数とエネルギーの関係（Rana）
Intelligent Systems Design Laboratory
総探索数とエネルギーの関係（Egg Holder）
Intelligent Systems Design Laboratory
まとめ
提案手法 ： 近傍並列SA（NPSA）
近傍を並列化させて探索を行なう
・ 解探索の状況に応じ，適応的に近傍を調節
・ 従来の逐次SA，並列SAと比べて
予備実験が不要
解精度が向上，もしくは同等
近傍並列SAは，連続最適化問題における
並列化手法として有効である
Intelligent Systems Design Laboratory