Transcript x - 医療情報システム研究室

高実用性を志向した遺伝的
アルゴリズムの開発，
および
多目的最適化へのアプローチ
渡邉 真也（同志社大学大学院）
Intelligent Systems Design Laboratory，
Doshisha University，Kyoto Japan
Doshisha Univ., Kyoto Japan
背景
• 最適化は大きく2つの要素からなる
Optimizer
様々な手法に基づいて
探索点を決定
（例）変分法，動的計画法，
山登り法，線形計画法，
GA，SAなど
Analyzer
提示された探索点の評価値
を求める（評価関数）
（例）経路長の計算
Doshisha Univ., Kyoto Japan
背景
• 最適化は大きく2つの要素からなる
Optimizer
Analyzer
・任意のアナライザに対してさまざまな最適化手法
を適用することが可能
・プログラム間の通信はファイルを介して行う
・近似手法や実験計画法と組み合わせることも可能
Doshisha Univ., Kyoto Japan
背景
• Optimizer (最適化手法)
数理的最適化手法
逐次２次計画法，逐次近似法，外点ペナルティー関数法，
H-J探索法，許容方向法など
経験的最適化手法 ／ トレードオフ解析
探索的最適化手法
GA， SA（適応的SA）
Bäckが１９９２年に公開したGENEsYs
最新の研究の結果は反映されておらず，性能も低い
高性能な分散GAに置き換えたい
Doshisha Univ., Kyoto Japan
遺伝的アルゴリズム
• 遺伝的アルゴリズム (Genetic Algorithm: GA)
– 生物の進化を模倣した最適化アルゴリズム
交叉
遺伝子を組み替えて新しい個体を生成
個体間の情報交換
突然変異
親個体が持たないビットを生み出す
母集団内の多様性の維持
選択
環境に適合した個体ほど
子孫を残しやすい
Doshisha Univ., Kyoto Japan
遺伝的アルゴリズム
• GAの特徴
長所
• ほぼ全ての最適化問題に適用可能（汎用性）
• コーディングが比較的容易
• 一般的にそこそこ良質な解が得られる
短所
•
•
•
•
•
計算コストが高い
最適解の保証が無い（ヒューリスティック）
設定パラメータが多い
理論的解析が十分になされていない
コーディングに規範がなくプログラマの経験による部分が多
い
Doshisha Univ., Kyoto Japan
高性能遺伝的アルゴリズム
• 分散GA
Doshisha Univ., Kyoto Japan
Doshisha Univ., Kyoto Japan
遺伝的アルゴリズム
･遺伝的アルゴリズム
トレードオフの関係にある，複数の評価基準を同
時に最適化
・パレート最適解
複数，無限存在
GAの多点探索が有効
f2(x)
Ex)
ポートフォリオ問題，複合最適化設計
Feasible region
Pareto optimal solutions
f 1(x)
Doshisha Univ., Kyoto Japan
多目的進化的手法 （EMO）
• EMO
Evolutionary Multi-criterion Optimization
EMOにおける代表的手法
•VEGA Schaffer (1985)
•MOGA Fonseca (1993)
•DRMOGA Hiroyasu, Miki, Watanabe (2000)
•SPEA2
E. Zitzler, M. Laumanns (2001)
•NPGA2 Erickson, Mayer, Horn (2001)
•NSGA-II Deb, Goel (2001)
Doshisha Univ., Kyoto Japan
近傍培養型GA
• 近傍培養型GA
NCGA ～Neighorhood Cultivation GA～
従来までの探索に効果的な手法に近傍交叉を加えたモデル
特徴
• 近傍交叉
•
•
•
•
•
探索した優良解の保存
パレート保存個体群の利用
保存している優良個体の削減
探索個体に対する適合度割り当て
各目的スケールの正規化
Doshisha Univ., Kyoto Japan
近傍培養型GA
• 近傍交叉
f2(x)
– 多目的では，対象とする目的関数空間が広く各個体
ごとに探索している解領域が異なっている．
近傍でない個体と交叉を行っても，
効果的な探索は期待できない．
f1(x)
Doshisha Univ., Kyoto Japan
近傍培養型GA
• 近傍交叉
f2(x)
• 近傍同士のペアによる交叉
– 個体のソートを行う．
ただし，毎世代ペアが異なる
ように確率的な変動を加えて
やる．
f1(x)
Doshisha Univ., Kyoto Japan
解の評価方法
Measures
• パレート比較割合
～The Ratio of Non-dominated
Individuals :RNI～
– 解の精度に関する評価指標
– 2つの異なるパレート解集合を比較
• 被覆率（Cover Rate Index）
– 解の幅広さ，多様性に関する評価指標
– 真のパレート解分布に対する得られた解の分布割合
• 誤差 (Error )
– 真のパレート解との距離を定式化
• 最大値-最小値 ( Max-Min )
– パレート解の各目的ごとの最小値と最大値
Doshisha Univ., Kyoto Japan
解の評価方法
• パレート比較割合
The Ratio of Non-dominated Individuals
Method A
f 2 (x)
f2 (x)
(RNI)
f2 (x)
f 1(x)
Method A 3/9
Method B 6/9
0.333
3
0.666
5
Method B
f 1(x)
f 1 (x)
Doshisha Univ., Kyoto Japan
対象問題
• 連続関数テスト問題
– ZDT4
min
f1 ( x)  x1
min

x1 

f 2 ( x)  g ( x)  1 

g
(
x
)


10
g ( x)  91   xi  10 cos( 4xi )
2
i 2
x1  [0,1]
xi  [5,5]
Doshisha Univ., Kyoto Japan
対象問題
• 連続関数テスト問題
– KUR
min
f1 ( x)  i 1 (10 exp( 0.2 xi  xi 1 ))
min
f 2 ( x)  | xi |0.8 5 sin( xi )3
100

2
2

xi  [5,5] , i  1,, n n  100
Doshisha Univ., Kyoto Japan
対象問題
• 多目的0/1ナップザック問題
– (750荷物2目的 ： KP750-2 )
目的関数
制約条件
m
fi ( x)   pi , j  x j
j 1
m
 1,2,, n :  wi , j  x j  ci
j 1
x  ( x1 , x2 ,, xm )  0,1m
pi , j  ナップザックiの荷物jにおける利益
wi , j  ナップザックiの荷物jにおける重量
ci  ナップザックiの許容重量
Doshisha Univ., Kyoto Japan
適用手法とパラメータ
適用手法
•
•
•
•
SPEA2
NSGA-II
NCGA
non-NCGA
( 近傍交叉を行わないNCGA )
GAオペレータ
• 交叉方法
– 1点交叉
• 突然変異
– ビット反転
パラメータ
個体数
交叉率
突然変異率
終了世代
試行回数
100
250
1.0
0.01
250
2000
30
Doshisha Univ., Kyoto Japan
数値結果 (ZDT4)
Doshisha Univ., Kyoto Japan
数値結果 (ZDT4)
Doshisha Univ., Kyoto Japan
数値結果 (KUR)
Doshisha Univ., Kyoto Japan
数値結果 (KUR)
Doshisha Univ., Kyoto Japan
数値結果 ( KP750-2 )
Doshisha Univ., Kyoto Japan
数値結果 ( KP750-2 )
Doshisha Univ., Kyoto Japan
結論
• EMOにおける新たなアルゴリズムの提案
– 近傍培養型GA
NCGA ～Neighborhood Cultivation GA～
• 多目的における効果的な探索
• 近傍交叉
•
•
•
•
•
探索した優良解の保存
保存している優良解の探索への反映
保存している優良固体の削減
探索固体に対する適合度割り当て
各目的スケールの正規化
Doshisha Univ., Kyoto Japan
結論
• NCGAを連続関数テスト問題，離散的テスト問
題に適用しSPEA2，NSGA –II ，近傍交叉を
行わないnNCGA との比較を行った．
• NCGAは，SPEA2, NSGA-IIよりも相対的に
良好な結果を得ることができた．
• NCGAにおいて近傍交叉の影響を比較検討し
た結果，近傍交叉が探索に非常に効果的である
ことが分かった．
NCGAは，多目的GAのアルゴリズム
として有効であると言える．
Doshisha Univ., Kyoto Japan
参照URL
• EMO全般に関して
– http://www.lania.mx/~ccoello/EMOO/EMO
Obib.html
• 多目的0 /1ナップザック問題に関して
– http://www.tik.ee.ethz.ch/~zitzler/
• 発表に用いたソースプログラム
– http://mikilab.doshisha.ac.jp/dia/research/mop_ga
/archive/
• 発表者の電子メールアドレス
– [email protected]
Doshisha Univ., Kyoto Japan
数値結果 ( KP750-2 )
Doshisha Univ., Kyoto Japan
数値結果 (ZDT4)
Doshisha Univ., Kyoto Japan
数値結果 (KUR)
Doshisha Univ., Kyoto Japan
数値結果 (ZDT4)
Doshisha Univ., Kyoto Japan
数値結果 (KUR)
Doshisha Univ., Kyoto Japan
数値結果 ( KP750-2 )
Doshisha Univ., Kyoto Japan
近傍培養型マスタースレーブモデル
• パレート保存個体群の利用
– 多目的では，最終的に求める解候補 （パレート解）が
複数存在するため，探索途中での優良な個体の欠落
を防ぐ必要がある．
f2(x)
探索個体群
優良個体保存群
探索個体群に優
良個体群を反映
させることにより
探索の高速化，
効率化を期待す
ることができる．
f1(x)
Doshisha Univ., Kyoto Japan
多目的GAの問題点
多目的GAでは，求める解が複数存在するため
単一目的と比較して，十分な個体数と探索世代数
が必要となる．
・膨大な評価計算回数
・非常に高い計算負荷
・探索効率の良いアルゴリズム
Doshisha Univ., Kyoto Japan
GAによる多目的最適化への応用
・多目的GA
交叉・突然変異を用いて
パレート最適解集合の探索を行う
f2(x)
5th
1st generation
generation
50th
10th generation
generation
30th generation
f1(x)
Doshisha Univ., Kyoto Japan
Multi-Criterion Optimization Problems(2)
・Pareto dominant and Ranking method
3
f2
Pareto-optimal Set
The set of non-inferior
individuals in each
generation.
1
1
Ranking
number of
Rank ＝ １＋
dominant individuals
Pareto optimal solutions
f1
Doshisha Univ., Kyoto Japan
クラスタシステム
Spec. of Cluster (16
nodes)
Processor
Pentium
Ⅲ(Coppermine)
Clock
# Processors
Main memory
Network
(100Mbps)
Communication
OS
Compiler
600MHz
1 × 16
256Mbytes × 16
Fast Ethernet
TCP/IP, MPICH 1.2.1
Linux 2.4
gcc 2.95.4
Doshisha Univ., Kyoto Japan