Transcript presentation - 知的システムデザイン研究室

遺伝的アルゴリズムにおける
実数ベクトル表現，世代交代モデル，母集団分割効果
の検討
A Discussion on Real Number Vector Representation, Generation Alternation Models
and Effect by Division of Population of Genetic Algorithm
知的システムデザイン研究室
福永隆宏
Monthly Lecture Meeting : 54th
研究背景
近年，GAの探索性能の向上に関しては，
多くの研究が行われている
その中で本研究では，連続関数最適化問題を対象として，
１） 実数ベクトルによる遺伝子表現とその交叉法
２） 世代交代モデル
３） 母集団の分割化
の3種類のスキームに注目
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
良好な解探索のためのＧＡ設計の指針
目的関数の形状を考慮した探索
ユークリッド空間の連続性を考慮した交叉法 ：実数値GA
初期収束を回避する探索
世代間での個体分布の差異を最小化
：Minimal Generation Gap（MGG）
多様性を維持した探索，解の高品質化
母集団分割モデル
：分散GA
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
実数値GA
実数ベクトルによる染色体のコーディング
連続関数の最適化に適した交叉オペレータ
Unimodal Normal Distribution Crossover（UNDX）
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
MGGと分散GA
Minimal Generation Gap（MGG）
佐藤ら（97）によって考案された
世代交代モデル
局所的な世代交代
初期収束の回避
探索終盤での多様性維持
生成個体数（パラメータ）
分散GA
母集団をサブ母集団（島）に分割
一定世代で移住（移住率，移住間隔）
解探索性能の向上，解の高品質化
母集団分割による分散効果
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
本研究の目的
UNDX + MGG モデル
小野らによって連続関数最適化問題に対して，
有効性は確認されている
分散GA
単一母集団GAよりも良好な解探索性能を有する
目的
それらを組み合わせた計算モデルを検討
分散GAにMGGを組み込み，より強力なGAの設計を目指す
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
計算モデルの概要
・ 実数ベクトルによる染色体のコーディング
・ 各サブ母集団内は，MGGに基づいて世代交代
・ 一定世代ごとに移住を行う
・ 突然変異は行わない
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
数値実験（１）
パラメータ
総個体数
島数
Griewank関数（20次元）
※ 20試行平均
300
1, 2, 5, 10
生成個体数
交叉方法
200
UNDX
（α=0.5,β=0.35）
突然変異率
0.0
移住率
0.5
移住間隔
5
結果
いずれのサブ母集団数においても，最適解に到達する
母集団分割による分散効果が確認できない
他の対象問題に関しても同様の結果
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
分散GAに適用したMGGの問題点
・更新された個体が，他のサブ母集団に反映されていない
各世代，更新個体は2個体のみ
・サブ母集団数の増加に伴う，評価計算回数の増加
【母集団全体の評価計算回数】 =
【各サブ母集団の生成個体数】 ＊ 【サブ母集団数】
constant
本研究の検討事項
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
分散GAに適用したMGGの問題点
・サブ母集団数の増加に伴う，評価計算回数の増加
【母集団全体の評価計算回数】 =
【各サブ母集団の生成個体数】 ＊ 【サブ母集団数】
constant
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
分散GAに適用したMGGの提案手法
サブ母集団数によらず各世代の生成個体数を統一
【母集団全体の生成個体数】 = 200
constant
【各サブ母集団の生成個体数】 = 200 / 【サブ母集団数】
※ サブ母集団数１（単一母集団）のときの生成個体数を200個体
サブ母集団が増加すると，
各サブ母集団での生成個体数は減少
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
数値実験（２）
パラメータ
総個体数
サブ母集団数
生成個体数
交叉方法
Griewank関数（20次元）
300
1, 2, 5, 10
200 / サブ母集団数
UNDX
（α=0.5,β=0.35）
突然変異率
0.0
移住率
0.5
移住間隔
※ 20試行平均
5
結果
いずれのサブ母集団数において，最適解に到達する
母集団分割による分散効果が確認できた
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
数値実験（３）
他の関数においても同様の実験を行う
提案モデルにおけるコーディング法による比較実験
実数ベクトル，ビットストリング（グレイコード）
パラメータ
総個体数
実数値GA
ビット型GA
300（多峰性）， 50（単峰性）
サブ母集団数
生成個体数
1, 2, 5, 10
200 / サブ母集団数
30
1設計変数のビット数
交叉方法
UNDX
（α=0.5, β=0.35）
2点交叉
（2X）
突然変異
0.0
0.0017
移住率
移住間隔
0.5
対象問題（20次元）
Rastrigin関数
依存関係なし，多峰性
Griewank関数
依存関係あり，多峰性
Ridge関数
依存関係あり，単峰性
5
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
Rastrigin関数の結果
検討項目
#OPT ： 最適解到達回数（20試行中）
AVG ： 最適解到達試行における評価計算回数平均
Rastrigin関数（20次元）
母集団分割よる分散効果を確認
実数ベクトルの有効性を確認
実数ベクトルにおける
最適解到達回数の問題点
局所解を脱する
強力なアルゴリズムの構築の必要性
#OPT
UNDX
17
18
17
19
2X
20
20
20
20
#OPT : Number of runs in which the algorithm succeeded in finding the global optimum
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
Griewank関数，Ridge関数の結果
Griewank関数（20次元）
Ridge関数（20次元）
#OPT
#OPT
UNDX
20
20
20
20
UNDX
20
20
20
20
2X
15
11
8
13
2X
0
0
0
0
両問題においても， 検討モデルの有効性を確認
母集団分割による，分散効果を確認
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
結論（１）
連続関数最適化問題に対して，
実数ベクトル表現，MGG，母集団分割について，検討を行った
MGGと実数ベクトル表現
設計変数間の依存関係の有無，多峰性 / 単峰性に関わらず，
良好な解探索性能を示した
MGGとビットストリング表現
設計変数間に依存関係のない問題に対して，有効に機能した
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
結論（２）
母集団分割とMGG
サブ母集団数が増加するごとに，
サブ母集団内の生成個体数を減少させる
各サブ母集団での多様性はなくなるが，
母集団を分割することで，全体の多様性は維持できる
評価計算回数を軽減することができる
連続関数最適化問題において，
実数ベクトル表現，生成個体数を調節するMGGを
分散GAに組み込むことは，有効な手法といえる
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
Intelligent Systems Design Lab. - Doshisha Univ
ｰｰｰｰｰｰｰｰｰｰｰｰ参考資
料ｰｰｰｰｰｰｰｰｰｰｰｰ
Monthly Lecture Meeting : 54th
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
Rosenbrock関数，R-Rastrigin関数の結果
Rosenbrock関数（20次元）
Rotated-Rastrigin関数（20次元）
#OPT
#OPT
UNDX
20
20
20
20
UNDX
19
20
20
19
2X
0
0
0
0
2X
0
0
0
0
両問題においても， 検討モデルの有効性を確認．
母集団分割による，分散効果を確認．
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
Proposed PMBGA
Contour Line
of OBJ Function
Distribution
of individuals
Features
–It
is a Real-Coded GA
–It
can find the solution even in the problem where there is
a strong correlation among the parameters.
Proposed
PMBGA’s steps
(1) The elite individuals are chosen from the population.
(2) These individuals are transferred by the PCA operation.
(3) The new individuals are generated by the normal distribution.
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
PMBGAのパラメータ
PMBGA
UNDX+MGG
Population Size
512
300 ，50
Number of Islands
32
1
Number of Design Variables
Number of Design Variables
Number of Elite
Individuals/Island
1
1
Selection Method
Extract Elite Individuals
-
Extraction Rate 0.25
Archive Size 100
Amplification Rate 2.0
α=0.5, β=0.35
Chromosome length
Probabilistic Model,
Crossover
Mutation Rate
Migration Interval
Migration Rate
Number of Trials
Number of Crossover 100
1/ (10×Chromosome length)
0
5
-
0.0625 (1 individual)
20
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
PMBGAとの比較（１）
Rastrigin関数（20次元）
Griewank関数（20次元）
Rastrigin関数
検討モデルの10島がもっとも早く最適解に収束する
PMBGAは局初解に陥らないため，信頼性が高い
Griewank関数
PMBGAがもっとも早く最適解に収束する
両モデルにおいて，最適解到達率が100％である
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
PMBGAとの比較（２）
Rosenbrock関数（20次元）
Ridge関数（20次元）
Rosenbrock関数
PMBGAがもっとも早く最適解に収束する
両モデルにおいて，最適解到達率が100％である
Ridge関数
検討モデルの10島が，もっとも早く最適解に収束する
両モデルにおいて，最適解到達率が100％である
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
UNDX+sGAの分散効果（１）
Rastrigin関数（20次元）
Rota関数（20次元）
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
UNDX+sGAの分散効果（２）
Rosenborck関数（20次元）
Rotated Rastrigin関数（20次元）
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
実数値GAの問題点と今後の課題
実数ベクトルに特化した交叉法は統計的に子個体を生成
探索終盤に，設計空間の中央付近に個体が集まる傾向が高い
最適解が，設計空間の中央に存在しない問題に対して，
その解探索性能は極端に低下してしまう．
最適解の位置にロバストなGAの設計が今後の課題
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
数値実験（４）
最適解が中央にない問題への検討モデルの検討
対象問題：最適解が中央にある問題の最適解を移動した問題
Rastrigin_1
: 最適解 = (1, 1, 1, ・・・, 1) [-5.12, 5.12)
Griewank_100 : 最適解 = (100, 100, 100, ・・・, 100) [-512, 512)
Ridge_10
: 最適解 = (10, 10, 10, ・・・, 10) [-64, 64)
Rotated Rastrigin_1 : 最適解 = (1, 1, 1, ・・・, 1) [-5.12, 5.12)
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
パラメータおよびSPX
パラメータ
総個体数
サブ母集団数
生成個体数
交叉方法
1800
1, 2, 5, 10
200 / サブ母集団数
SPX
（ε= 22）
突然変異率
0.0
移住率
0.5
移住間隔
5
Simplex Crossover : 樋口（01）
多数の親を用いる，実数ベクトルに特化した交叉法
一様乱数で子個体を生成
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
数値実験結果（１）
Rastrigin_1関数（20次元）
Griewank_100関数（20次元）
#OPT
#OPT
SPX
20
20
19
19
SPX
20
20
20
20
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
数値実験結果（２）
Ridge_10関数（20次元）
Rotated Rastrigin_1関数（20次元）
#OPT
#OPT
SPX
20
20
20
20
SPX
10
11
4
0
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
Unimodal Normal Distribution Crossover
（Ono 97）
• 3つの親個体により定義される正規分布領域内に生成
• 設計変数間に依存関係のある問題に強い
• 標準偏差を調節するパラメータ α，β
• 最適解が設計空間の端に存在する問題に適用すると，性能が低下してしまう
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
世代交代モデル
複製選択と生存選択を規定
sGA（Simple GA） - Goldberg,89
MGG（Minimal Generation Gap） - 佐藤,97
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
実数値GAの突然変異
① 一様突然変異
（Uniform mutation）
② 境界突然変異
（Boundary
mutation）
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
Toridal Search Space Conversion
染谷ら（01）によって提案された，制約外遺伝子の処理方法
最適解が設計空間の端に存在する問題に有効
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
遺伝的アルゴリズム
生物の進化を模倣した
最適化アルゴリズム
f (x1, x2)
(2, 7)
候補解をビットストリングで表現
確率的な多点探索
エンコード
デコード
遺伝オペレータ
交叉
染色体
個体・・・
010111
x1
x2
突然変異
評価
選択
設計変数
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
実数値遺伝的アルゴリズム
実数ベクトルによる
染色体のコーディング
実数値のための
遺伝オペレータ
（交叉法：BLX-α，UNDX）
親個体の形質を
効率よく引き継ぐ
連続性を考慮した探索が可能
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
分散遺伝的アルゴリズム
サブ母集団（島）に分割
各島内で独立した遺伝操作
Distribute
島間で移住
解の高品質化が期待できる
島モデルによる分散効果
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
SGA（1 / 3）の結果
Rastrigin
Schwefel
Model-1,3は設計変数間に依存関係のない問題に有効
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
SGA（2 / 3）の結果
Griewank
Rotated Rastrigin
設計変数間に依存関係のある問題には
探索性能に問題がある
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
SGA（3 / 3）の結果
Rosenbrock関数
設計変数間に依存関係のある問題には
探索性能に問題がある
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
MGG（1 / 3）の結果
Rastrigin
Schwefel
島モデルが解探索に悪影響を与えている
突然変異をしない単一母集団が良好な結果
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
MGG（2 / 3）の結果
Griewank
Rotated Rastrigin
突然変異は探索に悪影響を与えている
Model-6をRotated Rastrigin関数に適用したとき
島モデルによる分散効果を確認
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
MGG（3 / 3）の結果
Rosenbrock関数
Model-8でのみ，最適解を得ることができる
Intelligent Systems Design Lab. - Doshisha Univ
Monthly Lecture Meeting : 54th
全モデルのまとめ
対象問題と分散効果
依存関係のない問題は分散効果が得やすい
依存関係のある問題は分散効果が得にくい
世代交代モデルの影響
SGAと突然変異の併用は分散効果が顕著に現れる
MGGは遺伝オペレータに左右する
Intelligent Systems Design Lab. - Doshisha Univ