Transcript PowerPoint Presentation - 知的システムデザイン研究室

遺伝的アルゴリズム概説
An Outline of Parallel Distributed Genetic Algorithms
同志社大学工学部知識工学科
知的システムデザイン研究室
福永 隆宏， 中村
片浦 哲平， 花田
○森 隆史， 勝崎
斎藤 宏樹， 岩橋
康昭
良子
俊樹
崇史
生物の進化プロセス
遺伝的アルゴリズムの基となる生物の進化プロセス
有性生殖によって両親の形質を
子孫に伝える
遺伝子のコピーミスによる
新しい形質の獲得
環境に適合した個体ほど
子孫を残しやすい
遺伝的アルゴリズムのプロセス
遺伝子を組み替えて新しい個体を生成
個体間の情報交換
親個体が持たないビットを生み出す
母集団内の多様性の維持
環境に適合した個体ほど
子孫を残しやすい
遺伝的アルゴリズムの特長・問題点
目的関数の形質を直接利用しない
確率的な多点探索
最適なパラメータ設定が困難
パラメータチューニング
計算コストが大きい
並列処理，並列分散GA
並列分散遺伝的アルゴリズム（PDGA）
母集団を複数のサブ母集団に分割
特徴
一定世代ごとに移住（移住率，移住間隔）
並列計算機との親和性が高い
PDGAグループの研究
拡張分散遺伝的アルゴリズム
－MGGの検討とBCXの導入－
同志社大学工学研究科
知的システムデザイン研究室
森 隆史
研究背景
最適化問題
トラス構造物最適化
（連続問題）
LSI配置問題
（離散問題）
最適化手法の1つ
遺伝的アルゴリズム 問題点
（Genetic Algorithm : GA）
‣早熟収束
‣高い計算負荷
分散遺伝的アルゴリズム
（Distributed Genetic Algorithm : DGA）
DGAの解探索性能の向上
主要なDGAの研究は
‣パラメータの検討
既存のDGAの性能を最大限に引き出す
‣対象問題での有効性の検討
特定の状況におけるDGAの性能を向上させる
DGAに特別なメカニズムを組み込むことで
DGAでは最適解を発見できない問題に対する
解探索性能を向上させる
そこで，
単一母集団GAの性能を向上させる手法を組み込むことを検討
DGAに組み込む手法 ：Minimal Generation Gap（MGG）
DGA+MGGの有効性の検討
以下の3つの手法を比較
計算モデル
サブ母集団
DGA+MGG
複数
DGA
複数
MGG
単一
対象問題
形状
Griewank関数
依存関係
多峰性 有り
Griewank関数
Rosenbrock関数 単峰性 有り
Rosenbrock関数
DGA+MGGの有効性
Griewank
Rosenbrock
‣ Griewank関数においてDGA+MGGとMGGは
良好な解探索性能を示している
‣ Rosenbrock関数においては，3手法ともほぼ同等
‣ DGA+MGGとMGGの解探索性能がほぼ同等
DGA+MGGに関する考察
DGAにMGGを適用しても性能が向上するとは限らない
単一母集団GAの解探索メカニズムと
DGAの解探索メカニズムが異なる
DGAに特別なメカニズムを組み込むとき
DGAの解探索メカニズムを考慮すること
が必要となる
DGAに適した特殊なMGG
最良組み合わせ交叉（Best Combinatorial Crossover）
DGA+BCXの有効性の検討
以下の3つの手法を比較
計算モデル
サブ母集団
DGA+BCX
複数
DGA
複数
DGA+ MGG
複数
対象問題
形状
Griewank関数
依存関係
多峰性 有り
Griewank関数
Rosenbrock関数 単峰性 有り
Rosenbrock関数
DGA+BCXの有効性
Griewank
Rosenbrock
DGA+BCXは良好な解探索性能を示している
DGAの解探索メカニズムを考慮することで
DGAの解探索性能が向上した
まとめ
‣ DGAの解探索性能を向上させるために
単一母集団GAにおいて有効な手法（MGG）を適用
→ DGAの性能向上に反映するとは限らない
単一母集団GAの解探索メカニズムと
DGAの解探索メカニズムが異なるため
‣ DGAの解探索メカニズムを考慮する手法（BCX）を適用
良好な解探索性能を示した
‣ DGAの性能を向上させるための指針
DGAの解探索メカニズムを考慮することで
DGAの解探索性能を向上させることが可能である
GAにおける新たなアルゴリズムの構築
同志社大学工学研究科
知的システムデザイン研究室
勝崎 俊樹
研究目的
遺伝的アルゴリズム（GA）における解探索性能の向上
GAにおける短所の影響をできる限り回避すればよい
GAの主な短所
・個体同士の情報交換によって解探索を
行うため，世代が進むと個体の傾向
が同じになる
・一度全ての個体が同じ傾向になって
しまうと，他の傾向の個体を生み出す
ことができない
局所解から脱出できない(早熟収束)
単一母集団GAとDGA
分散遺伝的アルゴリズム(DGA)を用いることで
早熟収束の影響を軽減できると報告されている
局所解を持つ問題の中には，DGAを用いても良好な
解探索を行えないものが存在
単一母集団GAとDGAの解探索メカニズムを組み合わせる
ことで，新たな解探索メカニズムを作り出す
リフレッシュ型分散GAの提案
DGA with Refreshing mechanism
（DGA/R）
提案手法の目的
・DGAを用いても良好な解が得られない問題に対し，
解探索性能を向上させる
・特定の問題に依存した手法ではなく，様々な問題に
適応できる汎用的な手法を目指す
DGA/Rの構造
・単一母集団GAとDGAの２つのグループを持つ
・単一母集団GAから定期的にDGAに良好な個体を
送り，交叉によって情報交換を行う
・単一母集団GAは定期的に初期化する
DGAの各島に
良好な個体を送り
交叉する
DGA/Rによる効果
・DGAでは島数を増やすことでより良好な結果を示すが，
個体を分割しすぎると逆に解探索性能が悪化する問題も
存在する
単一母集団GAを定期的に初期化することで局所解脱出を
助けるため，島数を必要以上に増やさずに良好な解探索を
行うことができる
・長い間探索を行うと，進化が停滞してしまい，局所解から
脱出できなくなる
単一母集団GAから定期的に傾向の異なる個体をDGAに
送り込むことで，局所探索のみでなく個体に大きな変化を
与えられる
実験の設定
対象問題
交叉法
選択法
部分だまし問題（大きな局所解を持つ問題）
２点交叉
トーナメント法
6
20回試行，評価計算回数２×10 で打ち切り
交叉率
突然変異率
島数
移住率
個体数の比率
総個体数
移住間隔
グループ移住間隔
1.0
1/L(L : bit列)
5(DGA)+1(単一母集団GA)
0.5
1(単一母集団GA):2(DGA)
240
10
50
DGA/Rの性能検証
評価値
最適解
単一母集団GA，DGAと比較して，DGA/Rは良好な解が
得られている
まとめ
DGAと単一母集団GAを組み合わせ，局所解からの
脱出を助けることで，より高い解探索性能を実現する
リフレッシュ型分散GA（DGA/R）を提案
DGA/Rは，局所解を持つ問題に対して単一母集団GA，
DGAよりも良好な結果を示すことが分かった
今後の研究の展望
DGA/Rを用いて，TSP，JSPなどに対する性能を検証する
巡回セールスマン問題（TSP）
ジョブショップスケジューリング問題（JSP）
ジョブショップスケジューリング問題への
分散遺伝的アルゴリズムの適用
同志社大学工学部知識工学科
知的システムデザイン研究室
花田 良子
研究内容
並列分散GA研究グループ
連続最適化問題
組合せ最適化問題
花田， 勝崎
組合せ最適化問題
巡回セールスマン問題
ナップザック問題
ジョブショップスケジューリング問題 など
ジョブショップスケジューリング問題
（JSP）
複数の仕事を複数の機械で処理する
すべての仕事を処理するのに要する時間（Makespan）を
最小にするようなスケジュールを求める
ジョブショップスケジューリング問題
（JSP）
複数の仕事を複数の機械で処理する
すべての仕事を処理するのに要する時間（Makespan）
を最小にするようなスケジュールを求める
仕事数，機械数が多くなると，すべての組合せを計算する
ことが困難
例） 10仕事10機械問題．．．4.0×1065通り
遺伝的アルゴリズム
分散GA（DGA）
研究の背景と目的
連続最適化問題において，DGAは単一母集団GA（SPGA）
と比較して解探索性能がよい
種々の組合せ最適化問題においては，
DGAの性能が明らかとなっていない
ジョブショップスケジューリング問題（JSP）を対象として，
DGAの性能を検証
SPGAとDGAの性能比較(ft10)
ft10問題 (10仕事10機械問題)
DGAはSPGAと比較して
解の品質が向上する
サブ母集団数を多くすると
性能が向上する
SPGAとDGAの比較 (ft20)
ft20問題 (20仕事5機械問題)
DGAはSPGAと比較して
解の品質が向上する
サブ母集団数を多くすると
性能が向上する
まとめと今後の課題
JSPにおけるDGAの性能
SPGAと比較してDGAは解の精度がよい
サブ母集団数を多くすると性能が向上する
今後の課題
DGAの解探索のメカニズムの検討
解探索の視覚化
Bayesian Networkを用いた
確率モデル遺伝的アルゴリズム
同志社大学工学部知識工学科
知的システムデザイン研究室
中村 康昭
遺伝的アルゴリズム
遺伝子を組み替えて新しい個体を生成
個体間の情報交換
親個体が持たないビットを生み出す
母集団内の多様性の維持
環境に適合した個体ほど
子孫を残しやすい
遺伝的アルゴリズム
遺伝子を組み替えて新しい個体を生成
個体間の情報交換
親個体が持たないビットを生み出す
母集団内の多様性の維持
環境に適合した個体ほど
子孫を残しやすい
交叉のコンセプト
部分解を組み合わせることによって更によい個体を生成する
e.g. OneMax問題
（遺伝子中に含まれる1の数が多いほど適合度が高い）
部分解を破壊してしまう可能性 ［Annie ‘97］
交叉のコンセプト
部分解を組み合わせることによって更によい個体を生成する
e.g. OneMax問題
（遺伝子中に含まれる1の数が多いほど適合度が高い）
部分解を破壊してしまう可能性 ［Annie ‘97］
交叉のコンセプト
部分解を組み合わせることによって更によい個体を生成する
e.g. OneMax問題
（遺伝子中に含まれる1の数が多いほど適合度が高い）
部分解を破壊してしまう可能性 ［Annie ‘97］
変数間に依存関係のある問題
e.g.) ２変数（ビット）間に依存関係のある問題
適合度：高
１ビット目が１の時
２ビット目は０の方がよい
１ビット目が０の時
適合度：低
２ビット目は１の方がよい
各変数の値を独立して決めることができないような問題
確率モデル遺伝的アルゴリズム
Probabilistic Model-Building Genetic Algorithms(PMBGA)
（１）良好な個体を母集団
から選択
母集団
（３）新しい個体を生成し
母集団内の個体と置き換え
分布の推定
（２）分布を推定し
確率モデルを構築
確率モデル
母集団内の良好な個体群の分布にもとづいて
確率的に新しい個体を生成
GAの交叉 → 確率モデルにもとづく個体の生成
Bayesian Network
依存関係を有向グラフで表現
良好な個体の分布をみることで変数間に存在する依存関係を明らかにする
x1 と x2 の間に依存関係があるとき
x1
x2
xa の値をもとに xbの値を決定
n変数を扱うときには
x1
x2
x3
xn
子個体の生成時
構築されたネットワークに従ってそれぞれの値を決定する
Bayesian Networkを用いたPMBGA
（１）良好な個体を母集団
から選択
分布の推定
（２）分布を推定
母集団
Bayesian Network
（4）母集団内の個体と置き換え
（3）新しい個体を生成
Bayesian Networkを作成し，それを元に新しい子個体を生成することで
部分解の破壊を防止し，良好な探索をすることが可能となる
まとめと今後の課題
確率モデル遺伝的アルゴリズム
部分解を効果的に組み合わせることができる方法として注目されている
Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ
Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋとは，変数間に存在する
依存関係をグラフ構造として示すもの
今後の課題
Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋのように強力な
分布推定のための学習メカニズムを組み込むこと
実数値遺伝的アルゴリズム
の分散モデルに関する研究
Research of Distributed Real-coded Genetic Algorithm
知的システムデザイン研究室
PDGA Group 修士2年
福永隆宏
研究背景
GAの探索性能の向上に関して，多くの研究が行われている
本研究では，連続関数最適化問題を対象として，
１） 実数ベクトルによる遺伝子表現とその交叉法
２） 世代交代モデル
３） 母集団の分割化
の3種類のスキームに注目
良好な解探索のためのＧＡ設計の指針
目的関数の形状を考慮した探索
ユークリッド空間の連続性を考慮した交叉法 ：実数値GA
初期収束を回避する探索
世代間での個体分布の差異を最小化
：Minimal Generation Gap（MGG）
多様性を維持した探索，解の高品質化
母集団分割モデル
：分散GA
実数値遺伝的アルゴリズム（Real-coded GA）
実数ベクトルによる染色体のコーディング
連続性を考慮した探索オペレータの使用
実数値GAに特化した交叉法
正規乱数や一様乱数により子個体生成
UNDX（Ono 97）
MGGと分散GA
Minimal Generation Gap（MGG）
佐藤ら（97）によって考案された
世代交代モデル
局所的な世代交代
初期収束の回避
探索終盤での多様性維持
生成個体数（パラメータ）
分散GA
母集団をサブ母集団（島）に分割
一定世代で移住（移住率，移住間隔）
解探索性能の向上
解の高品質化
環境分散モデル
研究目的
実数値GAの分割母集団モデルの検討
汎用的で強力な実数値GAの構築
最適化（最適解発見）が困難な連続関数の性質
局所解が多く存在する（多峰性関数）
設計変数に依存関係がある
最適解が設計空間の境界付近にある
設計変数ごとにスケールが異なる（k-tablet構造）
研究目的
実数値GAの分割母集団モデルの検討
汎用的で強力な実数値GAの構築
最適化（最適解発見）が困難な連続関数の性質
局所解が多く存在する（多峰性関数）
設計変数に依存関係がある
UNDX + MGG
が強力
最適解が設計空間の境界付近にある
設計変数ごとにスケールが異なる（k-tablet構造）
研究目的
実数値GAの分割母集団モデルの検討
汎用的で強力な実数値GAの構築
最適化（最適解発見）が困難な連続関数の性質
局所解が多く存在する（多峰性関数）
設計変数に依存関係がある
最適解が設計空間の境界付近にある
設計変数ごとにスケールが異なる（k-tablet構造）
強力なアルゴリズムが必要
数値実験概要および結果（一例）
最適解
テスト関数：最適解を移動させたRastrigin関数
比較モデル:
既存手法（単一母集団 UNDX+MGG）
提案手法（分散実数値ＧＡの環境分散モデル）
UNDX
EDX
【結果】
20試行における
最適解発見率
UNDX
EDX
※環境分散モデル：各島に異なる交叉法
を適用（UNDX,
既存手法
：0％
提案手法（4島） ：95％
提案手法（10島）：
100％
結論および今後の予定
結論
提案手法（分散実数値GAの環境分散モデル）は，
既存の計算モデルでは，最適解を得られなかった問題に
対して，有効な手法であるといえる．
今後の予定
より複雑なテスト関数に対する提案モデルの検討
汎用性を重視した実数値GAの構築
分散モデルが有効に機能する実数値GAの構築
既存の実数値GAのオペレータの実装
ＧＡグループのまとめ
GAに興味をもっている人
GAは全然知らないけど，やってみようと思っている人
論文投稿や国内，国際学会に出たいと思っている人
プログラムの勉強をしたい人
質疑応答
長時間，ご清聴ありがとうございました．
PDGAグループ 一同
実数値ＧＡに特化した交叉方法の紹介
一様乱数による子個体生成
BLX-α（Eshelman 93）
SPX（Higuchi 01）
正規乱数による子個体生成
UNDX（Ono 97）
EDX（Sakuma 00）
Minimal Generation Gap
Minimal Generation Gap（MGG）［佐藤ら,1996］
Step1 母集団からランダムに2個体を選出
Step2 同じ親個体から複数の子個体を生成
Step3 親個体と子個体の中から
良好な2個体を母集団に戻す
｛
多様性の維持に優れる
形質遺伝に優れる
（形質遺伝：親個体の良好な性質を
子個体に受け継ぐこと）
DGAの各サブ母集団でMGGを行う計算モデルを
DGA+MGGと呼ぶ
特殊なMGG：最良組み合わせ交叉
最良組み合わせ交叉
（Best Combinatorial Crossover : BCX）［三木ら,2000］
⊳全ての個体が
世代交代の対象
（MGGでは2個体）
⊳生成され得る全ての子個体候補から
最良2個体を選択
（MGGと類似）
DGAの各サブ母集団でBCXを行う計算モデルを
DGA+BCXと呼ぶ
単一母集団GAとDGAの解探索の推移
単一母集団GAとDGAの解探索の推移
単一母集団GAとDGAの解探索の推移
単一母集団GAとDGAの解探索の推移
局所解
単一母集団GAとDGAの解探索の推移
最適解
DGAの解探索メカニズム
 各サブ母集団で部分解を発見
 部分解を組み合わせる
そのためには．．．
各サブ母集団で特定の部分解を持つことが重要
DGAに適した特殊なMGG
最良組み合わせ交叉（Best Combinatorial Crossover）