Transcript 東工大PPTフォーム（英語）下

菊池自由エネルギーに対する
CCCPアルゴリズムの拡張
東京工業大学総合理工学研究科
知能システム科学専攻 渡辺研究室
学術振興会特別研究員(DC1)
西山 悠
1
内容
• 背景(A.L. Yuille, 2002)
– CCCPアルゴリズム（最適化手法）
– 菊池自由エネルギー（べーテ自由エネルギーを含む）
– CCCP-Kikuchiアルゴリズム
• 菊地自由エネルギーに対するCCCPアルゴリズムの拡張
– 拡張に利用するポイント（メインアイデア）
– New CCCP-Kikuchi アルゴリズム
• 具体例
– ガウシアングラフィカルモデル(GGM)
– MPM推定に基づくCDMAマルチユーザ復調
2
内容
• 背景(A.L. Yuille, 2002)
– CCCPアルゴリズム（最適化手法）
– 菊池自由エネルギー（べーテ自由エネルギーを含む）
– CCCP-Kikuchiアルゴリズム
• 菊地自由エネルギーに対するCCCPアルゴリズムの拡張
– 拡張に利用するポイント（メインアイデア）
– New CCCP-Kikuchi アルゴリズム
• 具体例
– ガウシアングラフィカルモデル(GGM)
– MPM推定に基づくCDMAマルチユーザ復調
3
問題
確率推論におけるタスク
• 高次元確率分布のローカルな周辺分布を効率的に求める．
指数オーダ演算
• 期待値計算に使う
4
木構造クラスの確率分布
独立
全結合
閉路を含まない
• Belief Propagation，Sum-Product の
効率的なメッセージパッシングアルゴリズムがある．
• 尤度計算，EM法におけるE-step計算に利用
メッセージ更新
Forward
Backward
隠れマルコフモデル
5
サイクルを含むグラフでは？
独立
全結合
閉路を含む
近似推論アルゴリズムがある
• LBP (Loopy Belief Propagation)
• TRP (Tree ReParametrization)
• CCCP (Concave Convex Procedure)
(評価関数ベースのアルゴリズム)
収束保証
計算量
LBP
×
穏やか
TRP
×
穏やか
CCCP
○
多い
6
図示
グラフ
• 高次元確率分布を以下で表されるとする．
真の周辺分布ベクトル
ただのイメージ
単調減少アルゴリズム
単調減少アルゴリズム
CCCP
CCCP
周辺分布ベクトルの全集合
ベーテ自由エネルギー
菊池自由エネルギー
Loopy BPの固定点
Generalized BPの固定点
7
CCCP(A.L. Yuille, 2002)
• 最適化手法，目的関数が上に凸の関数(Concave 関数)と下に凸の関数（
Convex関数）の和で表されるときに，単調減少を保証する離散反復アル
ゴリズム．
• 目的関数
• 反復法

convex concave
反復法
• 単調減少性
極小解 or 鞍点
8
自由エネルギー
• 試験分布
から，真の確率分布
へのカルバック距離最小化は，以下の式
エントロピー
エネルギー項
を試験分布
について最小化することと等しい．
• 大域的なエントロピーを局所エントロピーで近似する．
局所エントロピーの線形結合
？
9
菊池自由エネルギー
• 平均場自由エネルギー
• ベーテ自由エネルギー
• 菊池自由エネルギー
Over-counting number
Region集合
Region集合
Region集合
10
上に凸，下に凸の部分
• 平均場自由エネルギー
convex
linear
• ベーテ自由エネルギー
convex
linear
concave
• 菊池自由エネルギー
convex
concave
linear
11
従来法（A.L.Yuille,2002）
• 菊池自由エネルギー
convex
concave
linear
• 従来のConvex関数，Concave関数の構成
• CCCPの反復法
12
内容
• 背景(A.L. Yuille, 2002)
– CCCPアルゴリズム（最適化手法）
– 菊池自由エネルギー（べーテ自由エネルギーを含む）
– CCCP-Kikuchiアルゴリズム
• 菊地自由エネルギーに対するCCCPアルゴリズムの拡張
– 拡張に利用するポイント（メインアイデア）
– New CCCP-Kikuchi アルゴリズム
• 具体例
– ガウシアングラフィカルモデル(GGM)
– MPM推定に基づくCDMAマルチユーザ復調
13
拡張のポイント
• 菊池自由エネルギー
convex
linear
concave
• 従来のConvex関数，Concave関数の構成
• convex関数とconcave関数の自明な対生成
0

14
分解の一般化(1/2)
• 菊池自由エネルギーに対する一般的な分解
：菊池自由エネルギー
• 特に，汎関数
の形を選ぶ．
の関数族として以下で表す擬菊池自由エネルギー
• 分解パラメータを含んだConvex関数，Concave関数の構成
15
分解の一般化(2/2)
• 分解パラメータを含んだConvex関数，Concave関数の構成
• 分解パラメータ
の定義域
• 従来のCCCP-Kikuchiアルゴリズムは，
集合 の中の1点に対応する（拡張）．
• 集合 内で，分解パラメータ
動的に変化可能．
CCCP-Kikuchi
の値を
16
図示（更新の様子）
• 従来のCCCP-Kikuchi
• New CCCP-Kikuchi
– 分解の仕方が静的な更新
– 分解の仕方が動的な更新
17
New CCCP-Kikuchiアルゴリズム
• NCCCP-Kikuchiアルゴリズムは以下の2重ループアルゴリズムで与えられる．
ここで
は
を満たす．
18
NCCCP-Kikuchiアルゴリズムの概要
• NCCCP-Kikuchi
：ビリーフ
Outer loop
：ラグランジュ未定乗数
Inner loop
Outer loop
Inner loop
Outer loop
近似周辺分布
Outer LoopとInner Loopは
分割パラメータ に依存して
更新される．
19
ここまでのまとめ
• 菊池自由エネルギーに対するCCCPアルゴリズムの拡張に，菊池自由エ
ネルギーの分解の不定性の自由度を利用した．
• パラメータを導入した数（拡張した次元）は，region集合
しい．
の元の数と等
Region集合
• アルゴリズムを高次元に拡げたが，単調減少性は破られない．
• 更新時刻毎に動的に分解の仕方を変えてもよい．
CCCP
菊池自由エネルギー
20
内容
• 背景(A.L. Yuille, 2002)
– CCCPアルゴリズム（最適化手法）
– 菊池自由エネルギー（べーテ自由エネルギーを含む）
– CCCP-Kikuchiアルゴリズム
• 菊地自由エネルギーに対するCCCPアルゴリズムの拡張
– 拡張に利用するポイント（メインアイデア）
– New CCCP-Kikuchi アルゴリズム
• 具体例
– ガウシアングラフィカルモデル(GGM)
– MPM推定に基づくCDMAマルチユーザ復調
21
具体例（１）
ガウシアングラフィカルモデル（GGM）
22
ガウシアングラフィカルモデル(GGM)
• グラフが表す同時確率分布が多次元正規分布の場合．
• 菊地自由エネルギーの中でもベーテ自由エネルギー．
Region集合
• 分解パラメータ は時刻に依らず一定値．
• Inner Loopの更新式
– 非同期式（直列更新）・・・1時刻に1つのパラメータ（ラグランジュの未定乗数）を更新．

 1
 2
– 同期式（並列更新）・・・1時刻にすべてのパラメータ（ラグランジュの未定乗数）を更新．

 1
 2
23
アルゴリズム
• ガウシアングラフィカルモデルに適用したNCCCP-Betheアルゴリズムは，
– Outer Loop
– Inner Loop
ここで分割パラメータは
を満たす．
24

 1
非同期式（直列更新）
CCCP-Bethe
S (10, 0.1, 5)
S (10, 2, 5)
S (10, 0.1, 10)
S (10, 0.1, 20)
＊最適性が観測
 2

 1
同期式（並列更新）
CCCP-Bethe
S (10, 0.1, 4)
S (10, 0.1, 5)
S (10, 2, 5)
S (10, 0.1, 10)
＊最適性が観測
 2
具体例（２）
MPM推定に基づくCDMAマルチユーザ復調
（樺島研究室2007年卒，外崎幸徳氏との共同研究．）
27
MPM推定に基づくCDMAマルチユーザ復調
（樺島研究室2007年卒，外崎幸徳氏との共同研究．）
• CDMA復調問題
– 基地局で観測された受信信号から，拡散符号の情報を使って，（多数の）ユ
ーザが送った各送信情報を推定する問題．
– 拡散符号を一様分布から抽出される無相関ランダム系列とする．
送信信号
受信信号
拡散符号 S
x1  1
s 1
1
基地局
1
xk  1
s k
1
s K
xK  1
1
1
1
28
MPM復調
送信信号
受信信号
拡散符号 S
x1  1
s 1
1
基地局
1
xk  1
s k
1
s K
xK  1
1
1
1
• 受信信号
• 事後分布
NCCCP-Bethe
• MPM復調
29
NCCCP-Bethe(イジングスピン，
• NCCCP-Betheアルゴリズムはイジングスピンのとき，さらに
パラメータ
を
とおいたとき，
の定義域は，
である．ただし
)
のとき
は確率分布
で与えられる．
指数オーダ
30
NCCCPに基づくCDMAマルチユーザ復調アルゴリズム
• NCCCPに基づいたCDMAマルチユーザ復調アルゴリズムは
パラメータ
の定義域は，
である．
は
で与えられる(Kabashima, 2003)．
31
実験パラメータ
• 負荷率
• （ユーザ数，チップ数）
• 通信路ノイズ
• Inner Loopの回数
• 分解パラメータ
1回
の値
従来のCCCP
32
ビット誤り率
33
ベーテ自由エネルギーに対する可約条件の破れ度合い
34
分解パラメータ
の役割（経験的）
収束するまでの更新回数
Inner Loop
小
Outer Loop
大
分解パラメータ
CCCP-Kikuchi
35
最適な軌跡の存在（予想）
• 菊池自由エネルギーにはCCCPの意味で計算量が最小になる分解系列
がある．
CCCP-Kikuchi
• 最適な分解系列，またはそれを近似する系列，に基づく設計方法は今後
の課題である（どなたかご教示ください）．
36
まとめ
• 菊池自由エネルギーに対するCCCPアルゴリズムを拡張し(NCCCP-Kikuchi)，
計算量の意味で最適な分解の仕方が存在することを示した．
• ガウシアングラフィカルモデル，CDMAマルチユーザ復調の2つの具体例の
場合に，NCCCP-Kikuchiの有効性を示した．
• 高次元を対象とするときは(“More is different”)，分解パラメータの違いで
計算量に大きく差が開くことから，最適性を考慮して設計した方が良い．
• ループの入った高次元確率分布について期待値計算を行いたいとき，収
束保証を取りたい場合には，拡張されたNCCCP-Kikuchiアルゴリズムも選
択肢の1つにお加えください．
37
今後の可能性
• CCCPアルゴリズムに対する良い分解系列の設計法は？（菊池自由エネ
ルギーに限らなくても良い．）
• LDPC符号の復号アルゴリズムとしては？
• EMアルゴリズムに分解パラメータは入るのか？
• 情報幾何学による記述は？
38