Transcript The Complexity of Finding Nash Equilibria

2010/10/22, 今井研究室 輪読 冬学期
Algorithmic Game Theory, Chapter 2
The Complexity of Finding
Nash Equilibria
秋葉 拓哉 (B4)
1
内容 (1/2)
1. Introduction
–
計算量を考える意味，組合せ的側面
2. Is the Nash Equilibrium Problem NP-Complete?
–
NP 完全ではないこと
3. The Lemke-Howson Algorithm ★
–
ナッシュ均衡を求めるアルゴリズム
4. The Class PPAD
–
問題 Nash が属する計算量クラス
2
内容 (2/2)
5. Succinct Representations of Games
–
ゲームを入力とする際の入力長に関する考察
6. The Reduction
–
PPAD 完全，問題 Brower から Nash への帰着
7. Correlated Equilibria ★
–
第三者による recommendation と均衡
★ が付いているものは他に比べて多く話す項目
3
計算量を考える意味，組合せ的側面
2.1 INTRODUCTION
4
計算量を考える意味
全ての有限ゲームは mixed Nash equibrium を持つ
では，それは簡単に計算できるのか？
（先週 LP で解けたのは two-player zero-sum game のみ）
• 経済との関連
– “If your laptop cannot find it, neither can the market” (Kamal Jain)
– 効率的に計算できない ≒ あまり自然な帰結ではないかもしれない
5
Best responses & Supports
用語
• pure strategy: 1 つの決定的な戦略
• mixed strategy: 確率分布に従って戦略を決定する
(pure strategy ⊂ mixed strategy)
• best response: payoff の期待値が最良となる strategy (相手の strategy は given)
• support: ある mixed strategy で確率が正となっている pure strategy
例
相手の戦略
相手の mixed strategy が (0, 1/3, 2/3)
自分
の
戦略
自分の best response も (0, 1/3, 2/3)
数字は payoff
Support は strategy 2, 3 の 2 つ
6
組合せ的問題であること (1/2)
以降，問題 Nash について考えてゆく．
定義 Nash (問題)
ゲームが strategic form で与えられた時，ナッシュ均衡を 1 つ求めよ．
Best response と support に関わる定理
定理 2.1 ある mixed strategy が best response
⇔ その strategy の support が全て best response
これは pure strategy
略証
背理法による．best response でない strategy が含まれていたら，それを取
り除いた方がより良くなるので矛盾．
7
組合せ的問題であること (2/2)
support が得られれば，連立方程式が立つ
– 特に 2-player の場合は 線形
ナッシュ均衡を探すこと
≒
正しい support を探すこと
組合せ的であると言える
8
NP 完全ではないこと
2.2 IS THE NASH EQUILIBRIUM
PROBLEM NP-COMPLETE?
9
問題 Nash は NP 完全ではない
• 問題 Nash は，全てのゲームはナッシュ均衡を持
つという点で特殊
• Nash が NP 完全であることを仮定すると，
NP=coNP となってしまう（証明略）
• よって，Nash は NP 完全ではないと考えられる
10
Brower’s fixpoint theorem
Brower’s fixpoint theorem
任意の連続関数 f : Un → Un (Un : n 次元単位球) は不動点を持つ
（不動点：f(x) = x なる点）
• ナッシュ均衡の存在証明はこの定理への帰着
• Brower’s fixpoint を探すことは，やはり難しい問題として
知られている
• 実はさらに，Brower’s fixpoint を探すことを Nash へ帰着
できる！（後述）
11
ナッシュ均衡を求めるアルゴリズム
2.3 THE LEMKE-HOWSON ALGORITHM
12
Lemke-Howson Algorithm
• 2-player game の Nash 均衡を求める最良の組合せ
的アルゴリズムの 1 つ
• support の組合せ的構造を用いる
• simplex pivoting を繰り返す
13
Symmetric Game への帰着 (1/2)
用語
• symmetric game: 行列 A, B で表される bimatrix game で A = BT
（つまり，相手と自分は全くおなじ状況）
• symmetric Nash equilibrium: 2 人がおなじ mixed strategy での Nash equilibrium
定義 Symmetric Nash (問題)
Symmetric game が与えられたとき，symmetric Nash equilibrium を 1 つ求めよ
14
Symmetric Game への帰着 (2/2)
定理 2.4Nash から Symmetric Nash への polynomial reduction が存在
略証
行列 A, B で表される 2-player game について，
で表される symmetric game を考え，その symmetric Nash equilibrium を
(x, y) とおく．（A の行数を m としたとき，x は最初の m 要素とする）
このとき，x は y への best response，y は x への best response．
よって，以下では Symmetric Nash を考える
15
凸多面体 (1/3)
n × n 行列 A で表現される symmetric 2-player game
– WLOG. A の要素はすべて非負，全て 0 の行なし
以下の凸多面体 P を考える
Az ≦ 1，z ≧ 0
性質:
(2n 個の不等式)
空でない ，有界
以下，非退化 (nondegenerate) を仮定
16
凸多面体 (2/3)
Az ≦ 1，z ≧ 0
用語
• represented: 以下の 1 つ以上が満たされるとき，戦略 i は represented
• zi = 0
• Ai z = 1
• represented twice: 両方が満たされている時
17
凸多面体 (3/3)
Az ≦ 1，z ≧ 0
頂点 z (≠ 0) において全ての戦略が represented のとき，
（和が 1 になるように正規化）
なる x は symmetric Nash equilibrium である．
略証
Aiz = 1 の戦略 i は best strategy，全ての support は best strategy
よって，全ての戦略が represented となる
(0 以外の) 頂点を探したい！
18
Pivoting (1/5)
• degenerate の仮定より，各頂点は n 個の隣接点を持つ
• 隣接点への移動は，以下と同じ
– 1 つの tight な不等式を relaxし (tight ではなくし)，
– 別のある 1 つの tight でない 不等式を tight にする
• 戦略 1 以外の全ての戦略が represented となっている頂
点集合 V を考える
– 0 は全ての戦略が represented，0 ∈ V のため空でない
• V の中でのパス <v0, v1, v2 , …> を考える
19
Pivoting (2/5)
アルゴリズム Lemke-Howson
• 初期化
– 頂点 0 からスタート，v0 = 0
– v0 から，第 1 要素のみ非ゼロの隣接頂点 v1 に移動
• ここでは，戦略 1 以外の戦略は全て represented
• よって， v1 ∈ V
（次スライドへ続く）
20
Pivoting (3/5)
アルゴリズム Lemke-Howson
(前スライドの続き)
• i = 1, 2, … で繰り返す
– 全ての戦略が represented ⇒ 完了！
– そうでないなら，ある戦略 j (j > 1) が represented twice のはず
• n 個の tight な不等式，n-1 個の represented な戦略，鳩の巣原理
• vij = 0 かつ Ajvi = 1
– j に関する 2 つの不等式の片方を relax して vi+1 とする
• 2 つの可能性のうち片方は vi-1 なので，そうでない方を選ぶ
21
Pivoting (4/5)
例
細かいこと
この図の例では，戦略 1
の代わりに戦略 2 が
represented でないことを
許している．
• 頂点に書いてあるのは represented な戦略の集合
• 肩に 2 と書いてあるものは represented twice
22
Pivoting (5/5)
Lemke-Howson が終了すること：
– ループは有り得ない
• V の点で V に含まれる隣接点は 2 つ以下
– 0 にも戻らない
• 0 の V に含まれる隣接点は 1 つ
有り得ない状況
これは，two-player, nondegenerate game に mixed Nash
equilibrium が存在することの証明でもある
残念ながら，Lemke-Howson は効率的とは言えない
– 頂点の個数が指数的に増加
23
問題 Nash が属する計算量クラス
2.4 THE CLASS PPAD
24
クラス PPAD
• Lemke-Howson は path のようなグラフの上を辿る
–
–
–
–
–
各頂点，入次数・出次数 1 以下
1 つの source が既知 (standard source)
頂点数が指数的に増加
別の source あるいは sink が解
（他にも条件…）
• 同様の状況となる問題が知られている
– Approximate Brouwer fixpoint
– Ham Sandwitch
• n 次元上の 2n 個の点が与えられ，半分に分割する超平面を求める
• これらの問題の計算量クラスを PPAD と呼ぶ
– Polynomial Parity Arguments on Directed graphs
25
クラス PPAD-Complete
• PPAD-Complete となる問題が存在する
– 全ての PPAD の問題を帰着可能
• Brower, Nash は PPAD-Complete
– Section 2.6 で示されること
26
ゲームを入力とする際の入力長に関する考察
2.5 SUCCINCT REPRESENTATIONS
OF GAMES
27
問題 Nash の入力長
問題 Nash ではゲームが入力だが，ゲームの記述の長さはどうな
るのか？
全ての組み合わせに関する payoff を与える方法
• 2-player の場合
– 戦略の個数が m と n なら，2mn 個の数
• n-player の場合
– 戦略の個数が s なら，nsn 個の数 （とても大きい！）
– 自明なアルゴリズムが n に関して多項式になる…
• 全ての support の組み合わせを試せばよい， (2s)n 通り
大きい人数の問題を考える際，これは好ましくない
28
Succinctly Representable なゲーム
入力としてより簡潔に表現できるゲーム
• Graphical Games
– プレーヤの関係のグラフが存在
– 隣接するプレーヤの戦略のみが自分の payoff に影響
• その他
– Sparse Games: nsn 個の paoyff の一部だけが非ゼロ
– Symmetric Games: プレーヤは全て同じ
– Anonymous Games: 他のプレーヤは全て同じ
• それ以外にもいっぱいあります
以降は Succinctly Representable なゲームを扱う
29
PPAD 完全，問題 Brower から Nash への帰着
2.6 THE REDUCTION
30
証明されること
• 問題 Brower が PPAD-Complete であることは既知
– Brower は Brower’s fixpoint を探す問題を離散化した物
• 問題 Brower を問題 Nash に帰着する
– Nash が PPAD-Complete であると分かる
– ここで Brower は unit cube 上とする
31
概要
Brower のインスタンスから Graphical Game を作る
• 全てのプレーヤは 0, 1 の 2 つの戦略 のみ
– mixed strategy は [0, 1] の 1 つの実数で表せる
• 3 人のプレーヤが cube 上の座標を表す
• 残りのプレーヤが Brower の関数をシミュレートし，不
動点でないと均衡が起こらないようにする
証明の詳細は省略
32
第三者による recommendation と均衡
2.7 CORRELATED EQUILIBRIA
33
ゲーム Chicken (1/3)
下の行列で表される symmetric game
相手
止まる 進む
止まる
自分
進む
（交差点で，止まるか・進むか）
34
ゲーム Chicken (2/3)
Nash equilibrium における戦略の確率分布：3 通り
確率分布が下のようになるのは自然
– 半分の確率でどちらかが進む
しかし，これは Nash equibrium では得られない
35
ゲーム Chicken (3/3)
この確率分布を得るためには，第三者が必要
– 交差点の例では，信号のようなもの
第三者が各プレーヤの戦略を
recommendation として指定することを考
える
36
Correlated Equilibrium (1/3)
用語
• self-enforcing: 他のプレーヤが従うならば自分も従うのが
最良であるような recommendation (の分布) の状況
定義 correlated equilibrium
recommendation の確率分布であって，全プレーヤについ
て self-enforcing なもの
• 各プレーヤが受け取るのは自分についての recommendation のみ
• 全体への recommendation ではない
• 各プレーヤは全体への recommendation の分布は知っている
• 期待値的に self-enforcing であればよい
37
Correlated Equilibrium (2/3)
式で表現 （この式を以降 CE と呼ぶ）
プレーヤ i が戦略 j を recommend された状況での条件
• S-i : プレーヤ i を除いた全プレーヤの戦略の組合せ
• sj, sj’ : プレーヤ i 以外の戦略を s, プレーヤ i の戦略を j, j’
• us : payoff
• ps : recommendation の確率分布
38
Correlated Equilibrium (3/3)
ゲーム Chicken での CE の例
CE 不等式は ps に関して線形なので，
Correlated Nash equilibrium は LP で求まる！
39
Correlated vs Nash
普通の mixed Nash equilibrium は，Correlated equilibrium の
特殊なケース
– Nash equilibrium ⊂ Correlated equilibrium
• Mixed Nash equilibrium: 計算困難
• Correlated equilibrium: 多項式時間で計算可能
定理 2.5nondegenerate 2-player game において Nash equilibria は CE 不等
式で作られる多面体の頂点
（3 人以上の場合はその限りではない）
40