Transcript 親の仕送り問題～マルコフ決定仮定

親の仕送り問題
＜マルコフ決定過程＞
問題設定
 春から下宿生活をすることになったK君。
 ４月から親の仕送りを受ける。
 収入・支出のデータをもとに、できるだけ親の
負担の少ない仕送り計画を設定する。
 収入例
： 仕送り、バイト代、奨学金 etc
 支出例 ： 生活費、家賃、授業料 etc
授業料の支払い以外を確率的に変動するも
のとみなす。
 学生ローン：
c(x,y)
金利 １００ｒL％/週
上限 １０万円
:
学生ローンの金利負担分
 第ｔ月の月初めの預金残高（Xt）に応じて
その月の仕送り額（Yt）を決定し、
第１週末までに送ってもらう。
→Xt所与のもとで、Ytの確率分布が示される
（マルコフ決定過程）。
授業料をふくめた家計負担の期待値（５．１
２）
∞
t＝１
Σ［ E { Yt} / （１＋ｒ）4t-3
+ E { ｃ（Xt、Yt）} / （１＋ｒ）4t-3 ］
＋２００，０００ / （１＋ｒ） ＋…
線形計画問題

（５．１３）
最小化
∞
Σ［ E {Yt} / （１＋ｒ）4t-3
t＝1
＋ E { ｃ（Xt、Yt）} / （１＋ｒ）4t-3 ］
 条件
Yt ； Xt 所与のもとである確率分布
として与えられる
 β＝（１＋ｒ）-4
 cij =
yj + c( xi, yj)
∞
 zij =
 Pijk
Σ(1+ r )³ ・βｔ・P { Xt = xi, Yt = yj }
ｔ＝１
= P { Xt+1= xk| Xt = xi , Yt = yj }
1ij{ Xt,Yt } = 1, Xt = xi, Yt = yj のとき
0, それ以外
(目的関数の変形)
∞
= Σ Σ Σ（１＋ｒ）³・βt・cij
t=1 i∈I j∈Ji
・ P { Xt= xi ,Yt = yj }
= Σ Σ cij・ zij
i∈I j∈Jk
(5.15)
 Σzkj
jJk
∞
= Σ Σ(1+r) ³ ・βt・P { X t= xk , Y t= yj }
jJk t=1
-1
＝Σ Σ・β・Pijk ・ z ij+ (1+r) ・ P{ X 1= xk }
iI
jJi
よって
Σz kjー ΣΣβ・P ijk・ zij
（５．１７）
iI jJi
iI
= (1+r)-1, xk = 0 のとき （ｋI）
0
それ以外
線形計画問題（５．１８）
 最小化
Σ Σ cij ・ zij
iI jJi
 条件
Σ zkj ー Σ Σ β・ Pijk ・ zij
iI jJi
jJk
-1
= (1+r) , xk= 0 のとき
0
それ以外
zij0, jJi, II
⇒最適解｛zij*|jJi, iI｝
( k  I)
定理
 実行可能基底解の中から最適解が選ばれる

問題（５．１８）の最適解は、定常かつ純粋な仕
送り計画 Yt = F*(Xt) に対応。

Yt = F*(Xt)のもとでの {Xt｜ｔ１}の
①推移確率
Piｋ*=P{Xt+1=ｘk|Xt=xi,Yt=F*(xi)}
②状態確率
πi*(t)=P{Xt=ｘi}
→πk*(t+I)=Σπi*(t)・Pik*
iI
（５．２０）
 t→∞
πk*=Σπi*・Pik* ,kI
Σπi*=1
iI
（５．２１）
預金残高の定常分布
0.9
0.8
0.7
0.6
0.5
定常確率
0.4
0.3
0.2
0.1
0
rL
0.001
0.01
0.1
-100 -80 -60 -40 -20
預金残高（千円）
0
20
40
= F*(Xt)のもとでの {Yt｜ｔ１}の
状態確率
 Yt
９）
ρj*(t)=P{F*(Xt)=yj}=P{XtF*-1(yj)} （５．１
仕送り額の定常分布｛ ρj* ｝は（５．２１）より
iA
*
ρｊ =Σπi*
（５．２２）
*
j
( Aj*={iI|xiF*-1(yj)
)
仕送り額の定常分布
0.9
0.8
0.7
0.6
0.5
定常確率
0.4
0.3
0.2
0.1
0
rL
0.001
0.01
0.1
0
20
40
60
仕送り金額（千円）
80
100
問題の最適解
rL
0.001
(xi, yj)
(0,0)
(-20,000,
(-30,000,
(-40,000,
(-50,000,
(-60,000,
(-70,000,
(-80,000,
(-90,000,
10,000)
0)
20,000)
30,000)
40,000)
40,000)
40,000)
70,000)
zij
0.999
0.829
5.329
168.396
5.307
28.116
1.066
33.679
1.061
(-100,000, 90,000)
0.01
0.1
(30,000,
(0,
(-10,000,
(40,000,
(0,
20,000)
50,000)
60,000)
20,000)
60,000)
5.591
207.814
0.999
41.562
207.814
42.561