Transcript 受動強化学習
エージェントアプローチ 人工知能 21章 B4 片渕 聡 1 目次 第２１章 強化学習 2 ２１章：強化学習 目次 強化学習 受動強化学習 能動強化学習 強化学習における一般化 政策の探索法 まとめ 3 強化学習とは 現在の状態からエージェントが取るべき方策を学習 何を学習するかはエージェントにより異なる －効用に基づくエージェント：効用Uπ(s) －Q学習エージェント：行動-価値関数(Q関数) ・状態sにおいて行動aを起こした際の期待効用 －反射エージェント：方策(政策)π 4 例題：４×３問題（再掲） -0.04 (報酬) -0.04 S -0.04 -0.04 -0.04 -0.04 -0.04 -0.04 G +1 G -1 -0.04 意図した方向 0.8 0.1 0.1 環境：完全観測可能 環境全体及び自分の位置を知ることができる 5 ２１章：強化学習 目次 強化学習 受動強化学習 能動強化学習 強化学習における一般化 政策の探索法 まとめ 6 受動強化学習 エージェントの政策πが固定の場合における学習 受動強化学習のアプローチ法 －直接的な効用推定法 －適応動的計画法(ADP) －時間的差分学習(TD) 7 直接的な効用推定法 Bellman方程式(17章)に従った効用の更新 －Uπ(s)=R(s)+γΣT(s,a,s’)Uπ(s’) s’ 8 適応動的計画法 (Adaptive Dynamic Programming:ADP) 観測から遷移モデルTや報酬Rを学習 －その値をBellman方程式に適用 例:(1,3)において「右に進む」を３回実行 －うち２回の実行結果が(2,3)の場合 T((1,3),Right,(2,3))=2/3 と推定 9 時間的差分学習 (Temporal-Difference:TD) Bellman(制約)方程式を使わない効用の更新・近似 例:(1,3)(2,3)の遷移(100%遷移すると仮定) ・Uπ(1,3)=0.84 Uπ(2,3)=0.92 とすると Bellman方程式(γ=1の場合)より U’π(1,3)=-0.04+Uπ(2,3)=0.88 となる これはUπ(1,3)と違うので更新しないとならない Uπ(s) Uπ(s)+α(R(s)+γUπ(s’)-Uπ(s)) α:学習率(パラメータの１つ) 10 ２１章：強化学習 目次 強化学習 受動強化学習 能動強化学習 強化学習における一般化 政策の探索法 まとめ 11 能動強化学習 政策πをエージェントが決定しないといけない －Uπ(s)=R(s)+γmaxΣT(s,a,s’)Uπ(s’) a s’ ・最適な政策の決定 12 行為-価値関数の学習(Q学習) 行動-価値表現Q(a,s)を使用 －可能な行動の中で比較を行うことが可能 Uπ(s’)の値を知る必要が無い ・Q(a,s)=R(s)+γΣT(s,a,s’)maxQ(a’,s’) a’ a’ Q関数の更新は時間的差分学習と同様 Q(a,s) Q(a,s)+α(R(s)+γmaxQ(a’,s’)-Q(a,s)) a’ 13 ２１章：強化学習 目次 強化学習 受動強化学習 能動強化学習 強化学習における一般化 政策の探索法 まとめ 14 強化学習における一般化 巨大な状態空間を扱うために近似の必要がある ＾ －Uθ(s)=θ0+θ1f1(s)+θ2f2(s)+・・・ θ：パラメータ(重み)(人間が設定) f(s)：ベース関数(人間が設定) ・パラメータθ(方策)の学習 例：4×3問題の場合：x座標とy座標 Uθ(x,y)=θ0+θ1x+θ2y 15 パラメータθの更新 θiの更新に誤差関数Ej(s)を利用 ＾ －Ej(s)=(Uθ(s)-uj(s))2/2 uj(s):状態sにおけるj回の試行までの合計報酬 パラメータθiの更新: －θiθi-α ＾ әEj(s) =θ -α(Uθ(s)-uj(s)) әθi i 誤差の変化率 ＾ әUθ(s) әθi 16 ２１章：強化学習 目次 強化学習 受動強化学習 能動強化学習 強化学習における一般化 政策の探索法 まとめ 17 政策の探索 効率（効用）が改善される間政策を更新し続ける ＾ －π(s)=maxQθ(a,s) a ソフトマックス関数を用いた政策の探索 ＾ ＾ －πθ(s,a)=exp(Qθ(a,s))/∑exp(Qθ(a’,s) a’ 18 ２１章：強化学習 目次 強化学習 受動強化学習 能動強化学習 強化学習における一般化 政策の探索法 まとめ 19 まとめ 強化学習：効用やQ関数、政策の学習 －ADP法 －TD法 パラメータθを用いた近似関数の表現 政策の探索 20