Transcript P - 京都大学
知能情報システム特論 正データからの極限同定(2) 山本 章博 京都大学 情報学研究科 知能情報学専攻 http://www.iip.ist.i.kyoto-u.ac.jp/member/akihiro/ [email protected] 計算論的な学習モデル 教師 概念 M = M(P) に関する例示 M(Hi ) M = M(P) 例(データ) E1, E2, E3,… 仮説(など) H1, H2, H3,… 学習機械 例からを仮説を 導出する アルゴリズム 概念と仮説 U : 訓練例(観測事実)の表現からなる空間 概念 : U の部分集合 論理プログラミングの場合は M HB 仮説 : 個々の概念を表現する方法 論理プログラミングの場合は HB 論理プログラミングの場合は M = M(P) 許容性：個々の概念は一つ以上の仮説で表現 されている 概念は，仮説をパラメータとした集合 極限同定モデルでの例の提示 E1, E2, E3, ... H1, H2, H3, ... M : 概念空間の要素である集合 Mに関する 正例 : M の要素 負例 : HB－ Mの要素 正例と負例は <A, +> , <A, －>のように区別して 表現 Mに関する例の提示：正例と負例の無限列 完全提示 : Mに関する全ての正例と全ての負 例が少なくとも1回出現する列 極限同定(identification in the limit)[Gold] E1, E2, E3, ... H1, H2, H3, ... 学習アルゴリズム IIM が概念 C を極限において (EX)同定する Lの任意の完全提示に対して $N "n > N Hn = P かつ M(P) = M . 学習アルゴリズム IIM が概念クラス C を極限に おいて(EX)同定する C中の各概念を極限において同定する 正データ（正提示)からの極限同定 d1, d2, d3, ... h1, h2, h3, ... M=M(P)に関する正提示 : Mに関する全ての 正例が少なくとも1回出現する無限列 学習アルゴリズム IIM が概念 M を極限にお いて(EX)同定する M(P)の任意の正提示に対して $N "n > N Hn = P かつ M(P) = M . 正データからの学習の困難さ 教師 M(hi) (仮説) M(P) 概念M(P)に 関する例示 例(データ) d1, d2, d3,… 仮説(など) h1, h2, h3,… 学習機械 例からを仮説を 導出する アルゴリズム 正データからの極限同定(1) Th. [Gold] 概念空間 C(H) は, 全ての有限集合と無 限集合を一つ以上含めば正データから極限同定 可能でない． 論理プログラムの最小モデル全体は正データか ら極限同定可能でない． たとえ停止する論理プログラムだけを扱ったとしても 正則言語全体は正データから極限同定可能でな い． 原子論理式と正データ学習 HATOM = { A :Aは原子論理式} Th. [Lassez et al.] C(HATOM)は反単一化を繰り返 し用いることにより, 正データから極限同定可能 である. 例 p(x, y, s(z)) HATOM M(p(x, y, s(z)) {p(0,0,s(0)), p(s(0),0,s(0)), p(s(s(0)),0,s(0)), ... p(0,s(0),s(0)),..., p(0,0,s(s(0))),...} 反単一化(Anti-Unification) Aの汎化(generalization) : A = LqとなるL 異なる部分項には，異なる変数 一つの部分項には，複数の変数も可 p(X, s(0), s(s(0))) p(X, s(Y), s(s(0))) p(X, s(Y), s(s(Y))) p(X, Y, s(Z)) 反単一化 : A と B の共通の汎化を求める 最小共通汎化 L (lca) : 1. A と B の共通の汎化であって, 2. A と B の任意の共通汎化Mに対して Mx L 反単一化アルゴリズム Algorithm Anti-Unify(E) E は基礎原子論理式の有限集合 Refine(E, p(x1, x2, …, xn))を返す; Algorithm Refine(E, A) if E M({B})なる B が r(A)に存在 then そのような B を一つ選び, Refine(E, B)を返す ; else Aを返す; 反単一化アルゴリズム(例) p(0, s(0), s(s(0))), p(s(0), 0, s(0)) p(0, s(0), s(s(0))), p(s(0), 0, s(0)) p(X0,s(0), s(0), s(s(0))), p(X0,s(0), 0, s(0)) p(X0,s(0), Xs(0),0, s(s(0))), p(X0,s(0), Xs(0),0, s(0)) p(X0,s(0), Xs(0),0, s(s(0))), p(X0,s(0), Xs(0),0, s(0)) p(X0,s(0), Xs(0),0, s(Xs(0),0)), p(X0,s(0), Xs(0),0, s(Xs(0),0)) p(X, Y, s(Y)) 原子論理式に対する推論規則 原子論理式に対する推論規則 A A A[X := f (X1,…,Xn)] A[X:=Y] n0 X,Y はAに出現する変数 X1,…,XnはAには出現しない相異なる変数 述語記号 p の任意の原子論理式(の変種, variant)は上の二つの規則によって, p(X1,…,Xn ) から導出可能 有限の厚さ(finite thickness) 一つの基礎原子論理式に対して，それを含むような 概念 L(A) は有限個しかない p(X, Y, Z) p(s (X), Y, Z) 一般的 p(X, Y, s(Z)) p(X, Y, Y) … p(X, Y, s(Y)) p(X, s(Z), s(s(Z))) p(s(0), Y, s(Y)) p(s(0), 0, s(0)) p(0, s(0), s(s(0))) 具体的 完全データと正データ 概念 L の 完全データ : <w1,+>, <w2,->,… s.t. {w1, w2 , …} = S* かつ {wi | <wi,+>} = L 正データ: w1, w2,… s.t. {w1, w2 , …} = L 機械学習理論の構成法 概念空間 概念の表現 (仮説空間) 例の提示方法 近似アルゴリ ズム 推論の正当性 ある分布族 {q | D(q)} 未知パラメータ q 標本 最尤法 q^ 統計的一致性 多項式環の イデアル イデアルの 有限基底 正データ Buchberger アルゴリズム Noether性 正データからの学習の基本:EC1 Th. [Angluin] 概念空間 Uが正データから極限同 定可能であるための必要十分条件は， U中の 各概念 L(h)の有限証拠集合(finite tell-tale) が 存在し，概念の表現 h を与えると L(h)の有限証 拠集合T(h)の要素を枚挙するアルゴリズムが存 在することである. 概念 L(h)の有限証拠集合(finite tell-tale) T (h) : T (h) L (h) かつ 他のどのようなU中の概念L(h’) に対しても T (h) L(h’) L (h) とはならない． 常に有限証拠集合が提示に含まれているよう な仮説hiを求める． hiの有限証拠集合なので， 下のようなover generalize は起こらない M(hi)(仮説) M(P) E1,…, En C2: 特徴例集合の存在 Th. [S.Kobayashi] 概念空間 U中の各概念 L(h) に特徴例集合(characteristic set) が存在すれ ば，概念空間 Uが正データだけから極限同定 可能である. 概念 L(h)の特徴例集合(characteristic set) C : Cは有限集合， C L(h) かつ どのようなU中の概念L(h’)に対しても C L(h’) ならば， L(h) L(h’) ． 注 EC1 C2 C3 C4 C3: 有限の弾力性 Th. [Wright] 概念空間 Uが有限の弾力性を持 てば，Uは正データから極限同定可能である. 無限の弾力性：語の無限列 w0, w1, w2, …,と Uに属する言語の無限列 L(h0), L(h1), L(h2) …, が存在して， n 1以上のすべてのnについて {w0, w1, ..., wn-1 } L(hn)かつwn L(hn) 有限の弾力性：無限の弾力性が成立たない. cf. Noether環のascending chain condition C4: 有限の厚さ Th. [Angluin] 概念空間 Uが有限の厚さを持 てば，Uは正データから極限同定可能である. 有限の厚さ： 任意の語 wに対して，wL を満 たすU 中の Lは有限個である. 注: 概念空間Uが有限の厚さを持ったとしても N U が有限の弾力性を持つとは限らない Formal Context 命題論理の真偽値表の構造は 行：解釈(真偽値の代入) 列：論理式(論理関数) 学習の枠組みでは 行：仮説(解釈) 列：論理式(領域の要素) 含意, 同値 x 0 0 1 1 y 0 1 0 1 xy 1 1 0 1 x 0 0 1 1 y 0 1 0 1 xy 1 0 0 1 x 0 0 1 1 x 0 0 1 1 y 0 1 0 1 y 0 1 0 1 x 1 1 0 0 x+y 1 1 0 1 x y y x (x y) (y x ) 1 1 1 1 0 0 0 1 0 1 1 1 Formal Context P1 P2 P3 P4 P5 … F1 F2 F3 0 1 0 1 1 1 0 1 0 F4 F5 … 正解の行がある P1 P2 P3 P4 P5 … Pi … F1 F2 F3 0 1 0 1 1 1 0 1 0 1 1 0 F4 F5 … Fk … 1 1 … 1 … 例として与えられる論理式 P1 P2 P3 P4 P5 … Pi … F1 F2 F3 0 1 0 1 1 1 0 1 0 1 1 0 F4 F5 … Fk … 1 1 … 1 … 例となった最大列までの矩形 P1 P2 P3 P4 P5 … Pi … F1 F2 F3 0 1 0 1 1 1 0 1 0 1 1 0 F4 F5 … Fk … 1 1 … 1 … 矩形中で例が1となる極小でかつPj のjが最小の行を出力 P1 P2 P3 P4 … Pｊ … Pi … F1 F2 F3 0 1 0 1 1 1 0 1 0 1 1 0 F4 F5 … Fk … 1 1 … 1 … 極小性からPiとの不一致Fkを通過し たときに棄却 P1 P2 P3 P4 … Pｊ … Pi … F1 F2 F3 0 1 0 1 1 1 0 1 0 1 1 0 F4 F5 … Fk … 1 1 … 1 … Pj が過汎化でなければ，不一致な 行Fkを通過したとき棄却 P1 P2 P3 P4 … Pｊ … Pi … F1 F2 F3 0 1 0 1 1 1 0 1 0 1 1 0 F4 F5 … Fk … 1 1 … 1 … F1が有限の厚さをもつので，極小なPj のjがどんどん大きくなることはない P1 P2 P3 P4 … Pｊ … Pi … F1 F2 F3 0 1 0 1 1 1 0 1 0 1 1 0 F4 F5 … Fk … 1 1 … 1 …