Transcript 人工知能と学習

人工知能基礎
５月１４日、 ５月２１日、 ５月２８日
知能って何？
どうしたら知能を作ることができるか？
何ができたら知能だといえるのだろう？
１．知能の問題
1980年頃、コンピュータが発達した
Turing
Machine (1930)
どんな
もんだい
計算
記憶
データ処理
コンピュータは、コンピュータの中でなら何でもできるが、
実世界に出ると無力だった
実世界を把握している知能とは何だろう？
２．人工知能とは
目的 「知能のように見えるもの」を工学的に実現する
方法１
昔
目的の知能 → アルゴ → ソフト → 実現
リズム
ウエア
方法２
近年
目的の知能 → データ → 学習 → 実現
将来は？
３．人工知能の方法論
インタビュー
専門家
言語化
論理化
アルゴリズム，
データ構造
演算量
設計者
ワタシ
ハ
チノウ
デス
If …
Then ...
アルゴリズム
テスト
ソフトウエア
コンピュータ
４．人工知能 － 作ってみたら
うまくいった！
まあまあ…いまいち
問題を限定
特殊化すると
まあまああできる
まったくだめだった
ＯＳ，コンパイラ
データ管理
ゲーム
言語化
できる情報
故障診断
医療診断
かな漢字変換
文字認識
対話システム
実世界の中の知能ロボット
カウンセリングシステム
非言語的
な情報
５．言語化できない情報の獲得にむかって
設計者
世界 → データ → 特殊モデル → 実用
◎いかにうまく特殊なモデルを発見するか
設計者
↓
普遍
モデル
→ 世界 → データ → 実用
◎いかに優れた普遍モデルを構成しておくか
６．学習とは？
りんご,
みかん,
ぶどう,
…
でしょう
先生
・・・
先生と同じ
推論になる
には…？
果物の絵
が次々と…
学習モデル
７．学習の定式化
Q(x)
環境
データ
X1, X2, X3, …, Xn, ...
先生
Q(y|x)
P(y|x, w)
学習モデル
先生の推論
Y1, Y2,…., Yn, ...
８．優れた学習モデルとは？
◎ 先生が何であっても学習できる
Sup
Q
inf
|| Q(y|x) - P(y|x,w) ||
モデルの豊かさ
が小さい
w
◎ 少ない例だけから学習できる
E || Q(y|x) - P(y|x, w(n) ) ||
例
学習の早さ
がちいさい
９．モデルの豊富さVS 学習の早さ
例
N
y = Σ{ ancos( n x) + bn sin (nx) }
n=1
N が大きいと 多くの関数になれるが
最適化するパラメータ数は増える
入力の次元が増えるとさらに…
人工知能・機械学習における基本法則
豊かなモデルほど学習には時間がかかる
大器は晩成す…
１０．神経回路網の登場
f(x)
y
x
θ
w1
x1
w2 w3 w4
x2
x3
n
y = f( Σwixi - θ)
i=1
w5
x4
xn
たくさん
あつめると
何が起こるだろう？
１１．神経回路網とは…
「大器は晩成す…」
ところが… 神経回路を模倣して作られたモデルは…
神経回路網を含む階層的学習モデルは
◎ モデルの豊富さは、線形モデルより大きい
◎ 学習する早さは線形モデルよりも早い
…それはなぜか？
１２．もうちょっと数学的に言うと？
◎ 神経回路網は、入力の次元に依存しない
関数近似能力を持つ (Barron, 1993)
inf ||Q-Pw||2 = 1 / N
w
…学習対象に合せて関数族も
最適化できるから
◎ 神経回路網は、パラメータ数よりも遥かに
小さい学習係数を持つ (Watanabe, 1999)
E
|| Q - Pn ||2 = λ/ n
…パラメータ空間に
特異点があるから
今週は
人工知能の問題は
言語化できない情報の獲得
大器は晩成す…しかし
神経回路網は大器で学習も早い
来週は
学習モデルの活躍，そして将来は？