Transcript Document

3.3.1 ボルツマンマシンの定義
• ボルツマンマシン(Boltzmann machine)は、スピン・システムを
ヒントに作られたモデルである。
• 各ユニットは確率的に 0 か 1 の値をとる。
• ユニット M個の入力層、
ユニット H個の中間層、
ユニット N個の出力層からなる。
• K = M+H+Nとする。
• K個のユニットを入力層、中間層、
出力層の順に並べて、i 番目の
ユニットの値を確率変数 Si とし、
その実現値を si と書く。
• S = (S1, S2,…, SK) = ( X, U, Y )
• s = (s1, s2,…, sK) = ( x, u, y )
3.3.1 ボルツマンマシンの定義
• 実数パラメータ w = {wij ,θi ; 1≦i, j≦K}に対し、
ハミルトニアンL(s|w)を以下のように定義する。
K
1 K
L(s | w)    wij si s j  i si
2 i, j 1
i 1
ここで、 wii = 0かつ wij= wji 。
• 自由に値のとれるパラメータの
個数は、K(K－1)／2 + K。
3.3.1 ボルツマンマシンの定義
• S=s となる確率関数が以下であるとき、確率変数 S を
ハミルトニアンL(s|w)をもつボルツマンマシンと呼ぶ。
1
p(s | w) 
exp(L(s | w))
Z (w)
ここで、
Z (w) 
 exp(L(s | w))
s{0,1}K
は、確率関数になるための
正規化定数で、分配関数と
呼ばれる。
• p(s|w)を平衡状態の分布と呼ぶ。
3.3.2 ボルツマンマシンの推論
• 入力ユニットと出力ユニットとが外部と直接関係する部分、
中間ユニットは外部と直接関係しない部分であると考える。
• 入出力(X,Y)の同時確率関数は、以下のようになる。
1
p( x, y | w)   p( x, u, y | w) 
exp(L(s | w))

Z (w) u{0,1}H
u{0,1}H
• 入力Xの確率関数は、以下のようになる。
1
p( x | w)    p( x, u, y | w) 
exp(L(s | w))


Z (w) u{0,1}H y{0,1}N
u{0,1}H y{0,1}N
• 従って、入力から出力への推論は、入力X=xが与えられたと
きの出力Yの条件つき確率で与えられるので、以下となる。
p( x, y | w)
1
p( y | x, w) 

exp(L(s | w))

p( x | w)
Z ( x, w) u{0,1}H
Z ( x, w) 
 
u{0,1}H y{0,1}N
exp(L(s | w))
3.3.2 ボルツマンマシンの推論
p( x, y | w)
1
p( y | x, w) 

exp(L(s | w))

p( x | w)
Z ( x, w) u{0,1}H
Z ( x, w) 
 
exp(L(s | w))
u{0,1}H y{0,1}N
• p(y|x,w)に従う確率変数Yを、入力をxに固定したときの
yの平衡状態の分布と呼ぶ。
• 同様にして、出力から入力への逆推論p(x|y,w)も定義できる。