Transcript Document

Mathematics that the professor loved
徳山 豪
東北大学
Linear algebra that professors love
博士たちの愛する線形代数
グラフと線形代数
• 線形代数：
– 皆さん教養課程で学ぶ数学
– 線形代数なしには現代の工学、理学はありえない
– 力学、電磁気、量子力学、理論化学その他全て
• 今日のテーマ：
– 線形代数の威力： そのグラフ理論への利用
– 情報理論→グラフ理論→線形代数の筋道
• 数学の多様さと「広い知識」の必要性
• 注意： 集中しないと落ちこぼれるテーマです。
誤りのない情報伝達
• Claude Shannon （1916－2001）
– 情報の定量的な評価＝情報理論の生みの親
• ノイズによる情報ロスのある情報通信（通信チャネ
ル）で、情報を伝達したい。
– ロスを防ぐ方法： 符号化 （誤り訂正など）
• モデル： M通りの電気信号を用いて通信を行う。
そのうちのいくつかは、ノイズによって他と混同され
る可能性がある。
• 目的： 「伝達した情報量」と「伝達に要する通信量」
の比（情報伝達比, information rate）の最大化
シャノンの問題(1956)
• 5通りの電気信号を用いよう。
• ノイズで混同される可能性のある信号の対を
辺で結んだ「混同グラフ」GがC5とする。
• このとき、誤謬のない通信を行う符号化での
最適なInformation rate を求めよ。
a
e
b
アイデア１． aとdは混同されな
いので、この2通りの信号だけを
用いて通信を行おう。
「独立集合」 （independent set）： 集合内の頂
点を結ぶ辺のない頂点集合
d
c
左のグラフの最大独立集合は2つの頂点からなる
a
シャノンの５角形問題
アイデア１． aとdは混同されな
いので、この2通りの信号だけを
用いて通信を行おう。
e
b
d
c
アイデア２． 2文字の組を用いて通信しよう。 aa,bc,ce,db,ed
は混同されない。
•長さLの通信で、アイデア1だと2L=4L/2通り、アイデア2だと5L/2通
り、つまりアイデア2のほうが通信効率が良い。
•Information rate： R＝情報量の(2を底にした）対数/ 通信長
• アイデア1なら R＝1
•アイデア2なら R=(log2 5)/2 > 1
多くの自然言語は複数文字を組み合わせた「単語」を利用してノイズによる混同を排
除している。
アイデア２をグラフの言葉にする
G＝（V, E), H＝（W, F) 2つのグラフの直積グラフ
G×H =（ V×W, E×F) ： vwとv’w’は、e=(v, v’)がGの
辺、f=(w,w’)がHの辺であるときに辺で結ばれる。
G2 = (V2, E2) = G×G、
Gk=G×G×…×G
aa
ab
ac
ad
ae
aa
ab
ac
ad
ae
ba
bb
bc
bd
be
G＝C5のときのグラフG2
aa
ab
ac
ad
ae
ba
bb
bc
bd
be
ca
cb
cc
cd
ce
da
db
dc
dd
de
ea
eb
ec
ed
ee
G2 の最大独立集合
aa
ab
ac
ad
ae
ba
bb
bc
bd
be
ca
cb
cc
cd
ce
da
db
dc
dd
de
ea
eb
ec
ed
ee
G2 の最大独立集合
aa
ab
ac
ad
ae
ba
bb
bc
bd
be
ca
cb
cc
cd
ce
da
db
dc
dd
de
ea
eb
ec
ed
ee
グラフの独立集合とチャネル容量
• α（G)： Gの最大独立集合の要素数
• α（Gk): Gkの最大独立集合の要素数
• Information rate： R = log ( α（Gk) 1/k )
• Θ（G) ＝ sup k≧１（α（Gk)）１/k
– 混同グラフGを持つ（誤謬無し）通信でのチャネル容量
– α（C5２）＝５なので、Θ（C5) ≧ ５1/2 ＝2.2362
• 問題：Θ（C5)を求めよ．（２３年間未解決）
–
シャノン自身の成果： Θ（C5) ≦ 2.5
•
グラフのクリーク（完全部分グラフ）を利用
Lovaszの解法（１９７９）
• 定理： Θ（C5)＝ ５1/2
• 証明が非常にエレガント
• グラフGを、ベクトル集合を用いて表示する
– 代数学（リー環論）では、「ルート系」と呼ばれる
ベクトル集合をグラフで表す手法（ディンキン図形）
の歴史があり、その逆を利用している。
– 最大独立集合の要素数をベクトルの長さで評価
– Gk に対して、ベクトルの「テンソル積」を利用して
解析を行う。
Lovaszの解法（１９７９）
• グラフGの直交表現 (注意：以下、太字はベクトル）
• 頂点に長さ１のベクトルを対応させる
– 辺で結ばれないベクトルは互いに直交する
– つまり、内積値がゼロ
• たとえば、(1,0,0), (0,1,0),
(0,0,1), (1,1,1)/31/2 は右の木の直交表現
• T = ｛v1, v2, v3,.., vn ｝の重心をuとする。
– σT =<u, u> とする
– <u, vi> が iに依存しないとき、重心平衡な直交表現
• このとき、<u, vi>= σT
• 目的とする定理： Θ（G)≦σT-1
Θ（G)≦σT-1 の利用法
• C5の中心平衡な直交表現{v1, v2, v3, v4, v5}で、
重心ベクトルの長さの二乗σT-1が51/2 であるものを
見つける
– 定理からΘ（G）≦51/2
– 逆向きの不等号は前に示したので、等号で成立
ＬｏｖａｓｚのＵｎｂｒｅｌｌａ
正5角形を底辺とする5角錐
ベクトルの長さ（稜線の長さ）は１
隣接しないベクトル（赤と青）の角度が90度
この角錐の高さ＝重心ベクトルの長さ
高さの二乗の逆数を計算すると、51/2
ピタゴラスの定理＋中学の幾何で出来ます。演習問題にします
定理： Θ（G)≦σT-1 の証明（１）
• (α（Gk) )1/k ≦ σT-1 を全てのｋで示せばよい
• まず、最大独立集合のサイズα＝α（G)を考える。
• v1,v2,..vnの非負線形和で係数和が1であるものを考える。
x= x1v1+x2v2+…+xnvn, ∑xi =１
• μT(G)=|x|2 の最小値
• μT(G)≦ １/α
– 独立集合に入るviでｘi=1/α、残りは0にする
• 一方、中心平衡だと、 μT(G)=σT
• 一般にはCaucy-Schwarzの不等式を利用して証明
• よって、α（G)≦ σT-1
定理： Θ（G)≦σT-1 の証明（２）
• (α（Gk) )1/k ≦ σT-1 を示せばよい
– ベクトルのテンソル積
u  w  uwt  (u1w1 , u1w2 ,..,u1wm , u2w1 , u2w2 ,...,u2wm ,..,un wm )
• Gの直交表現Tと Hの直交表現Sがあるとき、
T  S  {u  w : u T , w  S}
はG ×Hの直交表現になる。 中心平衡性も保たれる
• 重心を考えると、σT×S＝σTσS
• Tｋ= T×T×…×TはGｋの直交表現
– α（Gk) ≦ （σTｋ）-1
– σTｋ ＝（σT）k なので、定理を得る。
Lovaszの傘の一般論
• 一般の混同グラフＧのときの「傘」は？
• 良い（小さい）σT-1 の見つけ方
• 半正定値対称行列（ＳＤＭ）の主軸分解を利用
–
ＰＣＡ(principal component analysis)：
• 現在のデータ処理の主要な手法
• データマイニング、テキストマイニング、テキスト検索、画像検索
– 固有値が全て非負である対称行列は、ベクトル集合の内積
を表現する。 そのベクトル集合を求める手法が主軸分解
– Ｇの隣接行列 Ａ＝Ａ（Ｇ）からＳＤＭ行列Ｍを作る
– Ｍの主軸分解でＴが求まる （重心平衡性はＧに依存）
– σT-1 自体は、より簡単にもとまる場合がある。
行列の隣接行列とＳＤＭ
• G=（V, E) : V={v1,v2,..,vn}
• Gの隣接行列Aは、0と1を値に持つ対称行列で、
– aij= 1 ⇔ (vi, vj) ∈E
• 線形代数の知識
– その１： 対称行列の固有値は実数
– その２： 固有値の和はトレース（対角成分和）
• Aのトレースは0なので、最小固有値は負 = - p
• M= p I + A はSDM （Iは単位行列）
– 他にAから作るSDMとして、「ラプラシアン」が有名
• ベクトル v1,v2,..,vn の内積行列がMになる
特別な場合
• Gがｎ頂点のサイクルCnの場合
• 行列Aは“循環行列”
–
–
–
–
–
全ての固有ベクトル、固有値が簡単に計算できる
最小固有値 -pは -2cos π/n
Ｔ１は中心平衡
ここからσＴ = （1 + (cos π/n ) -1 )/n
Θ（Ｃｎ）＝ ？ 計算してみてください
• n =5 なら、先に出した値 ５½