Transcript 発表資料
Tokyo Research Laboratory “Regression on Manifolds using Kernel Dimension Reduction” by Jens Nilsson, Fei Sha, and Michael I. Jordan IBM東京基礎研究所 井手剛 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 概要 ── 次元削減モノ。教師あり次元削減と、教師なし次元削減を組み合わせた 点に新規性を主張。 次元削減には2流派ある 教師なし • データXの分布（or 多様体）をうまく表すような座標を求める • PCA、Isomap、Laplacian eigenmap、LLE、．．． 教師あり • ラベル情報と矛盾しない写像を求める • FDA、LFDA、その他 両者の組み合わせ • SELF (semi-supervised LFDA) - M. Sugiyama et al., Technical report TR07-0006, http://www.cs.titech.ac.jp/~tr/reports/2007/TR07-0006.pdf - ラベルが分かっているものについてはLFDA、そうでないものはPCA • ほか この仕事は次の二つの次元削減手法の組み合わせ Page 2 教師なし： Laplacian eigenmap 教師あり: 福水さんのカーネル次元削減 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 目次 カーネル次元削減とは Laplacian eigenmapとは どう組み合わせるのか 実験結果は？ Page 3 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory カーネル次元削減とは Page 4 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 「十分な次元削減」（sufficient dimension reduction; SDR）。カーネル次元削 減はSDRの一種。回帰関係を表すために最も「かけがえのない」部分空間を探す。 SDRは教師あり次元削減の一種 確率変数XとYが、何か強い結びつきを持つと仮定 • 回帰直線の周りにばらつくとか 直交射影の行列Bを使って、Xを狭めてみる Z = BTX Zが動く範囲をSとする SDRの問いかけ： 「もしSを失ったら、どれだけYとXは無関係になってしまうだろうか？」 「Sを失った結果、YとXが無関係になってしまう」 ＝ 「Sはかけがえのないもの」 Zを与えた時にYとXが条件付き独立になってしまうように、Bを選べばよい Page 5 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 条件付き独立性の成立を、条件付き共分散行列の等式に帰着させる 「条件付き独立性を言うためには、XとYの同時分布がいるのでは？（問題を簡単にしてな いのでは）？」という心配は要らない 確率モデルの仮定が要らぬ、というのがSDRおよびKDRのキモ。 論文の定理1（の半分）： 条件付き独立性は、条件付き共分散行列の等式と同値 つまり、 この等式を満たすようなB（射影行列）を求めればよい • でもそれを直接やるのは難しい Page 6 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 等式を満たすのをあきらめて、「できる限り最善な」Bを求める 条件付き共分散行列についての性質： 「制約をゆるめるとばらつきの余地は大きい」 「制約が厳しいとばらつきの余地は小さい」 直感的には、 Zを与えた時 のYのばらつ き 結局、 をBについて「最小化」すればいい 残る問題 Page 7 Z = BTX を使って をBについてパラメトライズするなんてできるのか 行列もしくは演算子の大きさの尺度をどう測るのか | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 条件付き共分散行列を、条件なしのものを使って「展開」する 条件付き共分散行列（演算子）は、条件なしのものを使って書ける • Xとありますが、Zのことです ガウシアンを条件付けた時の共分散と同じ形をしているが、これは分布によらずに一般 に成り立つ Page 8 証明は福水さんの論文たちに書いてある • Fukumizu et al. JMLR 2004 • Fukumizu et al. 2006 • 数学的にハイレベルだが、証明をフォローすることはなんとか可能 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 条件なしの共分散行列をグラム行列で表す 条件付き共分散行列（演算子）は、条件なしのものを使って書ける 単純作業でグラム行列（中心化しておく）に書き換えることができる Page 9 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory KDRの目的関数の完成 条件付き共分散行列の大きさはTraceで測ることにする 単純作業でグラム行列（中心化しておく）に書き換えることができる さらに簡単化する ノリ的には次のような式を使ったと思えばいい 行列の大きさはトレースで測ることにする 結局、条件付き独立性の条件は下記に帰着される Page 10 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory Laplacian eigenmapとは Page 11 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 原論文から(1/2)： M. Belkin and P. Niyogi, "Laplacian eigenmaps and spectral techniques for embedding and clustering", NIPS 2001 元の座標x1、x2、．．．から、新しい座標y1、．．．を求めたい。その時の目的関数 つまり、「集団移住した後でも近所のつながりを大切にする」 2乗誤差の目的関数はグラフ・ラプラシアンを使って書き直せる 要するにこれを最小化すればいい Page 12 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 原論文から(2/2): 一般化固有値問題として解ける 下記の最適化問題を解く 条件1： スケーリングの任意性を省く 条件2: ゼロ固有値の解を省く 解は固有値最低のものからM個の固有ベクトル ただし、ゼロ固有値（最小）は省く Page 13 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory どう組み合わせるのか Page 14 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 基本的に、Laplacian eigenmap で次元削減されたデータにKDRを行うだけ Laplacian eigenmapでもとの座標xiを、M次元の座標に変換 M本の固有ベクトルから作ったM次元データのデータ行列をUとする ui が新座標 そのデータUから、KDRにより第2弾の次元削減写像を求める。 d次元 Φui が新々座標 解くべきなのは下記 非線形、非凸。 射影勾配法で解く。 Page 15 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 実験結果は？ Page 16 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 実験結果1 地表面温度 もともとは2次元の問題 温度Y vs 地表の位置X 1段目での次元削減 M=100 2段目の次元削減 d=1 きれいな線形相関 次元「削減」としてはつまらないが、 削減した座標により再現誤差を描い てみると、異常気象が分かる、らしい Page 17 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 実験結果2 スノーマンの画像を回転してみる 本当の自由度は4 回転角と傾き角、ずらし量（タテヨコ） 画像は 110×80、1000枚 回転角（Y） vs ピクセル強度（X）、のような回帰 関係を設定したらしい。 Page 18 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 感想 Page 19 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007 Tokyo Research Laboratory 感想 KDRは普通使われるような誤差基準とはちょっと毛色が変わっていて面白い 福水さんの論文についてはもうちょっと勉強の必要あり この論文の組み合わせ方には、あまり感銘を受けなかった。 ただ福水さん論文に寄りかかっているだけ、という感じがした。 実験結果も、興味深いのか深くないのかよくわからなかった。 Page 20 | 2007/08/20 | ICML 2007を読む会@大岡山 © Copyright IBM Corporation 2007