Transcript 利用Nystrom方法进行谱聚类

利用Nystrom方法进行谱聚类
及其在图像分割中的应用
谱聚类及其在图像分割中的应用
 样本及其相似关系的图表示
 聚类问题可以看做图的分割问题
 分割准则函数的选择
2Cut ( A, B)
NCut ( A, B) 
vol ( A) vol ( B)
 图W的Laplacian
LD
1/ 2
(D W )D
1/ 2
 I D
1/ 2
WD
1/ 2
 准则函数的最小化问题可以转化为求L的特征向量的问题(Shi and Malik)整数规
划→实数规划
 聚类的标号可以由L的（按特征值从小到大排序）的第二个特征向量表示，实
际应用中常再次应用k-means
 多类问题：第三、四……个特征向量
谱聚类及其在图像分割中的应用
 将谱聚类应用到图像分割中：图像分割问题可以理解为像素的聚类问
题。
 像素之间的相似性度量：亮度，距离
 存在问题：计算量大。W的阶数与图像尺寸的2次方成正比。
 解决方法：1.利用W的稀疏性。2.利用随机采样估计W(本文方法）。
Nystrom方法
 Nystrom方法：求解本征值问题
b
 W ( x, y) ( y)  ( x)
a
 的数值近似解的方法
 思想：将“无穷维矩阵”W(x,y)化为有穷维矩阵W(i,j)。取区间[a,b]上等间距
点
a1, a2 ,...an

用求和近似代替积分：
ba n
n
W ( x, a ) (a )   ( x)
i 1
i
i
x  a1 , a2 ,..., an
 分别令
似的φ(x)
得到n阶矩阵的特征值问题，解出后代入上式得到近
 将Nystrom方法用于从高维到低维的降维过程。
Nystrom方法
 矩阵补全
 设相似性矩阵W的维度n很高，为减小计算量，在样本中随机采m<<n个样本。
并且只知道这m个样本之间的相似性矩阵A及这m个样本与剩下n-m个样本之
间的相似性矩阵B。此时W可写为
 A
W  T
B
B

C
 其中C未知，需利用A，B估计C
 仿照Nystrom方法，先将A特征值分解为 U U T再将本征向量U扩展为W的近
似本征向量
 U  再计算W的近似值 ˆ
B 
 A
T
U   T 1 
W  U U   T
T 1 
B
B
A B
B
U




 可见，利用Nystrom方法得到的矩阵补全 C  BT A1B
 将Ubar正规化（不懂）
实验
 聚类实验
 图像分割实验