利用Nystrom方法进行谱聚类
Download
Report
Transcript 利用Nystrom方法进行谱聚类
利用Nystrom方法进行谱聚类
及其在图像分割中的应用
谱聚类及其在图像分割中的应用
样本及其相似关系的图表示
聚类问题可以看做图的分割问题
分割准则函数的选择
2Cut ( A, B)
NCut ( A, B)
vol ( A) vol ( B)
图W的Laplacian
LD
1/ 2
(D W )D
1/ 2
I D
1/ 2
WD
1/ 2
准则函数的最小化问题可以转化为求L的特征向量的问题(Shi and Malik)整数规
划→实数规划
聚类的标号可以由L的(按特征值从小到大排序)的第二个特征向量表示,实
际应用中常再次应用k-means
多类问题:第三、四……个特征向量
谱聚类及其在图像分割中的应用
将谱聚类应用到图像分割中:图像分割问题可以理解为像素的聚类问
题。
像素之间的相似性度量:亮度,距离
存在问题:计算量大。W的阶数与图像尺寸的2次方成正比。
解决方法:1.利用W的稀疏性。2.利用随机采样估计W(本文方法)。
Nystrom方法
Nystrom方法:求解本征值问题
b
W ( x, y) ( y) ( x)
a
的数值近似解的方法
思想:将“无穷维矩阵”W(x,y)化为有穷维矩阵W(i,j)。取区间[a,b]上等间距
点
a1, a2 ,...an
用求和近似代替积分:
ba n
n
W ( x, a ) (a ) ( x)
i 1
i
i
x a1 , a2 ,..., an
分别令
似的φ(x)
得到n阶矩阵的特征值问题,解出后代入上式得到近
将Nystrom方法用于从高维到低维的降维过程。
Nystrom方法
矩阵补全
设相似性矩阵W的维度n很高,为减小计算量,在样本中随机采m<<n个样本。
并且只知道这m个样本之间的相似性矩阵A及这m个样本与剩下n-m个样本之
间的相似性矩阵B。此时W可写为
A
W T
B
B
C
其中C未知,需利用A,B估计C
仿照Nystrom方法,先将A特征值分解为 U U T再将本征向量U扩展为W的近
似本征向量
U 再计算W的近似值 ˆ
B
A
T
U T 1
W U U T
T 1
B
B
A B
B
U
可见,利用Nystrom方法得到的矩阵补全 C BT A1B
将Ubar正规化(不懂)
实验
聚类实验
图像分割实验