Transcript ppt - 南京理工大学模式识别课题组

特征点深度值估计
报告人：朱 珠
2012年8月30日
参考文献
•
•
•
[1]龚勋.基于单张二维图片的三维人脸建模;
西南交通大学,2005.
[2]姜太平,王晓娟,刘玉洁,张学锋,邰伟鹏.基
于candide模型的人脸深度信息生成技术研
究;计算机技术与发展,2012;
[3] 胡永利.真实感三维人脸建模及应用研
究[D],北京工业大学,2004.
实验背景
• 人类视觉系统(Human Visual System,HVS)天生具备识别
人脸复杂模式的能力.即使只有一张照片,借助HVS的处理,
人类也能够准确,快速地恢复出人脸三维形状信息,进而实
现身份辩别.要用计算机实现自动的三维人脸建模,如果能
够借鉴人类的认知机理和相关数学最新研究成果,实现基
于单张二维图片的三维人脸建模,首先要解决的问题就是
如何从二维图片中确定人物的深度信息.
问题描述
• 给定包含m个三维人脸形状模型的训练集 {s1,, sm} ,
令三维模型 s j (1  j  m) 上与人脸图像上的特征
点 p  (u , v ) (1  t  k ，k是特征点的数目）相对应的顶点
为 vt , j 。
T
t
t
t
最优匹配法
• 以训练集为先验知识，估计平面特征点 pt 的深度
信息最简单、最直观的方法是在训练集中找到一
个人脸模型 s j ，使得其顶点vt , j 的二维坐标
(v )  ( x , y ) 与 pt 最接近，即：
t , j ' 1:2
t
t
s j '  argmin(|| pt  (vt , j )1:2 ||)
• 然后，将 vt , j ' 的第三维 (vt , j ' )3 作为 pt 的深度值，
该方法称为最优匹配法（Best Matching,BM）。
插值拟合函数
• 为了避免直接利用空间顶点坐标产生的误差，采
用插值拟合函数（Interpolation Fitting
Function,IFF）是较好的选择，它相对BM更加稳
定。
• 将训练集中所有人脸的第t个顶点当作空间散乱点
集合 {vt ,1,, vt , j ,, vt ,m} ，用一个拟合函数f(p)对这些
点进行拟合。
基于稀疏线性模型的优化算法
• 为了获得相对准确、稳定的估计结果，本文提出
一个基于稀疏线性模型的优化算法（Sparse
Linear Model based Optimization,SLMO）, 把所
有特征点看成一个整体，将其组合成一个稀疏的
形状向量，然后利用训练库中的先验知识对稀疏
向量中缺失的数据（即所有特征点的z值）进行整
体估计。
基于稀疏线性模型的优化算法
• 在已知三维人脸上k个特征点的情况下，用特征
点集何来表示人脸结构，把它们进行线性组合构
造一个稀疏形状向量：
s L  (v1T vtT vkT )T  R3k ,1  t  k
• 其中，上标‘L’表示向量是由特征点（landmark）
组合而成的。从而，测试人脸上的特征点向量的
估计值 sestL 可以由训练库中所有人脸的稀疏形状
向量经线性组合而成：
L
sest
 S L 
•
（2.1）
• 其中，S  (s ,s )  R ，m是训练库中三维人脸的数目。
L
L
1
L
m
3k  m
基于稀疏线性模型的优化算法
QL  (q1,, qm )  R3k m'
Ii
• 对 S 进行PCA变换得到特征矩阵
以及相应的特征值   ( ,, ) ，其中      。
用特征矩阵代替原始形状向量空间 S ，式
（2.1）可以改写为：
L
sest
 s L  QL    s L  s L
•
（2.2）
• 其中   (m1,i ,m' )T 是组合系数，平均稀疏向

量 s L  1  siL .
L
2
1
2
1
2
m'
2
m'
L
m
i 1
• 根据PCA理论，系数
的方差
D(  )  
。
基于稀疏线性模型的优化算法
• 从而，我们可以用特征值对特征矩阵进行
缩放：
QsL  (1q1 ,, mqm )
• 从而系数方差  被归一化，即 D( )  1 。采
用缩放后的特征矩阵，式（2.2）可以改写
为：
L
sest
 s L  QsL    s L  s L
（2.3）
基于稀疏线性模型的优化算法
• 下面讨论如何根据稀疏线性模型进行特征点的深
度值的估计。
• 从式（2.3）可知，在已知 QsL （通过训练库变换
获得）的情况下， 是计算测试人脸特征值坐
标的关键。对于二维照片而言，特征点的坐标分
量z是未知的，从而 s L 未知。因此，只有通过
已知的二维信息来求解  。给定二维人脸照片
上的一组（数目为k）特征点 p  (u , v ) ，1  t  k ，
将其进行组合成向量：
T
t
t
t
s L,2 D  ( p1T  ptT  pkT )T  R2k
基于稀疏线性模型的优化算法
• 另外，从平均稀疏向量可以提取二维稀疏
形状向量 s
如下：
L,2 D
s L,2 D  ((v1 )1T:2 (vt )1T:2 (vk )1T:2 )T  R2k
• 其中
是三维顶点 v1 的前二维数据
构成的向量。类似地，从每三行中提取前
两行数据，我们可以得到 Q 的二维版
本 QsL,2 D 。将 s L , 2 D ，s L , 2 D 和 QsL,2 D 代入式
（2.3）,可得：
L, 2 D
L, 2 D
L, 2 D
L, 2 D

s

s

s

Q
  （2.4）
•
n
s
(v1 )1:2  ( xt , yt )T
L
s
基于稀疏线性模型的优化算法
• 从而，从式（2.4）计算  可以通过最优化
方法求解，令目标函数 E( ) || Q    s ||
• 因为式（2.4）只是（2.3）的二维表示形式，
很显然式（2.4）的解并不能保证
|| Q    s ||
最小化。为了对优化结果进行约
束，使其偏离平均值不大，我们添加一个
罚函数对 || QsL,2D   || 的范围进行约束，从而目
标函数变为：E( ) || Q    s ||  ||  ||
L, 2 D
s
L
s
L
L, 2 D
2
L, 2 D
s
L, 2 D
2
2
2
基于稀疏线性模型的优化算法
• 为便于计算，我们将罚函数简化为 ||  ||  (
是大于0的任意正数），从而
E( ) || QsL,2 D    s L,2 D ||2  ||  ||2
• 其中  是罚因子，它的大小变化对估计值
结果的影响包括两方面：
•  增大， 变小，从式（2.3）可知，最终
估计结果更接近平均值 s L ；
L, 2 D

Q
  部分

•
减小， 增大，式（2.3）中
的作用相对较强。
基于稀疏线性模型的优化算法
• 令 E (  ) 取最小值， 的求解过程如下：
 (QsL,2 D )T QsL,2 D    (QsL,2 D )T  s L,2 D      0
 (QsL,2 D )T QsL,2 D        (QsL,2 D )T  s L,2 D
(2.5)
• 根据奇异值分解（SVD），
QsL,2 D  (UV T ),其中，U  R2k 2k ,V  Rm'm'
，
•   diag( )  R
，代入式（2.5）：
• VV        VU  s 两边都乘以 V ，从而解
出使 E (  ) 取最小值的 0 ：
2 k  m'
i
T
T
T
L, 2 D
0  argmin || E ( ) || V  (
i
 
2
i
)  U T  s L, 2 D
基于稀疏线性模型的优化算法
• 将代入式（2.3）,所有特征点的坐标组成的
稀疏形状向量的估计值为：
L
L
L
s

s

Q
•
（2.6）
est
s  0
• 因此我们就可以采用式（2.6）的深度信息。
与二维观测值进行组合构成特征点的三维
坐标。