Transcript ppt
暑期汇报 报告人：崔 滢 2012年8月30日 一、课题组人脸数据库 Face Database of PRNUST 数据库包含22人，其中女性7人，男性15人，每人采集10 幅不同姿态、不同表情的图像，共220幅图像，分4个批次采 集完毕，不同批次间存在背景和光照的变化，部分图像如 Fig.1所示： Fig.1. Example images of the database Face Database of PRNUST 每幅图像的尺寸为600×800，图像的命名规则为<person number>_<image type>。图像类型如表1所示。 1 正面人脸，无表情 2 正面人脸，带表情 3 侧面角度，左侧转约15度 4 侧面角度，左侧转约30度 5 侧面角度，右侧转约15度 6 侧面角度，右侧转约30度 7 俯仰角度，上仰 8 俯仰角度，下俯 9 任意姿态任意表情 10 任意姿态任意表情 表1. 图像类型 Face Database of PRNUST 每幅图像手工标注了68个特征点，包含了眉毛、眼睛、鼻 子、嘴巴以及人脸外轮廓的形状信息，如Fig.2所给示例： Fig.2. Image annotation 二、不同视角下人脸图像 合成算法概述 不同视角下人脸图像合成算法概述 在人脸识别的实际应用中，姿态、眼镜、表情、阴影等 众多干扰因素普遍存在，都不同程度地对识别效果产生影响。 其中由于姿态的变化而导致的侧面人脸识别问题尤为显著。 三维的可变形模型可以很好的处理姿态变化问题，但是由于 三维模型需要整个头部的三维纹理扫描信息，计算量非常巨 大。因此从二维侧面照片恢复正面视角图像是仍是解决侧面 人脸识别的最重要方法。 不同视角下人脸图像合成算法概述 目前从一幅给定图像，生成其它视角图像的基本方法是先 预测出该图像在目标视角处的一组特征点，然后使用纹理变 形的方法将该图像的纹理信息映射到目标特征点生成的网格 里，从而合成目标图像。 不同视角下人脸图像合成算法概述 Akshay A. 等人使用回归的方法由正面图像合成任意视角 和表情的图像。首先给定一组标记了特征点的正面人脸图像 集以及相应的一组特定视角P0（如左转45度）的非正面人脸 图像集，使用回归模型学习出它们之间的回归参数R；当输 入一幅标记了特征点的正面图像 I ，便可根据学习出的回归 参数R预测出 I 在视角P0下的形状向量Sp；最后将 I 的纹理信 息映射到Sp中得到最终的视角P0下的新图像。由特定视角的 侧面图像合成正面图像也可以用这种方法预测正面特征点形 状。 不同视角下人脸图像合成算法概述 Miguel A.等人直接基于AAM模型进行正面人脸图像的合成[3]。首先训 练侧面人脸AAM模型与正面人脸AAM模型，然后使用最小平方正则化方 法（Least Squared Regularization Approach）来计算两个模型参数之间的 映射关系。Fig.3给出了该方法的架构图。 Fig.3. 使用AAM模型之间的参数映射变换估计正面视角人脸图像 不同视角下人脸图像合成算法概述 高新波等人提出了一种基于张量分解与Delaunay三角划分 的多视角人脸合成方法。它利用特征点标注的方法提取出人 脸图像的轮廓信息，采用张量分解的方法分离出训练集中人 脸数据的视角系数矩阵，对视角系数矩阵进行样条拟合，利 用张量分解公式构建新视角的特征点，最后应用Delaunay三 角划分以及线性仿射变换根据已知人脸图像合成出新视角的 人脸图像。该方法的合成视角范围比较广泛，Fig.4给出了算 法示意图。 不同视角下人脸图像合成算法概述 Fig.4. 基于张量分解与Delaunay三角划分的多视角人脸合成 不同视角下人脸图像合成算法概述 • 在对人脸特征点进行预测之后，我们得到目标视角下的人脸 特征点信息。接下来需要将源图像的纹理信息变形映射到特 征点形状上，以生成新图像。 • 目前常用的纹理映射方法是三角剖分法结合仿射变换。首先 使用Delaunay法则基于图像的特征点集对图像作三角剖分建 立三角网格，对目标网格上的任意一点，都可以通过仿射变 换在源图像网格内找到对应一点，将此点的像素值赋予目标 图像。 不同视角下人脸图像合成算法概述 Scott S.等人提出一种基于线性移动最小二乘法(Linear Moving Least Squares)的图像变形方法[7]。该方法不需要对 图像进行三角剖分，并且图像的变形结果更加平滑。Fig.5和 Fig.6给出了使用该方法的图像变形例子。 Fig.5. 基于移动最小二乘法的图像变形，左：源图像，中：目标图像，右：合成图像 不同视角下人脸图像合成算法概述 (1) (2) (3) (4) Fig.6. 基于移动最小二乘法的图像变形，(1) 正面图像，(2) 侧面图像， (3) 由正面生成侧面图像，(4) 由侧面生成正面图像 不同视角下人脸图像合成算法概述 • 不同视角下人脸合成技术对获得可靠的身份认证是至关重 要的。此外，在视频会议、公共安全等领域也有着重要的 应用。 • 在下一步的工作中，将侧重于实现由侧面图像合成正面视 角的人脸图像，并验证其对人脸识别率的提高。另外，对 于纹理合成这一步骤中，如何生成更加逼真的纹理也是一 个研究点。 谢 谢！ 报告人：崔 滢 2012年8月30日