Transcript 资料下载
3D Face Recognition 程雪峰 7.15 目录 2D 人脸识别简介 Paper 1:2D+3D人脸识别综述 Paper 2：基于Gabor特征的2D+3D人脸识别的算法实现 Summary and The Next 2D人脸识别 2D 人脸识别 特点： 1，算法成熟 2，产品技术成熟 3，可研究点依旧很多 2D人脸识别 2D人脸识别算法成熟 2D识别流程（训练样本）： 2D人脸识别 2D人脸识别算法成熟 2D识别流程（测试样本）： 2D人脸识别 2D人脸识别产品技术成熟 2D人脸识别 2D人脸识别可研究领域很多 1，光照 2，姿态 3，遮挡 ４，表情 ５，年龄化 2D+3D人脸识别综述 A survey of approaches and challenges in 3D and multi-modal 3D + 2D face recognition 人脸识别的背景： 1，人脸识别（recognition） one to many 2，人脸确认（verification） one to one 2D+3D人脸识别综述 人脸图像采集 Paper 1 Recognition based solely on 3D shape 2D+3D人脸识别综述 纯3D人脸识别方法汇总 1，深度图像，基于主曲率（principal curvature）和人脸表面的对称部位的 方法，其中对称部位用来校正人脸； 2，深度图像，基于高斯曲率 （Gaussian curvatures）对凸图像进 行分割，然后创建EGI（扩展高斯图像） 优点：对表情变化的处理比较好，人脸 图像不定大小的时候无法识别 2D+3D人脸识别综述 纯3D人脸识别方法汇总 3，利用人脸的五个特征点来定位人脸 姿态，然后利用不同的曲率和剖面图来 进行匹配，结论是：垂直的经过中心轴 的剖面图最适合匹配，避免使用全局剖 面图； 2D+3D人脸识别综述 纯3D人脸识别方法汇总 4，提出了主成分分析方法（PCA）在 3D人脸识别的应用，并应用在六种不 同表情的人脸库中，效果显著（库比较 小） 5，提出了最近点迭代模型（ICP）， 并且数据库规模首次突破100个对象， 98%的识别率 2D+3D人脸识别综述 纯3D人脸识别方法汇总 6，首次提出了利用高斯曲率来分割人 脸深度图像，并对每一个分割区域形成 特征向量进行匹配，首次应用带不同表 情不同姿态的数据库，识别率急剧下降， 78% 2D+3D人脸识别综述 纯3D人脸识别方法汇总 7，深度图像，提出了基于深度权重的 豪斯多夫距离的方法，结合图像表面曲 率特征，识别率98% 8，提出“多区域”人脸匹配方法，区 域块围绕鼻子选择，不同的块再运用 ICP方法，最后集成匹配，4000张人脸， 92%的识别率 2D+3D人脸识别综述 纯3D人脸识别方法总结 1，方法单一 2，算法复杂性不高 3，整体上来说样本集太小 4，样本绝大多数都是自己的工作小组 采集，说服力不够 2D+3D人脸识别综述 混合模型算法：2D+3D 背景： 3D人脸识别起源与1990； 混合模型算法到2000年才开始出现； 普遍的方法是：独立的获取2D和3D的 数据（特征，匹配结果），然后结合匹 配权值。 2D+3D人脸识别综述 混合模型算法汇总：2D+3D 1，立体图像利用稀疏的深度映射获取特征信 息，灰度图像利用边缘向量和等亮度轮廓来 查找虹膜，然后寻找其他特征信息（校正人 脸），数据库：10个对象，96%识别率； 2，利用Gabor滤波器提取2D人脸特征信息， 利用“点特征”提取3D人脸特征信息，然后 集成一个总的特征向量，最后利用SVM分类， 数据库：50个对象，有姿态和表情变化， 90%的识别率 2D+3D人脸识别综述 混合模型算法汇总：2D+3D 3，利用深度图像和彩色图像，取代了常用的 灰度图像，做了三组的实验，只利用彩色图 像，只利用深度图像，彩色图像和深度图像 混合，识别率：混合模型最好，99% 4，2D和3D人脸均利用PCA方法，训练集和 测试集的人脸图像获取的时间有一定的间隔， 识别率：92%，94%，99% 2D+3D人脸识别综述 混合模型算法汇总：2D+3D 5，提出了一种ICP的扩展模型，首次提出了 利用点距离来识别混合模型人脸，提出了4D 空间--（X,Y,Z,intensity）,结合了形状（3D） 和纹理（2D）信息，数据库：62个对象，具 有姿态和表情变化，姿态从0-45度，94-73%， 表情从中性到笑脸，89-69% 6，提出了ICP+LDA(线性判别分析)的方法， 数据库：100个对象，有表情变化，中性表情： 98%，中性和笑脸融合表情集：91% 2D+3D人脸识别综述 混合模型算法总结：2D+3D 1，数据集明显在上升； 2，对姿态和表情变化做了不少的工作； 3，各个论文得出的结论众多： 1)深度图像受表情和遮挡（眼镜）的影响 较大； 2）处理表情和遮挡的算法较少； 3）3D人脸能很好的处理姿态问题 2D+3D人脸识别综述 3D人脸识别的研究方向趋势 1，识别算法的变化和复杂性的研究 比如：特征脸算法一开始很流行，现在又很 多的变形算法，利用灰度作为变量的4D模型 等； 2，实验结果的评估 03之前，数据集都是自己采集的小型数据库， 100%的识别率已经不复存在，选择具有不同 变化的数据集是关键。 3，三种模型的比较 2D;3D;2D+3D 2D+3D人脸识别综述 3D人脸识别所面临的挑战 1，改善传感器 现有的传感器主要分为三类： 1）被动立体传感器 两台具有已知几何关系的相机； 通过计算对应图像的点来计算3D图像点的位 置 2）具有结构型灯光的传感器 一台相机以及一台和相机具有已知几何关系 的投光机 2D+3D人脸识别综述 3D人脸识别所面临的挑战 1，改善传感器 现有的传感器主要分为三类： 3）被动立体相机与结构型灯光的结合 先形成一个灯光pattern，然后由立体相机获 取人脸图像 2D+3D人脸识别综述 3D人脸识别所面临的挑战 1，改善传感器 传感器所带来的挑战： 1，获得的人脸图像的瑕疵： “holes” and “spikes” 2D+3D人脸识别综述 3D人脸识别所面临的挑战 1，改善传感器 传感器所带来的挑战： 2，深度有多深？？ 立体相机的深度VS灯光的深度 3，获取的时间问题 在具有结构型灯光上面尤为明显 2D+3D人脸识别综述 3D人脸识别所面临的挑战 2，改善算法 算法的问题集中在：怎么处理表情的变化？？ 1）集中在对表情变化不敏感的区域做识别 2）样本集用多种表情的图像来表征一个对象 3）寻找一个通用的模型来表征所有人脸的表 情信息 2D+3D人脸识别综述 3D人脸识别所面临的挑战 3，改善方法论 1）3D人脸识别的应用前景？？ 2）2D? 3D? 2D+3D? 基于Gabor特征的2D+3D人脸识别的算法实现 Automatic 3D face recognition from depth and intensity Gabor features 基于Gabor特征的2D+3D人脸识别的算法实现 Contributions of the paper 1，提出了一种分层选择模式来选择有效特 征 2，提出了基于LDA的算法来选择Gabor图 片中的最优子样本模块 3，利用Adaboost学习选择最有效Gabor特 征并形成强分类器，应用了统计学习来融合 2D和3D人脸识别 基于Gabor特征的2D+3D人脸识别的算法实现 预处理 目标：准确的注册人脸数据获取正则的深度 和灰度人脸图像 方法： 1，鼻尖检测和注册信息 2，获取深度和灰度图像 基于Gabor特征的2D+3D人脸识别的算法实现 预处理 1，鼻尖检测和注册信息 利用局部的表面特征和局部的统计特征检测； 利用中性表情作为固定模型； 只考虑鼻尖周围区域，忽略嘴巴和下巴 基于Gabor特征的2D+3D人脸识别的算法实现 预处理 2，获取深度和灰度图像 基于Gabor特征的2D+3D人脸识别的算法实现 特征提取 Gabor 滤波器 基于Gabor特征的2D+3D人脸识别的算法实现 特征和分类器学习 特征选择和分类器创建 基于Gabor特征的2D+3D人脸识别的算法实现 特征和分类器学习 1，利用LDA选择最优子样本 为什么要用ＬＤＡ？ 如何选择？？ Paper 2 特征和分类器学习 最优子样本选择的流程 基于Gabor特征的2D+3D人脸识别的算法实现 特征和分类器学习 2，特征学习 人脸识别：多分类问题 Ａｄａｂｏｏｓｔ学习：二分类问题 转换：ｉｎｔｒａ－ｐｅｒｓｏｎａｌ ｅｘｔｒａ－ｐｅｒｓｏｎａｌ １）不同尺度和方向的Ｇａｂｏｒ图像选择有 效特征； ２）已经选择的有效特征再精度选择 基于Gabor特征的2D+3D人脸识别的算法实现 特征和分类器学习 2，分类器学习 利用级联ａｄａｂｏｏｓｔ学习程序创建强分类 器。 差异向量X----各层相似度Si ---总相似度S 基于Gabor特征的2D+3D人脸识别的算法实现 实验 数据库： ＣＡＳＩＡ ＦＲＧＣ ３Ｄ; Ｖ２.０； 分为七个子数据集： IV：光照变化； EV：表情变化； EVI：正面光照表情变化； PVS：小范围姿态变化； PVL：大范围姿态变化； PVSS：笑脸+小范围姿态变化； PVSL：笑脸+大范围姿态变化。 基于Gabor特征的2D+3D人脸识别的算法实现 实验结果比较 Summary and The Next Summary 1,2D+3D识别率最高，高在哪里？ 2,3D识别难点多，难点在哪里？ 3,3D识别的应用在哪里？ Summary and The Next The Next 几个方向： 1，用于2D人脸识别算法中处理表情变 化的算法是不是可以利用到3D人脸识别 中，需要怎么样的改进？？ 2，特征降维的方法是不是可以选用 PCA+LDA结合的方法？？ Thanks Thanks!