Transcript Download
Face Recognition by Humans Nineteen Results All Computer Vision Researchers Should Know About 作者 ：Pawan Sinha, Benjamin Balas, Yuri Ostrovsky, Richard Russell 讲解人：緱丹 2016年5月22日 1 文章信息 发表刊物：Proceedings of the IEEE 发表时间：2006 引用次数：34 2016年5月22日 2 First Author Pawan Sinha：Associate Professor of Vision and Computational Neuroscience, Department of Brain and Cognitive Science, MIT Education: M.S., PhD. Dept. of Computer Sciences, MIT B.S. degree, Dept. of Computer Sciences, IIT publication： http://web.mit.edu/bcs/people/sinha.shtml 2016年5月22日 3 First Author Sinha lab homepage： http://web.mit.edu/bcs/sinha/home.html Publication： Role of learning in three-dimensional form perception, Nature, 1996, 引用次数60 I think I know that face, Nature, 1996, 引用次数52 Recognizing complex patterns, Nature, 2002, 引用次数26 2016年5月22日 4 Second Author Benjamin Balas: Post-Doctoral Research Fellow, Laboratories of Cognitive Neurosciences Children's Hospital Boston & Harvard Medical School Education: 2002-2007 PhD. Dept. of Brain and Cognitive Sciences, MIT (GPA: 5.0/5.0) 1998-2002 S.B. Dept. of Brain and Cognitive Sciences, MIT (GPA: 4.9/5.0) 个人主页： http://sites.google.com/site/benjaminbalas/Hom e/curriculum-vitae 2016年5月22日 5 Third Author Yuri Ostrovsky： PhD candidate in Vision and Computational Neuroscience, Department of Brain and Cognitive Sciences, MIT 个人主页： http://web.mit.edu/~yostr/www/ 2016年5月22日 6 Fourth Author Richard Russell: Post-Doctoral Research Fellow，Department of Psychology Harvard University 个人主页： http://www.people.fas.harvard.ed u/~rrussell/index.html 2016年5月22日 7 文章摘要 计算机视觉一个重要的目标是要制造出一 个自动的人脸识别系统，使得它的性能可 以与人类的能力媲美，甚至超越人类。为 了达到这个目标，对于计算机视觉的研究 者们而言，了解那些通过对人类识别能力 的实验分析所得的关键结论非常重要。这 些结论揭示了人类视觉系统的出色性能所 依赖的机制，并为人工系统超越人类的能 力提供了基础条件。在这篇文章中，我们 2016年5月22日 8 文章摘要 给出了我们所认为最基本的19个结论，以 及它们对设计智能系统的影响。我们对每 一个结论都进行了简短的陈述，并提供了 适当的提示，以便人们对任意一个结论进 行进一步的研究。 2016年5月22日 9 Abstract A key goal of computer vision researchers is to create automated face recognition systems that can equal, and eventually surpass, human performance. To this end, it is imperative that computational researchers know of the key findings from experimental studies of face recognition by humans. These findings provide insights into the nature of cues that the human visual system relies upon for Achieving its cues that the human visual system relies upon for achieving its impressive performance 2016年5月22日 10 Abstract and serve as the building blocks for efforts to artificially emulate these abilities. In this paper, we present what we believe are 19 basic results, with implications for the design of computational systems. Each result is described briefly and appropriate pointers are provided to permit an in-depth study of any particular result. 2016年5月22日 11 提纲 Motivation 19 results Discussion 2016年5月22日 12 Motivation 我们希望计算机智能系统能赶上并超过人 类能力。只有了解人类认知的工作机理， 我们才能做的更好。 知己知彼，百战不殆 2016年5月22日 13 提纲 Motivation 19 results Discussion 2016年5月22日 14 19 results Recognition as a function of available spatial resolution 1~3 The nature of processing: Piecemeal versus holistic 4~5 The nature of cues used: Pigmentation, shape and motion 7~14 Developmental progression 15~16 Neural underpinnings 17~19 2016年5月22日 15 1/19 结论1 即使在很低的分辨率下，人类依然 能够认出熟悉的面孔。 实验数据： 19×27 pixels 最好识别率 16×16 blocks 高识别率 7×10 pixels >50% 推论：好的人脸识别率并不需要精细的面 部细节 2016年5月22日 16 1/19 人物依次为: Michael Jordan, Woody Allen, Goldie Hawn, Bill Clinton, Tom Hanks, Saddam Hussein, Elvis Presley, Jay Leno, Dustin Hoffman, Prince Charles ,Cher, Richard Nixon 2016年5月22日 17 2/19 结论2 抵抗退化图片的能力随着熟悉度的 降低而降低 实验： 人类对低质量监控录像的识别率与对识别对象的 熟悉程度有关 相比身体结构和步态信息，面部信息更重要 推论：以人类对熟悉人脸的识别能力作为 基准来评估智能识别系统性能比较合适 2016年5月22日 18 2/19 在低分辨率监控录像中，对熟悉个体的 识别，主要基于面部特征 2016年5月22日 19 3/19 结论3 只用图片中的高频信息（图像的边 缘信息）并不能得到高的人脸识别率 实验：只包含轮廓信息的图片很难识别， 识别率 47%（轮廓信息）VS. 90%(原始图 像) 2016年5月22日 20 3/19 Jim Carry 2016年5月22日 Kevin Costner 21 19 results Recognition as a function of available spatial resolution 1~3 The nature of processing: Piecemeal versus holistic 4~6 The nature of cues used: Pigmentation, shape and motion 7~14 Developmental progression 15~16 Neural underpinnings 17~19 2016年5月22日 22 4/19 结论4 脸部特征是作为整体被进行处理的 实验： 尽管对一个个体而言，某些时候，单独的某一个 特征（eg. 眼睛）已足够识别该个体 各个特征间的几何关系以及脸部的其他区域，比 特征信息更为重要 推论：全局信息很重要 2016年5月22日 23 4/19 合成的图像影响我们正确判断两个个体，因为它影 响力我们利用全局信息来识别人脸 2016年5月22日 24 5/19 结论5 各种人脸特征中，眉毛对识别的作 用最大 实验：按重要性递减的顺序 眉毛 眼睛 嘴巴 鼻子 原因分析： 对表达感情很重要 在各种干扰因素的影响下，眉毛最稳定 变化最少 2016年5月22日 25 5/19 上排为 President Richard M. Nixon 下排为actor Winona Ryder 2016年5月22日 26 6/19 结论6 图像结构信息独立于高度和宽度维 实验：人类视觉系统并不严格依赖于眼间 距离、嘴巴宽度等空间结构信息 推论：也许人类视觉系统有iso-dimension ratio编码的能力，来抵抗图像在宽度和高 度维上的变化 2016年5月22日 27 6/19 我们可轻松辨认出这些变形的人脸 2016年5月22日 28 19 results Recognition as a function of available spatial resolution 1~3 The nature of processing: Piecemeal versus holistic 4~6 The nature of cues used: Pigmentation, shape and motion 7~14 Developmental progression 15~16 Neural underpinnings 17~19 2016年5月22日 29 7/19 结论7 脸型(Face-Shape)是以稍微夸张的方 式进行编码的 实验：对于脸型，或者脸型+pigmentation, 稍微偏离真实图像对人脸识别更有效。 推论：建立一个正态分布(norm-based)的人 脸子空间或者会提高识别率 2016年5月22日 30 7/19 A 平均女性人脸 B 待识别人脸真实图像 C 合成的稍夸张的待识别人脸 相比图像B,图像C更容易被识别正确 2016年5月22日 31 8/19 结论8 长时间的看一张人脸会引起高程度 的后效性 实验： 人脸后效性对旋转和尺度具有鲁棒性 也许人类用不同的神经来处理不同的性别 推论：人类对人脸的感知能力是一个高度 可塑的过程，对于周围的不同人脸，能自 适应调整自己 2016年5月22日 32 8/19 2016年5月22日 33 9/19 结论9 pigmentation 信息至少和人脸的形状 信息一样重要 Pigmentation = surface appearance，与 texture和color的区别？ 推论：综合利用形状和pigmentation两种信 息，智能系统能取得更好的效果 2016年5月22日 34 9/19 上排：不同形状的相同人脸， 中间：不同pigmentation的相同人脸 下排：形状、pigmentation均不同 2016年5月22日 35 10/19 结论10 当形状信息退化时，颜色信息起到 很重要的重要 可能的原因： 颜色提供一个区分不同个体的特异信息 颜色便于对低质量图像进行分析 2016年5月22日 36 10/19 a) 与使用光照信息（中 图）相比，色调分布 （右图）使得我们更易 估计出人眼的形状和大 小，左图为原始图像 b) 顺序与a）类似 c）被替换过色调的图 像（左图），依然能很 好的帮助人类进行识别 2016年5月22日 37 11/19 结论11 经反色转换过的图片（eg. 照片底 片）极大的削弱了人脸识别性能 推论：pigmentation和阴影信息对人类识别 人脸起到很大的作用 2016年5月22日 38 11/19 歌曲“we are the world”照片之反片 2016年5月22日 39 11/19 歌曲“we are the world”照片之原始图像 2016年5月22日 40 12/19 结论12 光照变化影响推广型(Illumination Changes Influence Generalization) 实验： 人类能对新的光照条件下出现的识别对像进行正 确识别 人脸对光照变化的推广能力不是完美的 2016年5月22日 41 12/19 给实验对象看左图后，实验对象识别右 图的准确率远远高于随机猜的概率 2016年5月22日 42 13/19 结论13 视角推广性(View-Generalization)似 乎来源于时序关联性(Temporal Association) 实验： 时序关联性将同一个体不同的图像关联为一个有 用的整体 将不同个体不同视角的图像进行时序关联将会对 人脸识别起到迷惑作用 2016年5月22日 43 13/19 同一序列中混合不同个体的图片将会削弱人脸识别能力 2016年5月22日 44 14/19 结论14 脸部的运动似乎对随后的识别更有 利 实验： Rigid motion，例如通过将摄像机围绕一个不变 的头部进行拍摄所得，对识别帮助很小 nonrigid motion，即待识别对象有表情变化或者 做说话动作，对识别有很大的帮助 2016年5月22日 45 14/19 将Lester的nonrigid 的运动加到Stefan的图像中，将导致 把Stefan误认为Lester 2016年5月22日 46 19 results Recognition as a function of available spatial resolution 1~3 The nature of processing: Piecemeal versus holistic 4~6 The nature of cues used: Pigmentation, shape and motion 7~14 Developmental progression 15~16 Neural underpinnings 17~19 2016年5月22日 47 15/19 结论15 视觉系统起始于一个初始的类人脸 的模板 实验：左图比右图更能吸引初生婴儿的注 意力 推论：类人脸模板可用于人脸检测中 2016年5月22日 48 15/19 新生儿更喜欢上部偏重(top-heaviness) 的图形，即上排的图形 2016年5月22日 49 16/19 结论16 在人的儿童时期，视觉系统从基于 局部进行识别逐渐过渡到基于整体。 实验：识别倒置图像和正常图像 随着年龄增长，识别正常图像的能力明显提高 同样条件下，识别倒置图像的能力几乎不变 推论：这是基于整体结构信息进行鲁棒人 脸识别间接证据 2016年5月22日 50 16/19 6岁、8岁、10岁儿童对正放和 倒放人脸图像的识别率 2016年5月22日 51 19 results Recognition as a function of available spatial resolution 1~3 The nature of processing: Piecemeal versus holistic 4~6 The nature of cues used: Pigmentation, shape and motion 7~14 Developmental progression 15~16 Neural underpinnings 17~19 2016年5月22日 52 17/19 结论17 人类似乎有专门负责人脸识别的神 经组织 实验： 识别倒置图像，对于人脸图像和其他物体的图像， 识别率不同。 大脑FFA区域，看到人脸时，反应最强 2016年5月22日 53 17/19 人们对人脸图像和其他物体图像的识别率对比 2016年5月22日 54 18/19 结论18 下颞叶皮质(inferotemporal) 对人脸 的反应时间大概是120ms，说明人脸识别 很大程度上是一个前向计算的过程 实验： 反向传导和不断迭代计算不是主要方式 严重退化的图像需要不断的迭代计算 推论：智能系统应该在第一时间从图像中提取 足够的信息，因为初始的计算结果很难被更新 2016年5月22日 55 18/19 IT区域对退化的猴子脸以及人脸都有很强的 反应，但对手掌的反应很小 2016年5月22日 56 19/19 结论19 面部特征和表情可能是被分开处理 的 实验： 对识别对象的熟悉程度对表情识别无帮助 Functional brain imaging识别出负责面部特征和表 情的各自的脑部区域 脑损伤的患者在面部特征和表情识别上表现出选 择性的功能缺失 两个区域有少量的交叉 2016年5月22日 57 提纲 Motivation 19 results Discussion 2016年5月22日 58 Discussion 探讨人类认知的工作机理对人脸识别研究 是否有用？ 心理学、行为学结论的可信度？ 19个结论中可以给我们启示的结论？ 2016年5月22日 59