1 人脸识别技术概述 山世光中科院计算所 2 引子 人世间找不两张完全一样的脸 人脸是人类赖以区分不同人的基本途径谁决定了你的长相 基因 成长环境双胞胎夫妻相世间一切尽在脸上 3 提纲 相关背景人脸识别的基本原理人脸检测典型方法人脸识别的典型方法开放问题及讨论 4 无处不在的身份验证 如何证明你的身份 设想你被警察拦下 传统方法Whatyouhave身份证 暂住证 结婚证 工作证 银行卡 钥匙 WhatyouknowPassword information 去清华 Whatyouare howyoudo一种新的技术手段 Biometrics 5 传统方法有什么问题 卡 钥匙丢失青年公寓的钥匙牌 密码危机密码遗忘纽约每天1000人以上忘记密码 密码被猜中生日 电话号码 车号 宿舍 Heavywebusershaveanaverageof21passwords 81 ofusersselectacommonpasswordand30 writetheirpasswordsdownorstoretheminafile 2002NTAMonitorPasswordSurvey 损失2002年 仅美国330万人次的身份盗用 670万信用卡诈骗案 6 一种新的技术手段 生物特征识别技术Biometrics什么是Biometrics Bio 生物Metrics 测量事实含义通过人体自身的生理特征 whatyouare 或行为特征 howyoudo 进行身份验证的技术 7 Biometrics 生理特征 whatyouare Finger face palm hand foot iris vein 行为特征 howyoudo 步态 声音 敲击键盘 签名 人人拥有 人各不同 8 生物特征识别技术 Biometrics 9 Biometrics孰优孰劣 Universality alluserspossessthisbiometric Uniqueness variesacrossusers Permanence doesnotchangeovertime Collectability canbemeasuredquantitatively Performance Lowerrorratesandprocessingtime Acceptability isitacceptabletotheusers Circumvention canitbeeasilyspoofed 10 Biometrics比较 11 为什么要做人脸识别 多学科领域的挑战性难题模式识别 最典型 最困难的模式识别问题人工智能 人类智能的基本体现计算机视觉 实现人眼的功能下一代人机交互让计算机不再 熟视无睹 让计算机具有人类的情感广泛的应用前景 人脸识别相比其他生物特征识别的优势 12 13 人脸识别相关研究内容 生物特征识别人脸 指纹 虹膜 视网膜 掌纹 人机交互 HCI 人脸图像编码 压缩表情分析 情感计算人脸动画faceanimation人脸属性分类种族 性别 年龄Attractiveness判别 14 与其他生物特征识别的比较 生物特征识别 未来的身份验证方法 生物 指纹 虹膜 人脸 掌纹 手形 视网膜 红外温谱行为 笔迹 步态 声纹人脸识别的优点可以隐蔽操作 特别适用于安全问题 罪犯监控与抓逃应用非接触式采集 没有侵犯性 容易接受方便 快捷 强大的事后追踪能力符合我们人类的识别习惯 可交互性强 无需专家评判人脸识别的不足不同人脸的相似性大安全性低 识别性能受外界条件的影响非常大 15 技术挑战 16 Fromthesameperson Yes No 17 没有想象的那么简单 Howmanyindividualsinthispicture 18 没有想象的那么简单 Howmanyindividualsinthispicture 19 人脸识别的基本原理及其计算模型探讨 20 我们人类靠什么识别 天赋的能力还是后天获得的 脸形 面部器官结构国田由用 目甲风申皮肤和肤色光滑 粗糙 黝黑 白皙局部特性黑痣 刀疤 鹰勾鼻子 独眼龙动态特征酒窝 皱纹 21 人类视觉识别系统特性简介及其借鉴意义 人脸识别是否是一个特定的过程 证据 人脸识别能力缺失症 Prosopagnosia 患者的存在 患有此症的人可以正常的识别其他物体 甚至可以正确的识别鼻子眼睛和嘴巴等面部器官 但是就是不能认出熟悉的人脸 因此有理由怀疑其人脸识别功能区遭到了破坏 全局特征与局部特征孰轻孰重 全局特征主要包括人脸的肤色特征 比如白皙 黝黑 总体轮廓 比如圆脸 鸭蛋脸 方脸 长脸等 以及面部五官的分布特征 比如 在绘画界就有 国田由用 目甲风申 8种脸形之说 中医也将人脸按照总体结构特征划分为 金木水火土 五行 侧重人脸3D结构和肌肉凸凹情况 而局部特征则主要指面部五官的特点 比如浓眉毛 丹凤眼 鹰勾鼻 大豁嘴 八字胡须 尖下巴等 以及面部的一些奇异特征 比如黑痣 伤痕 酒窝等等二者对识别都是必要的 但全局特征一般用来进行粗略的匹配 局部特征则提供更为精细的确认 22 局部特征vs全局特征 明星漫画 夸大了独特之处问题 Howtofindthesesalientfeaturesautomatically 23 平均脸 24 局部特征vs全局特征 ThatcherIllusion 25 人类视觉识别系统特性简介及其借鉴意义 面部特征对识别的重要性分析不同的面部区域对人脸识别的重要性是不同的 一般认为面部轮廓 眼睛和嘴巴等特征对人脸识别是更重要的 人脸的上半区域对识别的意义明显比下半区域重要 鼻子在侧面人脸识别中的重要性要高于其他特征异族人脸识别困难现象这涉及到识别算法的适应性和泛化能力问题 一方面可能需要尽可能大的学习集 另一方面也需要学习集必须具有较大的覆盖能力性别和年龄阶段对于识别性能的影响女性要比男性更难识别 年轻人比老年人更难识别频域特性与人脸识别的关系低频分量其实更多的是对人脸图像外观总体分布特性的描述 而高频分量则对应局部的细节变化要想保留某人面部的一颗黑痣的信息 高频分量是无能为力的 必须保留足够的高频分量才可以 26 Mark 27 人类视觉识别系统特性简介及其借鉴意义 特异度对人脸识别的影响最 漂亮的 最 丑陋的 最 奇异的 的人脸都是最容易被记住的 而大众化的人脸则不太容易被记住 大众脸 并不等于 平均脸 大众脸是指经常可以见到的 脸 而 平均脸 并不多见光照变化与人脸识别反相照片 负片 的识别时很困难的 下方光源人脸图像难以识别姿态不变性不变性 运动人脸图像序列提供了更多的信息 28 人脸识别的分类 传感器可见光 模拟眼睛红外主动被动3D人脸识别输入模式静态照片动态视频序列 29 基于可见光的人脸识别 通常我们所说的人脸识别是基于可见光人脸图像的身份识别与验证的简称光学人脸图像 以下简称人脸图像 是外界光源 包括太阳光 室内人造光源和其他物体表面反射而来的光线 发出的光线照射在人脸上 经人脸表面反射后传输到摄像机传感器的光线强度的度量 入射光 反射光 30 简化的人脸成像模型 Lambert反射模型 漫反射模型 分别为物体表面点漫反射系数 法向量方向 光源的方向 二者夹角 k为入射光强度与视点无关 区别镜面反射 31 人脸图像的生成要素 人脸图像实际上是三大类关键要素共同作用的结果人脸内部属性F人脸3D形状 表面法向量方向 包括人脸表面的反射属性 包括反射系数等 通常简称为纹理 人脸表情 胡须等属性的变化 外部成像条件L包括光源 位置和强度等 其他物体或者人体其他部件对人脸的遮挡 比如眼镜 帽子 头发 等 摄像机成像参数C包括摄像机位置 视点 摄像机的焦距 光圈 快门速度等内外部参数 对识别人脸无益的干扰因素 32 理想的识别模型 从人脸图像中剥离出人脸稳定不变的本质属性 3D形状与表面反射率 外界条件及其摄像参数变化导致的图像变化然后 从3D形状与表面反射率属性中提取不同人脸的差异信息 馈入到后端的判别分类器中进行识别 遗憾 一个病态问题 33 退而求其次 目前的多数系统采用的人脸建模方法仍然停留在图像层面上 并没有显式地分离出3D形状和纹理的步骤而是直接通过从 图像 中提取人脸表示特征并进行分类来完成识别2D结构信息 基于几何结构的人脸特征出现了少量利用3D信息进行识别的方法 Morphablemodels2D图像灰度数据统计特征 如模板匹配 Eigenface Fisherface2D图像变换特征 如Gabor DCT FFT 2D图像的低维子空间分布线性 子空间 光照锥非线性 Kernel学习 流形等主流 Appearance basedmethods 34 从 图像 中识别的道理何在 图像 中包含什么 亮度变化 影调 shading 阴影等反应了3D形状Albedo 表面反射率表面反射率 表面皮肤材质特别是五官区域 35 问题分解 人脸识别 确认 X x1 x2 xn 36 FaceDetection 37 自动人脸识别系统 38 FaceRecognition 39 基于几何特征的例子 建模 用面部关键特征的相对位置 大小 形状 面积等参数来描述人脸人脸图像f 特征向量vv x1 x2 xn 对所有已知人脸提取同样描述的几何特征D v1 v2 vp 待识别的人脸f提取的几何特征为vf计算vf与D中所有vi的相似度s vf vi 比如欧式距离 cosine 等 进行排序根据相似度最大的已知人脸的身份即可判断待识别人脸的身份信息 40 国内外研究现状及其分析 41 国内外研究现状 研究机构 国外研究机构情况以美欧为主 各知名大学 研究所 企业研究院均设立了与人脸识别相关的研究组大学 CMU MIT UMD USC MichiganStateUniversity UCLA UniversityofManchester UniversityofSurrey 评测 FERET 94 97 FRVT 2000 2002 2006 X M2VTS FVC 国内研究机构简况大学 清华大学3家 哈尔滨工业大学 中山大学 南京理工大学 南京大学 上海交大 浙大 北交大 研究所 计算所 自动化所等 42 人脸识别的最高学术水平 1997FERET测试结果测试类 训练 测试数 最高识别率 大学 方法 所有参评方法的平均识别率FB 1196 1195 96 UMD PCA LDA 83 FC 1196 194 82 USC EBGM 30 DI 1196 722 59 USC EBGM 40 DII 864 234 51 USC EBGM 21 数据来源 2000年P J Phillips的PAMI文章 说明 四种测试类均为正面人脸照片 略有表情变化 无眼镜等饰物 FB 训练 测试集同一采集过程中在严格控制的光照条件下采集 略有表情变化 视觉效果上与训练集数据相差不大 FC 训练 测试集同一采集过程中不同摄像头 有光照变化 DI 训练 测试集同一年内 不同时间采集 有光照变化DII 一年后 不同摄像头 不同光照条件 43 人脸识别的最高学术水平 FERET测试 大于等于1196人的人脸库上测试 在同一摄像条件下采集的正面图像识别中 典型的识别率为95 以上而对用不同的摄像机和不同的光照条件采集的正面测试图像 典型的识别率骤降为80 以下而对一年后采集的正面测试图像 最大的准确率也仅仅接近50 来源于2000年发表在PAMI上的文章 实际测试在1997年进行 性能下降很快 44 从评测看当前人脸识别技术的研究水平 FERET 1997理想条件下1000人左右的正面人脸识别系统识别率95 左右非理想条件下 200人左右正面人脸识别率骤降至50 左右FRVT2002较理想条件下 37437人 121 589幅图像 的正面人脸签证照 人脸识别 Identification 最高首选识别率73 人脸验证 Verification 的等错误率大约为5 7 错误接收率为0 01 时 最低错误拒绝率30