如何降低遮挡对人脸识别的影响

刘东平

重庆工商大学,本科

谢远伦

贵州大学,本科

言有三

毕业于中国科学院,计算机视觉方向从业者,有三工作室等创始人

作者 | 刘东平、谢远伦、言有三

编辑 | 言有三

人脸识别技术都是基于人脸关键特征提取对比完成识别的,其中,特征的完整性是算法成败的一个极为关键的因素,但是当受到外界干扰较多,外界的条件发生明显变化的时候,由于传统方法过于依赖明显的、完整的图像特征,一旦由于人脸发生遮挡,造成部分特征的消失,导致人脸图像特征不完整时,这种算法就会失效,导致无法和库中人脸信息进行对比。遮挡造成的人脸识别的困难主要体现在由遮挡所引发的特征损失、对准误差和局部混叠等方面.

01

常见人脸遮挡方式【1】

引发面部遮挡的原因主要有三种:

1.1光线遮挡:由于不均匀的或极度强烈的外部光照所引起的遮挡。图a

1.2实物遮挡:覆盖在人脸上的物品,如帽子,眼镜,围巾等。图b

1.3自遮挡:是由于人体姿势导致的,如侧脸。图c

02

人脸遮挡对人脸识别的影响

下面我们看一组图片:

通过眼睛我们很容易判断上面一组图片都是同一人。但是我们的人脸识别的应用能判断出他们是同一人吗?

接下来我们将把上面的图片通过百度AI和腾讯AI进行对比

2.1百度AI对比结果

2.2腾讯AI对比结果

通过百度AI和腾讯AI我们可以看到遮挡对人脸验证的结果影响非常大,特别是第四组图,由于面纱的遮挡,腾讯AI判断图片中没有人脸,但是同一组照片,百度AI却给出了71.75%的相似度判定。这也说明了不同的算法,对遮挡处理的结果差别很大。

03

数据集

虽有很多的人脸数据集,但是专门用于人脸遮挡这个问题的却很少。MAFA【3】是其中最大的,它包含30,811个无遮挡图像和35,806个有遮挡图像,包含各种方向和尺度的遮挡,数据集并未开源。

遮挡后的人脸,眼睛基本不会被遮挡的,需要眼睛看东西,所以还是相对稳定的特征点,下面是其中一个遮挡的例子。

04

人脸识别遮挡传统方法【1】

主流的方法有:子空间回归、鲁棒误差编码与鲁棒特征提取等三类。

4.1子空间回归

子空间回归方法将不同类别的人脸划分为不同的子空间,遮挡是一个独立的子空间,那么有遮挡的人脸图像是不含遮挡的人脸与遮挡的叠加,就可以把有遮挡人脸图像识别问题视作将无遮挡的人脸图像和遮挡各自回归到它们所属的子空间的问题

子空间回归方法中最具代表性的方法是稀疏表示分类方法和协同表示分类方法,具体的细节,可以参考文献【1】。子空间回归方法的主要困难在于遮挡子空间的构建。

4.2鲁棒误差编码

鲁棒误差编码方法主要包括“加法模型”和“乘法模型”。 “加法模型”认为有遮挡图像是原始的不含遮挡的人脸图像与由遮挡引发的误差e的合成体,即y=y0+e,着重考虑如何将误差e从有y中分离出来。

“乘法模型”将有遮挡的图像看成是无遮挡的y0与遮挡的拼接,并且只有y0可以精确重构。着重考虑如何分离其有遮挡区域和无遮挡区域,具体细节参考文献【1】。

4.3鲁棒特征提取

一幅人脸图像所包含的特征通常极为丰富,既包括颜色、亮度、纹理、方向等低阶特征,也包括姿态 、表情、年龄、人种等高阶特征,鲁棒的特征提取 方法就是需要对这些特征进行分解。比如Gabor特征是在多个尺度和多个方向上分解,属性特征是分解为多个可描述的属性。分解后,可以降低特征之间的相互干扰,从而为机器学习提供足够精细的特征。

传统的鲁棒特征有代表性的比如梯度脸,以及将子空间学习引入深度学习的PCANet框架和将卷积神经网络的卷积层引入经典的“特征图-模式图-柱状图”的特征提取框架FPH 框架。尽管并没有对光照变化和遮挡做任何先验性假设和显式处理,甚至没有用到大规模的训练数据,PCANet的神经元响应却对光照变化和遮挡等表现出了很强的鲁棒性,关于更具体的细节请参考文献【2】。

05

深度学习【3-4】

我们下面给大家介绍两个思路。第一个,来源于【3】的思路,是尝试对遮挡区域的特征进行修复。【4】的思路,是如何设计和使用Attention的机制去识别没有被遮挡的人脸,这也是两个基本的研究方向,下面分别做说明。

5.1 对遮挡区域进行恢复

上图就是文【3】解决方案的框架。从上图我们可以看出,包括3个模块。

(1)Proposal Module人脸候选区域提取模块,这就是三个卷积层加一个全连接层的基本结构,为了能够召回更多的遮挡人脸,选择了比较低的阈值生成了大量人脸候选区域。随后使用VGGFace提取4096维的特征进行归一化。我们可以知道,这个特征即含有有用信息也含有噪声信息。

(2)Embedding Module 这个模块主要实现对被遮挡的人脸特征恢复,抑制特征中的噪声信息,它将Proposal Module提取出来的描述子,采用LLE方法,转化为相似度描述子。随后,在一个利用了大量无遮挡人脸和遮挡人脸得到的特征池中利用knn寻找匹配。

(3)Verification Module 则可以利用被修复的人脸特征进行人脸区域验证,对人脸位置和尺度进行微调。

5.2 基于attention的方法定位遮挡

通过合理的Anchor设置或者是合理的大感受野,我们可以隐式地学到遮挡区域的人脸,为了减少误召回,可以考虑用segmentation或者是attention的机制去处理。

上面就是它的基本结构,借鉴于RetinaNet。首先通过FPN结构提出特征,然后会另开一支去学习attention,之后对attention做一个E指数的操作乘到原来的feature map上,加强可见区域信息。后面是一个类似于fast R-CNN两支操作:一支做classification,一支做regression。 Anchor setting设置可以保证每个人脸都有足够的感受野以及足够的context信息。底下这个attention的subnet,它可以通过有监督的信息,学到visible的information,也就能提高对遮挡物体检测的能力。一些该文的细节,包括以下:

Anchor setting

文章中先统计了一下Wider face数据集,发现大概80%以上的人脸其实都是集中在16 pixel到406 pixel这样的量级上面,还有约10%的量级是在8pixel到16pixel,如下图:

要考虑到如何让anchor去覆盖这么大的一个区域,他们选择了1和1:1.5,其实是潜在地考虑了正脸和侧脸情况。与传统的每一层只有一个anchor的铺设方式不同,采用每层3个scale,以2 ^ -1/3 步进。

attention整体框架

采用将bounding box的区域填1,直接作segmentation去学的思路。由于大量的ground truth是没有遮挡的,当发生遮挡时,最后学出来的segmentation会对于这些未遮挡的信息更加敏感。另外在attention网络里面,做完attention之后,不是简单的点乘到原来的feature map上面,而是先做了一个E指数的操作,再去点乘到feature map上面。这样做就不是只保留attention高量的部分,而是对高量的部分做一些增强,这样能够很好地保留它原有的context信息,同时也能够突出它自身那个可见区域的信息。

这是一个有监督的attention结构,对不同的层赋予不同的anchor level的监督信息。

除了以上两条思路外,还有一些其他的方案,不再一一展开。

06

解决人脸遮挡的现实意义

6.1 提升门禁系统识别准确率,方便人们的生活

受安全保护的地区可以通过人脸识别辨识试图进入者的身份。人脸识别系统可用于企业、住宅安全和管理。如人脸识别门禁考勤系统,人脸识别防盗门等。门禁系统采用网络信息加密传输,支持远程进行控制和管理,可广泛应用于银行、军队、公检法、智能楼宇等重点区域的门禁安全控制,但是参与这些活动的人,其面部特征并不都是标准完整的。在面部特征不完整的情况下,也能对其进行精准的识别,将会极大的提高工作效率和用户体验。

6.2 增强身份识别

可在机场、体育场、超级市场等公共场所对人群进行监视,例如在机场安装监视系统以防止恐怖分子登机。在恐怖分子有伪装的情况下,例如戴口罩、墨镜、帽子等,如果人脸识别技术能对遮挡部分进行补全,就可以在机场或车站安装系统以抓捕在逃案犯。

参考文献:

[1] 李小薪、梁荣华有遮挡人脸识别综述:从子空间回归到深度学习

[2] Chan T H, Jia K, Gao S, et al. PCANet: A simple deep learning baseline for image classification?[J]. IEEE Transactions on Image Processing, 2015, 24(12): 5017-5032.

[3]Ge S, Li J, Ye Q, et al. Detecting masked faces in the wild with lle-cnns[C]//The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017: 2682-2690.

[4]Wang J, Yuan Y, Yu G. Face Attention Network: An effective Face Detector for the Occluded Faces[J]. arXiv preprint arXiv:1711.07246, 2017.

[5] https://github.com/polarisZhao/awesome-face

(0)

相关推荐

  • 【学习笔记】嵌入式技术(6):改进的多姿态矫正的人脸识别算法

    2016年微型机与应用第3期 作者:杨作宝1,2,侯凌燕1,2,杨大利1,2 摘要:针对人脸多姿态导致人脸识别率下降这一问题,提出一种改进姿态矫正处理方法,通过改进对人脸特征点的有效定位,来计算人脸姿 ...

  • 【转】干货|孙启超:卷积神经网络在人脸识别技术中的应用

    2018-08-27 21:45:01 随着 iPhone X 的发布,Face ID 人脸识别技术开始进入人们的日常生活中,当我们拿起手机并看着它的时候就可以实现手机解锁的功能.而人脸识别中的关键技 ...

  • 专家告诉你人脸识别全过程

    不少软件在进行身份安全认证时,人脸识别都是必不可少的重要一环.但你真的以为,人脸识别就只是拍"脸"吗?近日,数码博主@长安数码君在社交平台爆料称:人脸识别时采集到的区域不仅仅是屏幕 ...

  • BMVC2018图像检索论文—使用区域注意力网络改进R-MAC方法

    刚刚开源代码与预训练模型. (关注"我爱计算机视觉"公众号,一个有价值有深度的公众号~) 来自BMVC2018会议论文:<Regional Attention Based D ...

  • AI人工智能时代,如何保证信息安全?

    在AI人工智能时代,人脸识别功能是得到广泛使用的,同时这对于每个人来说都并不陌生.但是随着人脸识别技术的普遍应用,带来的风险也随之而来.那么AI人工智能时代,如何保证信息安全? 人脸识别,通常也称人像 ...

  • 【每周CV论文推荐】 人脸识别剩下的难题:从遮挡,年龄,姿态,妆造到亲属关系,人脸攻击

    欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 人脸识别系统已经大规模商业化应用,但这并意味 ...

  • 人脸识别的基本原理

    编辑导语:人脸识别产品早已被应用到生活的各个场景之中.但是你了解它的应用原理吗?本篇文章里,作者便将人脸识别原理进行了拆解.感兴趣的话就一起看下去吧. 现在AI发展的如火如荼,我们已逐步进入智能时代. ...

  • 以人脸识别技术为主的智慧校园安防解决方案

    今天给大家带来的是以人脸识别技术为基础的智慧校园安防系统解决方案,针对学校的围墙周界.大门.档案室.校学生宿舍以及学校危险地带的危险活动检测,系统将告警信息推送给管理人员,采取应对措施,下面我们来看具 ...

  • 人脸识别行业报告(2021,全文)

    人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术.随着深度学习.大数据和云计算等领域的不断突破,人脸识别也获得高速发展,市场潜力不断释放.全球人脸识别市场渗透率快速攀升,产业正进入增长快车 ...

  • 2021年人脸识别行业白皮书

    人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术.随着深度学习.大数据和云计算等领域的不断突破,人脸识别也获得高速发展,市场潜力不断释放.主流的生物识别方式有:指纹识别.虹膜识别.语音识别 ...

  • 人脸识别 严管才有未来

    <信息安全技术 人脸识别数据安全要求>日前向社会公开征求意见.在人脸识别野蛮生长.隐患频现的当下,大家对即将出台的"国标"寄予了很大期待. 从具体内容看,"国 ...

  • 网络安全与数据合规周报 | “人脸识别第一案”二审宣判;10家互联网平台企业承诺不利用大数据“杀熟”

    内容提要 国内要闻 "人脸识别第一案"二审宣判 工信部公开征集三项行业标准和标准计划项目意见 工信部公开征集关于<智能网联汽车生产企业及产品准入管理指南(试行)>的意见 ...

  • 7行Python的人脸识别

    随着去年alphago 的震撼表现,AI 再次成为科技公司的宠儿.AI涉及的领域众多,图像识别中的人脸识别是其中一个有趣的分支.百度的BFR,Face++的开放平台,汉王,讯飞等等都提供了人脸识别的A ...

  • 现阶段智慧社区与人脸识别技术 AI智能科研领域发展方向

    人脸识别简单的解释就是给出两张脸,系统搜索确定是否是同一个人,这就是它最初的定义.它有银行柜台.海关.酒店入住.网吧认证等多种应用场景,检查你的身份证是否和你是同一个人.   目前,人脸识别技术已经得 ...