目前人脸识别技术的挑战是什么？

也是放假太闲，上知乎来锻炼一下手指。

在回答题主的问题的时候，我觉得应该注意做『科研』和做『产品』之间的区别。论文中汇报的人脸识别技术是属于科研的行列。比如在LFW上99.7%，这种数字的意义更多是让搞研究的那个圈子里面的人更加直观的了解到一些情况，你也知道，通常来说这个准确率是非常高的了，所以我们可以说『人脸识别技术在LFW上已经很成熟了』，但是一模一样的技术，拿到真实环境下得到的准确率可能只有75%……也许会有些人觉得这是很可笑的，不，请不要笑，这是科研圈里朋友的普遍做法，不是没有苦衷的。

捣腾过LFW的朋友其实心里都清楚，这并不是一个很好的数据库。图片都是从网上下载的，人脸的质量也是千差万别，有人说这样才接近真实情况……但实际上距离大部分的实际应用场景还是太远了。

目前评价科研中算法的优劣的唯一方法就是找一个数据集，然后大家一起对比，数据集的不同算法得到的结果也会不同，然而……论文上通常是有报喜不报忧的恶习的，所以常常会有不公平的对比存在，随着越来越多更大的人脸数据集的慢慢增加，对于算法的评价会可能会变得稍微公平一些……即便是这样，论文里所谓的人脸识别技术，跟可用的『产品』之间的差距仍然很大。

这并不是说论文的算法不好，而是『产品』的天性。大部分产品都是针对性的解决一类或几类问题，产品讲究是速度，稳定性，成本，等等，不同的产品通常可以加入不同的先验甚至额外的硬件来提升产品的可用性。这是做『产品』和做『科研』的区别。

举两个容易理解的例子：

某著名手机厂商想开发一个自己的人脸解锁功能，在第一次使用手机的时候，经过一个人脸注册的过程，记录下手机主人的样子，在之后的使用中如果被触发，就进行人脸验证，解锁。这里你如果上来一个几十层网络的卷积网络，这个是不行的……因为速度很重要，内存也重要，如果你一个网络模型一上来就已经几十兆几百兆了，产品经理会疯的。做产品的往往是想在保证用户体验的情况下，使用最少的资源。所以最后的产品可能是……下面是我瞎掰的……检测到人脸，检测五官的基本landmark，然后通过几何关系约束来缩小识别范围，再用简单的特征比如LBP，在一个一千张主人人脸的数据库进行验证，验证里可能有各种trick，并且这个一千张人脸的数据库也是实时更新的，比如当前识别正确了，那么就加入进去，如果识别错了，就把这个数据提取特征作为反例存起来……一个可用的产品总是包含了很多看似没有道理的trick的，但是就是这些构成了产品的核心技术。

另外一个例子，做人脸识别，但是是做煤矿工的……请自行脑补一脸煤的辛苦矿工。在这个场景下面，你连人脸检测都没法弄啊……加上光照和脸上煤的干扰，论文上的算法基本上是没办法用的。如果是你，你怎么去做识别？

做一个产品的时候，思路是需要很开阔的。比如人脸的检测实际上是可以通过双目视觉来做的，两个廉价摄像头，简单的算法通过三角化得到一个稀疏的深度图，利用深度信息来做人脸的检测，然后基于眼睛和嘴唇来做识别，眼睛和嘴的识别可以用卷积网络来做，但是真是的产品里面可能还会考虑身高信息，当然，在洞里还需要考虑补光的问题……

说完了这两个例子之后，再回到题主的问题上来吧：

『请问目前业内人脸识别技术的挑战和难点是什么。为什么没有成熟可靠的商业应用。但是论文中已经接近99.7%了。实践和论文的差距是什么。是不是人脸识别的研究没得搞了。』

如果题主这里说的『业内』指的是科研行业，挑战和难点其实都不好说……有些问题是可解决的，有些问题是不可解决的，比如化妆和双胞胎的问题，其实长得像也是很普遍的例子。人脸识别这个行业存在一个由大佬们吹出来的硬伤，就是它在真实环境下总是无法达到100%的可靠，但是总被吹成是极其可靠……以至于领域外的人瞪大眼睛激动地要往里砸钱要项目上线……所以人脸识别在产业界总会给土老板们带去失望。

稍微有点偏，别回来。

我假设这里的业内并不是『科研界』，而是工业界，产业界，『产品』界，那么有很多地方其实都有成熟应用了，比如海关的过关人脸识别系统，当然人家会加上身份证或者指纹来双重验证，比如人脸识别的门禁系统，这个作为产品已经有了，虽然发生了『司机卖掉赵薇豪宅那个事』，但我还是相信在这个应用场景下，这个产品是可以达到可用的程度的。人脸识别技术最大的一个客户可能就是政府了，这个是让我有些伤感的事情，同时我也觉得这个东西在公安系统里面也是『采购了，但是极少用到，领导来了，我们就演示一下Demo，真办案了，还是要靠人来筛选一下以防疏漏』。

另外最近那些银行推出一些自动服务机器，里面有人脸识别功能，道理其实跟过海关一样，你需要的是身份证，人脸，密码甚至指纹……即便是把人脸识别关掉了……也是可以正常运作的……我常常好奇，为什么有些公司，不遗余力地去集中做一个产品落地很难的人脸识别技术……并且其做法仍然是按照学术那样，收集大量的数据集，然后交给科研人员，然后搞几个算法，提高准确率，然后把代码交给码农去优化，码农优化完，产品经理觉得仍然没法上线，但是上线压力太大，于是给科研和码农施压，科研人员也烦躁，只能过来给码农施压，码农无处诉苦，开始自我怀疑，失去自信，变得烦躁，更年期早到……

这可能是做科研出身的人，突然跑去做产品的通病。

论文和实践的差别在于数据和方法。针对数据选择方法，是用很多种方法融合，针对不同的情况调试不同的参数，使用不同的trick，甚至使用外围的硬件辅助，最终的目的是提升产品的综合体验。人脸识别，实际的产品里面，最深奥的算法复杂程度也不会超过那些开源出来的已有算法，理解那些通用的算法，再去一线做产品应该足够了。但是注意，这些算法也许根本不会构成你产品的核心技术，真正的核心技术是你做产品的时候处理各种情况，各种数据的经验公式和方法。

在科研里，人脸识别技术还是有很多可以去研究的东西的，比如怎么用更小的数据更小的模型得到更好的准确率。比如怎么克服光照的影响，比如怎么通过局部特征来完成准确识别……。

但是如果是去做产品的话，我认为不需要迟疑，不要仰望科研成果。贴近一线的数据和场景，花时间分析数据钻研工程方法，也许就做出来了。

借用一句话：『未来属于那些愿意弄脏自己双手的人』。

人脸识别不是没得搞，而是有很长的路要走。我本人就做这方面技术。所谓99.7%的准确度，是指在某个有限集合里的测试结果，比如2万张公开图片中，90%用于训练，10%用于识别，这个其实离实际应用还有很大差距，我就举个简单应用场景，某大厦需要对来往的人员做白名单布控，也就是说，大厦内部人员进入不报警，外来人员报警。在大厦门口安装高清摄像机，通过人脸进行识别，但不能要求人员刻意配合刷脸，这样太影响效率，也就是说，必须是非配合型人脸识别。要求准确度超过80%，室外，而且是实时比对，人脸库为1万左右。但摄像机补光和安装角度等都可以由厂家自己定。我相信，现在还没有一家公司能做到，而且我认为，业内号称最牛的几家公司，在此场景下的准确率应该在50%到70%之间。甚至更低。不信拿出来测测。就不要说识别了，即便是人脸检测，能达到80%已经是niubility的公司了。有人会问，你为啥要求非配合啊，刷脸不行么？我是客户的话，我想反问:我为何要人脸识别？我刷卡不行么，如果担心盗刷，那刷指纹也不是不可以啊。人脸识别，其独特的优势，就是理论上可以做到非配合，其他的生物识别，基本上很难，或者基本不可行，比如指纹，虹膜，静脉，以及DNA等。其实人脸识别大部分应用属于非配合场景，原因可以自己琢磨。另外，关于深度学习的人脸识别，包括在LFW刷存在感的众多中国公司，准确地说，他们的技术只适合做图片1比1人脸验证，且不说别的，对实时应用来说，性能就是个很大问题。即便是1比1验证，去年由某部召集的国内100多家人脸识别公司公开测评中，准确度没有一家能达到70%，几乎所有国内公司都去了，为啥？用于训练模型的数据集跟现场实际环境差距很大，不低才怪呢。所以说，要达到商用化，尤其是安全相关，这条路还很长，很长。当然，做娱乐应用还是可以的。说起做娱乐，某公司的明星脸也被归类于人脸识别，明星海量的照片都在库里，然后你把其中一张照片丢进去做比对，那当然可以识别了，别说用深度学习，即便用SIFT特征找相似图也是可以的。

最高分已经答的非常的好了。说一点浅见，反正这种小众问题就算说的不对也不会有那么多人喷。
首先说说商业应用。
所谓成熟靠谱如果说的是百分之百代替人工那么目前是没有的，毕竟就算是人工，面对双胞胎也会出错，面对白百何VS王珞丹 or 周迅VS李小璐这样的组合也难免会脸盲。
但是商业应用上确实已经有很多公司在做了。BAT里面阿里收购了face++；腾讯有优图；百度更是有自己的研究院，百度国内应该是LFW上刷分最高的公司了，毕竟吴恩达在百度，成绩单还是要漂亮的说，（剩下三个业界大牛一个在FaceBook，一个在谷歌，另一个还在学术界）。其他公司像360请了新加坡国立大学的颜水成（1000w年薪），还有汉王科技，川大智胜，都是有人脸识别的项目在做的。专业做人脸识别或者图像识别的还有linkface、格林深瞳等等。
所以说商业应用确实是有的。

LFW号称是最难的人脸图像库，很多公司都有专门的人在上面刷分，包括一些大学的研究生也有刷过这个的。确实现在分数已经刷到很高了，但是实际应用上却完全不是那么回事。 @李济深前辈提到了现实落地当中存在产品内存大小和速度以及稳定性的问题，万分赞同。补一点其他的方面的个人理解：

LFW上刷的是人脸与人脸对比，也就是俗称的1：1、1：N或者N：N，应用到实际当中所有的公司都在做的是不得不降低那个N的样本。或者是加入其他的校验方法来实现人脸识别并且保障它的安全性。
通俗一点说好了，现在很多商家都跟支付宝或者微信合作，吃饭买东西都可以扫二维码支付，想象一下，假如现在咱们可以刷脸支付的话是什么样的场景呢，查了下新闻，支付宝目前的活跃用户是2.7亿，张三对着摄像头刷了脸准备结账走人（即验证的是1：N），结果服务器跑了半个小时还没找到他的脸——毕竟要在2.7亿张脸里面搜索呢，用户体验不忍直视有没有，但是如果同时输入张三的姓名，是不是这个N立马减少了很多，如果输入张三的身份证号码呢，立马就从1：N切换成了1：1，效率大大提高。
那么问题来了，如果有人刻意攻击张三的账户呢，毕竟身份证号码很容易被熟悉的人知道的，连赵薇的豪宅都被司机卖了有没有，人脸识别要检验的部分主要有两个，第一张三是张三，第二张三是活的，举个栗子，张三的好基友李四，对着摄像头 扫一下张三的照片，并且报出他的身份证号码，是不是就成功支付了，如果这个时候人脸识别要求他对着摄像头做几个微表情，是不是一定程度上提高了安全性。当然这也只是在一定程度提高了安全性而已，毕竟还有视频攻击等等。

大部分的技术到实际落地的时候都是需要场景的，随着技术的不断发展可能会解决越来越多的问题，比如将来我们计算机的运算速度大大的提高了，那么1：N的速度就会变得非常的快等等。但是在现阶段人脸识别确实有很大的局限性，但也不是没搞头。不能刷卡支付咱们可以用它来做证券远程开户嘛。

all in all，tomorrow will be better

人脸识别经过近几年的发展，取得了长足的进步，也支撑起了大大小小不少人脸识别应用的公司。在很多行业中，比如刷脸访客，人脸闸机，人脸登录，酒店入住等诸多应用场景，都有人脸识别的成功应用。
从应用场景看，人脸识别分为两个方向：
① 1:1的人脸验证
应用场景：比如火车站验票进站，需要手持身份证照片和本人人脸符合同一个人的相貌特征即可。
② 1:N的人脸搜索
应用场景：在一些刷脸签到的课堂上，安装了人脸识别闸机的居民小区出入口处，只要识别到的人脸，出现在原先已经注册了的人脸库中即可。
第一种1:1的人脸验证目前来看问题不是太大，多多少少都有一些辅助手段能够帮助人脸识别落地到项目中。比如，在一些零售店中的刷脸支付应用场景，需要用户预先输入全手机号，确定用户身份再进行人脸识别，将原本为1:N的问题转化为了1:1的问题。
第二种1:N的人脸搜索，主要难点集中在三个问题上：
① 1:N中的N能够支持多大
从一个班级百号人刷脸签到，到一个公司千号人的刷脸打卡，再到一个学校的几万人，一个四线城市几十万人，一个一线城市的几千万人，难度是呈指数上升的。
目前各家公司的成熟人脸识别应用能够支持几万到几百万人不等的应用场景，而且还有一个错误率的概念。比如，公司宣称千万分之一的错误率的情况下（1/10000000），人脸通过率其实只有93%，这时因为很难做到一定不发生错误，而且每个人都能识别通过。
假如一家公司说自己能做到亿分之一的错误率，通过率能做到98%以上，多半是虚假宣传，在实际使用中是很难达到。
以往很多学术论文中的结果是在LFW数据集上进行测试的，但其实，LFW数据集只包含5749个人。在LFW上达到99%，可能在MegaFace数据集上连80%都达不到，因为MegaFace包含了690572个人，身份信息是前者的100倍以上。
可以看到，近来很多人脸识别的测试结果都以MegaFace作为测试标注，应该说这个数据集更加符合实际应用场景一些。
② 非配合应用场景
这是相对于配合应用场景而言的。比如ATM机刷脸取款，用户会自主配合，将人脸以一个理想的角度通过识别。
而在非配合应用场景下，比如监控视频下的人脸识别，追踪违法犯罪分子的身份信息，情况就要困难得多。这种情况下，用户脸部会发生角度偏大，遮挡，光线不可控等问题。
如果有一天这个问题解决了，那离彻底解决城市犯罪问题就更进了一大步；
③ 跨人种，跨年龄识别问题
研究发现，在一个数据集上训练好的模型，想到迁移到另外一个人种上，效果会出现较大程度的下降。另外，人脸随着年龄的变化带来的改变也给人脸识别带来不小的挑战。
要改善这样的问题，一个必要条件是需要建立一个足够完备的跨人种，跨年龄的人脸数据库。
不过建立这样的一个数据库是存在不小困难的，尤其在国内的话，是以汉族人为主，同时跨年龄的人脸数据库也比较难收集，需要不短的时间跨度。
具体在金融行业，人脸识别技术同样面临很多挑战。
目前来看，在金融行业要衡量人脸识别技术是否足够成熟的一个重要标准是人脸防伪是否足够安全，不能让一张打印的照片欺骗过去。
比如近来备受关注的刷脸支付，很多时候都会要求用户输入全手机号，或手机号后四位，以缩小用户搜索库大小，实际上这是比较影响体验的。如何在用户搜索库巨大的时候还能够保证人脸识别的正确率，同时还需要考虑到用户是否是一个真实存在的自然人，不能够是照片或者视频，需要有安全度极高的人脸活体检测和人脸防伪技术。

本文作者：京东金融-智能识别实验室 程郑鑫

日本的化妆，韩国的整容，中国的自拍。三大难题呀

本人从事人脸识别相关工作（因为工作原因先匿名），这一波人工智能的投资风潮起来，很多人脸识别公司恨不得马上往自己脸上贴几吨金，连凯芙丽这样的大拿都出来喊话实在不应该（看看百度自动驾驶的系统和google图像识别系统的开放可以预知未来免费是大趋势，想想人脸识别算法跟曾经投入数百亿美元的自动驾驶算法相比有多大差距）。
人脸识别算法不神秘，也不高大上，几年后一定会有大量免费算法，因为行业变现太难了，目前国内所知的人脸识别公司无一例外都是在烧钱。始终认为这是一个存在极大泡沫的概念。
人脸识别作为一项模块技术很少有独立应用（独立的业务层设计），大部分只是为已有的业务软件体系上做增强，比如客户人脸校验（在过去密码基础上增加一层），人脸检索（比人工高效，摄像头结果过滤），相似人脸推荐（比如婚介软件，整容设计），但是这个过程中已经死掉大量公司。
1. 算法再好，也只是调味料，最终出路还是做到最终产品中，通过业务层叠加开发，解决真正问题的产品和方案（最早发明FTP，压缩算法协议的谁赚钱了？）。
2.人脸算法的使用成本很低，目前市场上终端算法部署比较低端的产品授权就500元/套（1：1的远程接口调用所使用的前端授权），市场竞争的结果就是低价倾销。
--------以下为答案--------
首先，题主的问题比较宽泛（到底是盈利强，还是算法强，还是应用强？），人脸识别技术的衡量维度太多，但从技术比较，比如图像比对级的1:1，1:N，N:N；衡量的标准和维度都不同。比如算法精确度上，国内国外的人脸识别技术大多数在开源OPENCV等开源库上进行新规则添加（深度学习进行叠层运算），公司之间的识别正确率差异仅仅在小数点上，99.6%-99.7%提升意义不大，如果说在LFW上称王称霸就是世界一流，就要被内行笑话了。
衡量人脸识别的算法能力：拒识率、误识率、通过率，准确率。
先看看人脸识别的基本流程：




人脸识别最难的部分是有充分适应各大光线环境的人脸预处理算法，需要在各种复杂的光线环境中提取到人脸信息，特别是移动互联网时代，摄像头拍照的地方可以在斑驳的树影下，也可以在昏暗的街灯下，以及深夜出租车内，这对算法的鲁棒性考验极大。同时还要考虑照片和视频欺诈，二次成像的光线污染等问题。

下面说一下目前人脸识别的常见问题（不要再问人脸识别准确度了，这个是外行话）。
1:1人脸识别算法主要用于身份验证
[h1]1：1人脸识别技术主要是利用图像处理技术从图像中提取人像特征点，利用生物统计学的原理进行分析建立数学模型，即人脸特征点模型。再从人脸特征点模型与被测者的人的面像进行特征分析（可以假定为无数的几何特征点求解），根据分析的结果来给出一个相似值，通过这个值即可确定是否为同一人。简单的说就是A/B两张照片比对，产生的计算数值是否达到要求。[/h1]这个值我们称之为阈值，可以从1到100（100就是极端严苛）很多人脸识别公司说他们的产品很容易通过，那只说了一半，如果阈值调整到5以下，几乎大部分人都可以是相似的，而调整到95以上，同一个人在不同的背景环境拍出的照片都无法匹配。所以当一公司跟你吹牛算法准确度，先问下使用的是用什么阈值，同一人脸比对通过率，非同一人比对通过率。

1：1主要用于快速的人脸识别比对，作为身份确认的一种新方式，比如考生身份确认、公司考勤确认、各种证件照和本人确认，由于这些照片源不一定有权威统一的接口调用，所以一直没有用起来。目前市面上做的比对来源主要有三种方式：

1. 用户自传照片，比如支付宝的人脸比对，用户自传的照片最大的问题是照片质量的合格率太低，拍照的光线、角度等因素会导致采集源的质量下降，不利于后期的大批量人脸特征码管理。
2. 使用身份证读卡器，读取身份证上的照片，遗憾的是这张照片的质量极差，2K的大小，很多照片上的人脸质量实际非常差，不过也是目前用最多的方式。
3. 使用公安部旗下NCIIC的人脸比对接口（注意，不是网纹照片接口，这个接口已经不对外），使用的是直接的人脸比对接口。目前具备有这个库调用权限的，目前所知的只有几家，在人脸识别公司中，好像只看到一家在提供，这里先不提了。BAT应该都还没有接入，如有大家有新发现的可以补充。
实际上，解决比对源的问题的关键是需要有权威的照片数据来进行比对，许多公司刚刚开始的时候采取NCIIC（NCIIC是公安部的一个事业单位，公安内网是不对外开放的）身份证返照接口的照片，进行消网纹处理进行比对，但人脸的很多特征点被损毁成功率大概只有6成（根据六月份发布的网络安全法，目前网纹返照接口市面上除了银行系统可以使用外，其他所用的身份证返照接口都是非法的，一用就被查）。
1：1 人脸识别算法主要使用场景

• 无证件的情况下，如何确认本人是XX？

曾经有一些问题是关于如何确认本人的笑话，派出所要求一个小伙证明就是本人，证明你妈是你妈。。这种奇葩问题，但是许多陌生场合也有这种尴尬，你如果没有带证件，警察无法看到你的照片，如何确认你就是XX就是之前经常出现的执法矛盾；如果一个人把身份证弄丢了，外面风雪交加，如何给这类人办理酒店入住手续？这些就是身份确认的问题。公安部推身份证网上副本 身份认证可“刷脸”完成就是用来解决这个问题，我们出门不用完全依赖身份证可以确定身份，可以方便很多。
但是1：1人脸算法的巨大隐患是我们随处可见的人脸，实际就是一个公开的钥匙，马云提出刷脸消费吃饭，如果没有手机验证码（本身也是一重手机实名验证），分分钟钟被吃垮。但是既然可以用手机，为什么还用刷脸，不是多此一举吗？
另外还有一些高级会所，希望实现VIP的贵宾警报服务，这个在下面的1：N和N:人脸识别算法系统中可以看到。但是1：1比对的身份应用哪家强了？

• 比如远程的互联网客户，如何确认身份？

在互联网买机票、车票，医院挂号，政府惠民工程项目，以及各种证券开户、电信开户、互联网金融开户都会用到。过去的身份认证方式是非常不妥的（比如支付宝的持有注册流程，还有一些不知名的社交APP等需要上传身份证照片），这些资料是极其容易被盗取和转卖的，下图是来自百度的图片搜索结果截图，还有最近的一些女大学生的裸条资料泄露知乎专栏，导致犯罪分子有很多利用的漏洞，黑客军团号称资料2000万，分分钟钟薅干一家金融平台没有问题：

许多金融公司喜欢把人脸识别SDK模块嵌入到APP当中，但这个太容易绕过，所以会再加上活体检测（市场上常见的活体检测为随机动作配合），但是即便加了活体检测，也一样可以绕过。比如下面这两种方式：
1. 3D人脸仿真面具

2. 人脸模型实时重建

所谓道高一尺魔高一丈，这个还是增加其他的多维校验才能确认身份，否则真有人要进行远程攻击，也不是很难的事情。那么活体检测哪家强了？
1:N人脸识别算法主要用于人脸检索
[h1]跟1：1的A/B两张照片比对最大的区别是A/B A/C A/D……多个1：1计算，这个最大的问题是一旦BCD总和数量越大计算速度越慢，而总和超过20万，就回出现多个相似结果（20万人这个大数会导致有不少人长相相似），需要人工辅助定位。过去我们在电影里面看到什么“天网”识别系统只是一种理想状态，实际应用中都是排列出多个结果，排第一的未必是需要的人。[/h1]
1：N人脸识别算法主要用于排查犯罪嫌疑人、失踪人口的全库搜寻、一人多证的重复排查，以此相似度列出相应的结果，可以大大提高排查效率。类似的也可以用到走失儿童的项目中去，相比美帝的亚当警报、安珀警戒，国内有没有类似的儿童走失警报及寻找机制？ - 安全 - 知乎
这一类系统的部署需要两个条件：
1. BCD基本库（比如1000万人）
2. 强大的算法硬件
1：N同时作业就是N:N了，同时相应多张照片检索需求，检索耗费的时间跟硬件算法关系极大，就这一领域的应用，又哪家公司强了？
N:N人脸识别算法主要用于实时多1：N检索计算：
[h1]N：N 该算法实际上是基于1：N的算法，输入多个求解结果。比如视频流的帧处理所用，对服务器的计算环境要求严苛，目前的算法系统所支撑的输出率非常有限。[/h1]主要的限制如下：
海量的人脸照片解析需要大量运算（目前很少看到在采集端直接解析的，都是照片剪裁）
海量的人脸照片传输需要大量的带宽（常见的720布控摄像头抓取最小的人脸照片为20K）
海量的人脸照片在后台检索需要耗费大量的运算（国内主流主机为例，最多到24路摄像头）

由此可见，真正实现“天网”人脸检索，一来要解决数亿摄像头的图片处理，二来需要解决联合库的超算检索，这可不是一般公司吃得消。有些小区和高级场所，对VIP客户的识别和接待比较喜欢这种视频校验方式，但是实际部署使用者会受到摄像头位置、角度，以及多人同时入场产生的问题，而且人脸库会非常有限，不然计算时间长，体验极差，一些所谓的迎宾机通常也就几个人的照片（就是纯粹给领导看的），实用价值大大的打折扣，有戴墨镜或者帽子遮蔽都认不出，毕竟关键特征取样有限。这又有谁强了？
人脸识别的技术发展方向：
[h1]结合三维信息：二维和三维信息融合使特征更加鲁棒
多特征融合：单一特征难以应对复杂的光照和姿态变化
大规模人脸比对：面向海量数据的人脸比对与搜索
深度学习：在大数据条件下充分发挥深度神经网络强大的学习能力[/h1]

在视频级N:N的校验中，如果要提高通过率，很多时候是采取降低准确率的方式，降低算法队列数量；同样在一些比赛中为了降低误识率，大大提高了准确率，所以算法在校验的过程中必须遵循至少一个固定标准，追求的是速度效率还是最高准确率。

人脸识别应用的发展方向
[h1]人脸识别这玩意儿就是一个调味料，在千万的业务解决方案中，就是一个小模块，其他的都是业务层的开发问题，使用上，技术也未必要高精尖，如果一定要真正称得上人工智能组成部分的，个人认为未来最大的使用端是机器人视觉交互。[/h1]人脸识别算法的应用分类派系:

人脸识别对应解决方案方向：

个人认为未来人脸识别会让大部分的数据更加真实，而可以通过社会工程学模板做很多分析和改良，比如近期一些科学家利用人脸识别来分析一些人的健康、清晰，甚至是犯罪倾向，或许在未来还可以结合大数据，对我们过去传统的面相分析技术做一个全新的提升，到时候算命先生都要失业了。更多机器人交互、无人机产生的摄像目标锁定分析等科幻画面并不是多遥远的事情。
关于算法核心研发情况的争论：
基本上国内每家公司都会说自己的算法牛，实际上有几家有人脸核心算法呢？国内在完全从事算法研究的总工程师人数到目前（2016年）总计不到100人，不过也没有现在问题也不大，中科院计算所山世光教授已经开源了SeetaFace开源人脸识别引擎介绍 - 知乎专栏，没有基础的公司不用太辛苦从零开始在OPENCV基础上做算法升级，相信很快google微软还会有新的算法发布。现在算法基本都是98%以上，这点差距已经不重要，算法核不核心也没有太大问题。大家不用太过于焦虑，产品到应用阶段，单单靠算法可不够，还要考虑实际的使用。
目前做人脸识别的公司很多，集成应用的有数百家，国内的看百度，看融资，看各种报道就差不多了，只是认真沉下心来做事情的公司太少。国内的腾讯和阿里都在做（阿里支付宝用的是自己的团队研发算法，只是特别低调，把名声都留给自己投资的公司，阿里可不止投了一家），国内的公司吹牛逼的、炒概念的太多，就不聊了，讲讲老外吧。

1. 美国Identix公司
2. 美国Bioscrypt公司
3. 德国Cognitec Systems公司
4. 西班牙Herta Security公司
5. 日本NEC公司
6. 日本Softwise公司

以上都是老牌人脸识别公司，美国Identix公司做的是多模认证（指纹、虹膜），而Bioscrypt公司早期起于指纹识别考勤，在政府市场的份额都不小，德国的Cognitec公司主要做政府项目的人脸识别系统，而NEC公司主要做机器人视觉识别系统，西班牙Herta公司是一家学术很浓厚的公司。此外的还有一些以色列公司技术也很不错。这些公司最强的一点是，几乎做的都是政府的安全项目，特别是CIA用的最多，此外还有Facebook等公司也在进入这个领域，互联网公司的加入主要是进行人群的分类和应用的优化（针对性的市场推广），项目都是作为公司原本业务的一种补充，这类几乎不用担心客户问题，因为这些公司本身就有很大的需求。随着人工智能的崛起，人脸识别未来会作为一个强大的功能补充，类似语音一样，成为机器人的标配。

作为做人脸验证和分类的小渣硕总结一下说的几个常见挑战吧，不一定正确：（对了，听导师说今年某司有用自己的算法帮助公安部在火车站成功抓捕到犯罪分子，虽然不知道具体什么形式采集到的犯罪分子待识别人脸图片，但是可喜可贺啊～）
1.目前做的lfw刷烂了，但是lfw其实主要是pose，背景变化最大。而且往往大部分论文的实验是基于严格提取关键点、矫正后的训练样本和测试样本。但是实际应用中，光照，抖动，模糊，遮挡，分辨率都是影响人脸识别的重要因素。特别是在做已注册样本为身份证照，待识别样本为手机或者摄像头采集的视频帧时候，图像在质量（FQI指标）上存在严重不同的情况，这时候识别难度是很大的ʕ •ᴥ•ʔ
2.工业界应用中，用CNN train出来的model，往往是比较大的，公司怎么用一个单机版app做相似性度量？又或者加速卷积和pooling的前向这块可能比较耗时。当需要已注册大样本提取的特征进行一一匹配的时候。
3.之前有问过导师，某些公司不是都和银行合作推出了人脸取款流程吗，这难道不是说算法效果特别好？实际上，银行操作人脸也是走了一个实验室条件的流程。当你进行人脸验证的时候，实际上人是正脸对着摄像头采集与已注册身份证照一样的高质量的人脸图像。而且结合身份证原件，安全性才得以保证。
4.人脸图像输入是活体吗？如果拍了A的照片去开锁A的手机，怎么样更好的更有产品经理气息去做这种问题的检测。
5.随着人的年龄、五官本身变化，本人与已注册身份证照片相似性在变化！！！

海关技术狗一只（不是边检不是边检不是边检）

大学毕设做的人脸识别，虽然基本是抄的，但也还算是了解一些基本知识吧，基本上那时候（四五年前吧）实验室里面识别率就可以到90%以上了，但是为啥到现在也没有特别好的应用。

拿海关来说吧，国内旅检口岸流量最大的属珠海的拱北口岸（一天30万左右）和深圳罗湖口岸（一天25万左右），我们也在口岸装过好几套人脸识别系统，用来识别水客，但是效果都不理想，最好的识别率也就40-50%吧，分析主要有以下原因：
1、人多，行为无法控制。一天30万是什么概念，一年就是一个亿，保守估计一年检测到的人脸也有千万级，需要对比识别的水客至少也有几万个。同时海关通道都是一条大通道，通道大概也就是8米*15米，每秒钟都有几十个人向你涌过来，而这些人里面脸朝各个方向的都有，甚至低着头的、带着口罩戴墨镜的，这对于摄像机数据采集是很大的挑战。一直认为人眼是最好的人脸数据采集的前端设备，人眼都不能很好的解决这些问题，更别说不能移动的摄像机了。所以这点和边检有很大差别，边检要么是自助通关，要么是人工，这些都是一个一个人过关，然后还会要求摘掉所有的遮挡（墨镜、口罩等）对准摄像头，这样才能保证人的脸部数据采集的准确性。被检测人员对系统的配合程度是会极大影响识别效果的，而出于某些政策的原因，海关不可能采取边检的通关方式，因此难度可想而知。有些人可能会说，那把戴口罩，戴墨镜，低头的都叫过来检查不就好了，但是通常把守一条通道的也就三四个关员，而香港和澳门人又很喜欢戴口罩，更何况水客还有可能一起十几个人一起过关，这无疑无法实现。
2、现场环境老旧，很难进行改造。口岸的旅检楼很多都是有着二三十年历史，整体环境都比较差，而且不能进行大面积改造，例如楼层层高不够，摄像机可选择的角度严重受限制；灯光昏暗，补光不够；通道狭窄又短，对系统运算效率较高等等。
3、目前我们能拿到的照片数据库来源较少，且部分质量一般，增加识别难度。由于某些原因，我们只能拿到一小部分的水客的证件照片，而其他水客的照片主要靠系统进行抓取，这导致数据库内的模版质量较差，直接影响识别效果。

所以人脸识别目前对于我们来说只能起到一个辅助作用，能有40%的识别率我们就已经很满足了，同时也希望还在做这方面研究的朋友能够看到实验室和实际应用的差距，加大对这方面的研究投入，做出更好的产品来。

特么的每次我卸完妆手机就不认识我了。。。

最近和业内两家比较知名的做人脸识别的公司聊了聊（不是face++和商汤），总结和归纳一下大家的观点吧，仅供参考：

算法层面：
(1)深度学习的算法近几年看不到革命性的突破，算法或技术领先的先发优势将越来越弱，基本上copy的速度可能会达到十天半个月。
(2)论文中接近99.....%是在5000个样本库里的数据，在实际操作中，1：1基本可以得到较好的结果，1：n计算量稍大，n:n基本是天眼级别，至今无解。
(3)毕竟足够的样本是训练的基础，所以可能最终比拼的还是数据量。

应用层面：
(1)金融的身份验证：银行、券商、银联这样的企业基本要求私有部署，按项目制收费；互联网金融公司用户上限基本在2亿，按调用次数收费，目前基本在1-5毛/次不等，然而这个行业调用次数基本有个上限，所以天花板。。。你懂得。
(2)安防领域：这个就不单纯是算法的事儿了，硬件层面有高清摄像头，芯片传感器，系统层面有服务器、视频传输，软件层面才是这些做人脸识别的厂商。现在海康威视、佳都科技还是比较强势的。一个单纯的软件厂商基本还得抱着大腿玩。

总的来说，这个领域远没有想象的性感。

相关：博士论文相当部分是人脸识别，12年水平。



正向人脸，现在基本95%以上了，很多算法可以容忍光照变化、眼睛胡须、甚至年龄变化。
正面人脸识别能力是超过（受过训练）的人的水平的，其实现在人脸识别在门禁领域应用非常成熟广泛。

------------主要的难点------------
无法（用正向人脸训练集）去识别侧向人脸，包括左右侧脸，超过一定上下角度的视角看的人脸，都无法识别。

换言之，在固定场景下的人脸识别（门禁、证件等：正面，光照一致），
技术非常成熟，应用非常广泛，
硬件简单，计算迅速，识别度超过人类（接近100%）。

但是实地场景的识别，比如街道摄像头对感兴趣区域路人的识别，识别率非常低。

顺便：我博士做的内容是正面人脸，但是在平面内旋转了，仍然能识别出来，识别率不会下降太多。（然而并没有什么实际的卵用）

----------几个可能的方向-------------
1、3D建模，用部分人脸照片数据，拟合一个3D人脸模型，从而识别各个角度的人脸。
2、生物特征综合识别，比如人脸和步态综合进行识别。姿态识别是场景识别的一个比较有前途的方向
3、神秘学：比如流型、DNN、或者某种诡异的数学方法，说不定直接解决了正面人脸去识别各个侧向人脸（不是完全没有可能，最基本的PCA刚开始感觉也很神秘，但是效果很好，开创了子空间方法。）


免责声明：我12年之后就不做这方面了，且本人本身学术很水。 上述内容不代表模式识别及机器学习领域任何尖端内容。

网红

如何对韩国人进行人脸识别绝对是一大挑战!

"韩国小姐(MISS
KOREA)。是一年一度在韩国举办的韩国小姐选美大赛，自1955年第一届至今。比赛分为真、善、美三个竞赛选拔部分。三个竞赛部分分别选出冠亚季军一
名。“真”小姐为最高荣誉，是真正的“韩国小姐”。2013年韩国小姐候选人日前曝光。不过多位佳丽看上去样貌神似，难以分辨，一条整容流水线上的作品，
全无个人特色" .............

虽然人脸识别技术已经很成熟，具有很好的前景，我认为还有一个问题就是存在被伪造合法用户人脸的攻击的风险。做了一些调研和分析，传送门~知乎专栏 ——人脸识别中的活体检测

我倒是觉得不是计算机技术方面的问题，而是目前为止人类还不能明白大脑的工作方式。

占坑，有空一定要答

看了楼上技术的分析，我从社科伦理的角度来插个嘴么：
[h1]挑战一：隐私的认知与突破[/h1]2017年9月9日出版的《经济学人》指出，人脸和其他生物数据（比如说指纹）的一个巨大区别是，人脸是可以进行远距离采集的，任何一个人在远处拍一张照，把照片放在人脸识别的软件里，理论上就欧了。
此外，很少有人会意识到，自己的脸是隐私，因为人脸是公开的。往往，我们会把隐私和私密划等号，现在看来，这样的等号得拆了。
当然，草根民营企业是很难有能力把人的面部图像和个人身份联系在一起的，但是政府可以啊。还记得你16岁时在公安系统留下的丑照么……
当人脸只是一张美照或丑照时，问题还不大，但现在人脸可以用作支付或开锁工具时，你是不是应该开始慌了。
[h1]挑战二：应用场景中的公平问题[/h1]人脸不仅仅是一个name-tag，它呈现出很多机器可以识别的信息。这当然有很多好处，比如一些原本难以通过医者识别的疾病，可以更早地通过算法分析人脸、由机器诊断得出结论；再比如机器可以捕捉自闭症的一些表情，这样我们就知道他们在想什么了。
硬币的另一面是，技术也会加剧偏见和不平等。斯坦福大学近期发布的一份报告发现，机器能比人更准确地识别一个人是否为同性恋：机器识别的准确率是81%，人工识别的准确率仅为61%。在一些同性恋还被认为是犯罪的国家，这一技术的存在……还是有点吓人的。
更本质的一个不平等是——从机器学习的本质考虑，所有的脸部识别系统不可避免地玩的是一个概率游戏，但是，在白人偏多而少数族裔偏少的数据情况下（特指美国情况），训练出的结果一定是白人情境下算法表现更优的。这一类bias，在一些尝试将机器评估结果引入法院判决中的情况里，已经出现了。
[h1]挑战三：直逼人际关系的基础[/h1]都说，人是其社会关系的总和。能准确读出面部表情，会很深很远滴影响人与人之间的关系建立基础。
Dissembling helps grease the wheels of daily life. 试想，如果你的妻子/丈夫能识破你每次对话中的不耐烦；你的老板可以识别你工作场合中的每次炸毛，那婚姻和工作的关系确实会更真实，但也会更不和谐。
那所有社会关系的基础就会变，会从信任变为精准的“算计”。这样的关系可能是更理性的，但也会是更带有“功利性”（transactional）的吧。
----------
答案选自：独家编译 |《经济学人》警示：人脸识别会给我们带来哪些伤害？

挑战啊(^Д^) 当然是南朝鲜网红脸咯！
不信识别一下我头像。
老司机飙车润物细无声。

在不久的将来，你的丰田汽车可以通过面部识别功能来解锁——刷脸在开车这事儿上也将成为可能。
此外，还有已开始在汽车领域应用的体感技术，比如车载摄像头看到你搬着沉重的行李箱后，就会自动打开后备箱——当然，由于汽车未能进化成“大黄蜂”，你应该还是需要自己把东西放进去。
就像手机、可穿戴设备一样，汽车也可能成为你的健康管理“工具”。丰田和微软表示，未来的汽车，方向盘和座椅上都会集成不少传感器，它们可以收集关于你的一些身体数据（比如手心出汗程度、体重等），进而判断你的健康甚至是心情。你现在焦躁不安？那就给你自动放首舒缓的音乐吧！最近体重超标？那么导航就推荐一家低卡路里的餐厅吧！

拿到lfw上识别率99.15%的算法，用作人证比对的识别率55%