从看脸到读心：深度理解人的视觉技术走到哪了？

本文整理自微信公众号“AI科技评论”(ID:aitechtalk），作者蒋宝尚。

“视觉智能已经从最初的看脸走向了对人的更深层次的分析。更为准确的说，人脸识别在过去的5年时间里面，有了一个跨越式的进步，人脸识别之战基本上已经接近尾声，以后更多的考虑如何将应用落地，如何将技术应用到各站业务场景。

以下为正文，Enjoy~”

AI正在尝试攻克“读心术”。随着人脸识别为代表的“看脸”技术已经逐渐走向成熟，越来越多的科学家正在攻克这个难题。利用AI算法，捕捉面部特征所承载的多维信息，分析推断一个人精神状况，从人工智能的角度就变成了输入表情，输出性格、情绪、心理活动的“函数”映射问题。其中输入的特征可以是微表情，也可以是视线等；输出结果可以是喜怒哀乐等情绪。

举例来说，荷兰阿姆斯特丹大学的尼克·瑟比博士曾利用现代的深度学习方法对蒙娜丽莎的“情绪"进行破解，发现蒙娜丽莎有83%的快乐，9%的厌恶，6%的恐惧，还有2%的愤怒。

蒙娜丽莎情绪分析或许有些“玩”的意味，但是它背后所采用的技术对于医学、情感陪伴、金融保险都有非常重要的意义。例如客观化、易于实施的自闭症儿童早期诊断技术、能读懂老人情感和状态的机器人交互技术、对司机危险驾驶行为的监控和报技术等等。

具体来看，目前医学上在精神疾病的诊断更多依赖于量表测试和医生面诊，诊断结果更偏向主观性。看病就医时，中医通过“望闻问切”的“望”来了解患者的病征，作出诊断；而心理医生面诊时也会通过观察病人面容来判断病人在精神层面的状态。以抑郁症患者为例，传统方法下，医生通常会采取三种检查手段来判断病人是否患有抑郁症以及患病的程度，分别是：面诊、量表测试和脑电波测试。而采用计算机视觉技术可有助实现非接触性检查。

抑郁症分析

我们先来看人工智能在抑郁症分析上的应用。

AI在自闭症儿童早期诊断上，整个过程大致有两个步骤：首先是利用各种传感器，记录社交行为或个体行为过程；然后通过AI技术分析儿童的行为特征。

两个步骤各有难点，例如眼神捕捉的传感器就不能用普通的摄像头，而需要比较贵重的眼动仪。采用AI分析技术的时候，需要考虑视点特征，例如看图时的关注点模式，视线的移动模式；表情特征，例如表情丰富度，表情模仿能力，表情解读能力；社交特征，例如眼神对视多少，互动方式等等。这里面用的技术包括：视线估计技术，表情识别技术面部动作识别数据挖掘技术等等。

目前关于此类分析，已经得出了一些孤独症（ASD）视点特征结论：

ASD视点特征结论

基于此，AI 在抑郁症诊断上的应用也不断凸显，来自澳大利亚堪培拉大学以及新南威尔士大学和ANU等就采用人工定义特征的方法分别对30个重度抑郁症患者和30个健康人进行了测试。

具体而言，人工定义的特征包括语音与语言特征，例如词汇数量，停顿数，说话时长；眼神特征，例如东张西望，眨眼率；头部姿态特征，例如头朝向变化率，各个朝向的时长。

此项测试实验结果表明，如果用副语言特征就会做到83%，用眼动行为能做到73%，用头部估计能做到63%，融合之后能够做到88%的精度。因为只有60个人的数据，且有30个是重度抑郁症，所以这个结果差强人意。

但人工定义特征更多的是传统的“专家模式”，2018年，采用深度学习的方法，《IEEE Transactions on Affective Computing》期刊中的一项工作将表征信息和动态信息分两路馈送到CNN网络里面，然后输出一个抑郁分数（Depression Score）。训练数据是AVEC2013的一个子集，包含82个人的150段视频。整个结果做到了7.58的MAE精度。

更进一步，斯坦福大学的李飞飞，2018在NeurIPS上也曾介绍了一项基于3D表情和语音的抑郁症评估，核心是用多模态的数据进行分析。模型由两个技术部分组成：（i）一个句子级的“概要”嵌入（嵌入的目的是“概括”一个可变长度的序列，将它变为固定大小的数字向量。）和（ii）一个因果卷积网络（C-CNN）。实验分为两部分。首先与现有测量抑郁症症状严重程度的工作进行了比较，预测PHQ评分，并输出关于患者是否患有重度抑郁症的二元分类，通常PHQ评分大于或等于10。对模型进行消融研究之后特异性和敏感度分别做到了82.6%和83.3%。

心率分析

除了抑郁症，学界也在想办法通过看脸分析心率，作为人体最基础的一种生理信号之一，能反映人的身体健康状况甚至情绪状态。传统的心率测量通常依赖于接触式的传感器，比如较为精准的心电图以及便携式的指夹式心率仪等，这些方法心率估计的精度通常较好，但同时因为需要接触人体皮肤，限制了其使用的便利性。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!