从看脸到读心：深度理解人的视觉技术走到哪了？

上述的工作主要是基于物理模型，从脸部皮肤中分割出一个典型的区域，然后提取颜色变化信息，进行频谱分析，然后估计人的生理特征。

深度学习的出现再次改变了这个领域的研究方法。

2018年，中科院计算所山世光研究员提出了一种基于深度学习的方法：直接把提取信号送到神经网络中进行学习。

具体而言，其提出的是一个名为RhythmNet的端到端的可训练心率评估器，利用AI和光电容积脉搏波描记法来应对头部运动和光线变化方面的挑战。整个过程分为三部分：在ImageNet上预训练，然后将数据馈送到深度神经网络里面，最后对真实人脸心率信号精调。

但是训练过程中数据量小成了约束。当时最大的人脸心率数据集也不超过50人，深度模型容易过拟合。于是他想到人为加上弱周期性的信号去完成预训练，如此便能生成大量的数据。实验结果在标准数据集上HRrmse做到了4.49（最好的指标是6.23）。

但是用来训练的数据存在一个问题——人的心率分布是不均衡的。大多数人的心率都集中在60到90之间。120、130此类的数据非常少。用这样的数据做训练，显然会存在偏差。

山世光采用的方法是对人脸心率数据增广，即在时域中进行上、下采样，这样训练集里面的心率的数据范围就会更加的广泛，且能获得相对更均匀的心率数据。

微表情分析

对微表情的研究，方法上类似人脸识别，包含检测和识别两个具体问题。

具体来说，就是先从一段长视频中把发生微表情的视频片段检测出来，然后识别该微表情属于哪一类微表情。

微表情检测，就是指在一段视频流中，检测出是否包含微表情，并标记微表情的起点(onset)、峰值(apex)和终点(offset)。起点(onset) 是指微表情出现的时间；峰值(apex) 是指微表情幅度最大的时间; 终点(offset) 是指微表情消失的时间。

微表情识别是指给定一个已经分割好的微表情片断，通过某种算法，识别该微表情的情绪种类（例如厌恶、悲伤、惊讶、愤怒、恐惧、快乐等）。如同三维动态表情识别一样，其处理的对象是视频片断，而不只是单幅图像。对其处理过程中，不仅要考虑空间上的模式，还要考虑时间上的模式。所以许多微表情识别的算法都考虑了时空模式。

事实上对于微表情研究，最难的是如何收集足够多的、质量高的微表情数据集。目前，微表情现有的数据库样本量都非常小，公开发表的微表情样本只有不到800个。因此微表情研究是典型的小样本问题。这也是造成当前基于深度学习的方法在微表情问题上无法完全发挥出它应有威力的主要原因。

中科院计算所山世光提到过一项基于视频流的自监督特征表达方法，通过巧妙利用自监督约束信号，得到提纯的面部动作特征用于微表情识别。

总体的框架

区别于当前人脸区域分块、注意力机制等方法学习人脸局部区域的AU特征，这类方法在训练阶段需要利用精确标注的AU标签，由于目前业界发布的AU数据集人数及图像总量不足，采用监督学习方法训练得到的模型往往呈现出在特定数据集上的过拟合现象，他们提出了一种能够在不依赖AU标签的前提下，从人脸视频数据中自动学习AU表征的方法（Twin-Cycle Autoencoder，简称TCAE）。TCAE用于后续的AU识别任务时，只需要利用训练数据训练一个分类器即可，显著减少了所需的训练数据，并提升了模型的泛化能力。

考虑到两帧人脸图像之间的运动信息包含了AU以及头部姿态的运动分量，TCAE通过利用巧妙的自监督约束信号，使得模型能够分离出AU变化引起的运动分量，以及头部姿态变化引起的运动分量，从而得到提纯的AU特征。与其他监督方法，TCAE可以利用大量的无标注人脸视频，这类视频是海量的。与半监督或者弱监督方法相比， TCAE采用了自监督信号进行模型训练，避免了对数据或者标签的分布做出任何假设。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!