无约束低分辨率人脸识别综述二：异构低分辨率人脸识别方法

异构人脸识别问题的方法，即：投影方法（耦合映射）和合成方法（超分辨率）。

1、投影方法在低分辨率人脸识别文献中称为耦合映射方法，旨在将两个域投影到同一个统一空间中。

2、合成方法通常称为超分辨率方法，旨在将领域投影到另一个领域。在这种情况下，低分辨率图像被投影到高分辨率域以执行人脸识别。

 1、耦合映射方法

通过将HR和VLR图像投影到单个统一空间来表示不同域的数据。然后，计算分类和后验优化操作的相似性度量。

（1）传统方法

（1.1）MDS（ Multidimensional Scaling）

       多维缩放（MDS）方法提出了使用具有三个不同正则化项的组合变换矩阵优化变换特征向量之间的距离。优化的目标是近似距离在投影空间中的变换特征向量，默认是高分辨率空间中采样的距离。

ps：正则化项使用一个独立的参数来控制样本在高分辨率空间中距离的近似率和类可分性。

 （1.2）Pose-Robust MDS

ps：在MDS计算后引入了位姿估计。

a、位姿估计过程首先在从训练低分辨率集提取的张量基上投影识别的图像，然后使用基准位置估计位姿相对于训练集的中值基准位置。（涉及训练集中受试者的建模模式矩阵、视点空间、照明和特征图像向量。）

b、在计算张量脸部分量之后，计算用于脸部归一化的系数向量。

ps：MDS和位姿组件是独立训练的。

（1.3）DMDS（Discriminative Multidimensional Scaling ）

      找到投影矩阵，以最小化公共隐藏子空间中类内样本之间的距离。具有两个额外的类间和类内约束，以在隐藏子空间中添加判别势。这些约束有助于投影矩阵优化，根据其类别使用隐藏子空间中的投影样本距离。

（1.4）LMCM（Large Margin Coupled Mappings ）

a、该方法构造类间和类内图，然后通过使用类间图的图距离中的权重来最大化类边缘学习投影矩阵。反之亦然，用于类内图中的权重。

b、引入类内散射作为正则化项。该方法使用散射矩阵方法计算类间和类内距离。

（2）深度方法

（2.1）Deep Coupled ResNet method 

由一个专注于跨不同分辨率特征提取的剩余主干网络和两个最小化类内样本之间距离的分支网络组成。两个支路网络使用相同的损失函数进行优化。

 优点：使用主干网络提取特征的鲁棒性，使用PReLU激活函数。

实现了SCface数据集的最佳识别率。对于位于4.2米处的摄像机，其精度为73.3%。

缺点：通过在各个步骤中使用双线性插值来对分辨率因子进行假设，这种数据增强策略并不算理想。

改进建议：a、人脸幻觉的超分辨率来改进图像重建过程；

                  b、使用不同的网络设计来合成不同分辨率的图像。

（2.2）GenLR-Net

使用VGG网络作为主干网络，还包括一个小的超分辨率组件。

两个子网络：（1）低分辨率图像；（2）高分辨率图像。

两个损失函数：（1）在最终卷积和池化层之前的类间和类内损失；（2）完全连接层的对比损失。

ps：对比损耗的梯度仅传播到低分辨率网络，而不传播到高分辨率网络。

（2.3）Transferable Coupled Network (TCN) 

通过从固定和预训练的HR子网络及其优化过程中学习LR子网络参数来缩小域差距。

 使用三元组损失来学习HR和LR锚点，并使用来自同一类的跨分辨率样本来更新它们。

可转移的三元组损失还强制增强了身份锚点的类间边距。在HR和LR子网中使用VGGFACE或ResNet作为主干框架。

ps：在LFW和SCface数据集中，使用ResNet进行特征提取优于VGGFace替代方法，但计算成本要高得多。(在SCface数据集上的平均精度性能为89.37%，在LFW数据集上的VLR探针尺寸为95.05%。)

 2、超分辨率方法

超分辨率方法旨在将低分辨率图像放大一个因子，通常为4×。对于极低分辨率人脸识别，他们首先将极低分辨率图像提升到高分辨率空间，然后执行人脸识别。

 

ps：评价超分辨率方法的指标是结构相似性指数（SSIM）和峰值信噪比（PSNR）。

（1）传统方法

（1.1）S2R2匹配

        同时具有超分辨率和识别功能。该方法通过首先使用SR矩阵对图像进行超分辨率重建，然后使用另一个LR矩阵对图像进行降采样，并在低分辨率空间中进行比较来执行合成。优化的第二部分用于测量超分辨率图像的平滑度。第三个分量测量从HR地面真值提取的特征与超分辨率图像的特征之间的差异。

（1.2）CLLR-SR

在CLLR-SR上，使用典型相关分析（CCA）方法跨分辨率建模相邻图像之间的关系来重建特定的人脸细节和整个人脸。

目标：将人脸图像特征从PCA向量投影到相干子空间，然后使用CCA步骤获得的基向量使LR特征的转换与HR特征更相关。

（2）深度方法 

（2.1）Cascaded Super-Resolution with Identity Prior(C-SRIP) 

      由级联训练方法的三个连续超分辨率模块组成。每个SR模块都是一个基于ResNet的子网络，其末端具有卷积、Leaky-Relu和子像素卷积。这些模块使用单独的预训练SqueezeNets进行训练，在每个分辨率下引入先验身份。

 

最终损失函数：每个尺度下SqueezeNet的先验身份的交叉熵损失和多尺度SSIM损失之和。

（2.2）Complement Super-Resolution and Identity(CSRI) 

 使用具有两个并行分支的两个子网络：（1）处理合成低分辨率图像和高分辨率原图，（2）仅处理本地低分辨率图像识别。

关键方面：来自两个分支的共享参数。

（2.3） Feature Adaptation Network (FAN)

使用双分支架构缩小域间差距，分离人脸组件特征学习，并对人脸图像进行后向解码和重新编码，该架构是一种基于GAN的方法。

单独编码人脸和非身份特征可以优化密切相关的人脸身份特征，而在损失函数时忽略其余特征。因此，身份特征是用于分类唯一的特征。其余特征仅用于重建。

（2.4） Dual Directed Capsule Network for V ery Low Resolution Image Recognition

 

a、该方法利用本地低分辨率图像，并使用双线性插值进行训练。

b、缩小了本地人的规模高分辨率图像到低分辨率。作者利用特征提取策略，将任何高分辨率信息作为“锚”，以指导低分辨率原生图像的特征提取。（通过引入新的“高分辨率锚点”损失函数以及在特征提取和后超分辨率阶段传播识别梯度来实现的。）

（2.5） Compact Super-Resolution Network (ComSupResNet) 

ps：一种仅使用两层提取VLR特征的单一网络架构。

由一个带边界填充的9×9滤波器组成。然后，以级联训练方式呈现重构模块，每个模块后将比例因子增加2倍。每个模块中的内部重建块都有残差连接。然而，每个模块中的块数不同，导致参数数量减少。