当前位置：网站首页>DaGAN论文解读

DaGAN论文解读

2022-07-06 11:32:00 【‘Atlas’】

文章目录

解决问题
算法
实验
- SOTA方法比较
- 消融实验
结论

论文: 《Depth-Aware Generative Adversarial Network for Talking Head Video Generation》
github: https://github.com/harlanhong/CVPR2022-DaGAN

解决问题

现有问题：
现有视频生成方案主要利用2D表征，人脸3D信息实际上对于此任务至关重要，然后标注需要大量成本；

解决方法：
本文作者提出一种自监督方案，自动从人脸视频中生成稠密3D几何信息，不需要任何标注数据；依据此信息，进一步估计稀疏人脸关键点，用于捕获人头重要移动；深度信息也用于学习3D跨模态（外观与深度）attention机制，引导生成用于扭曲原图的运动场；
本文提出的DaGAN可生成高逼真人脸，且在未见过人脸上取得不错效果；

本文贡献主要包括以下三点：
1、引入自监督方式从视频中拟合深度图，并将其用于提升生成效果；
2、提出新颖的关注深度的GAN，通过深度引导的面部关键点估计及跨模态（深度及图像）attention机制，将深度信息引入生成网络；
3、充分实验展示人脸图片的准确深度拟合，同时生成效果超越SOTA；

算法

DaGAN方法如图2，由生成器和判别器构成；
生成器由三部分组成：
1、自监督深度信息学习子网络 $F_d$ ，从视频中两个连续帧自监督学习深度估计；然后固定 $F_d$ 进行整个网络训练；
2、深度信息引导的稀疏关键点检测子网络 $F_{kp}$ ；
3、特征扭曲模块利用关键点生成变化区域，其将扭曲源图特征已将外观信息与运动信息结合，得到扭曲特征 $F_w$ ；为确保模型关注细节及面部微表情，进一步学习关注深度信息的attention map，其精细化 $F_w$ 得到 $F_g$ ，用于生成图像 $I_g$ ；
在这里插入图片描述

自监督Face Depth Learning

作者借鉴SfM-Learner，做出优化，使用连续帧 $I_{i+1}$ 作为源图和 $I_i$ 作为目标图，学习集合元素，深度图 $D_{I_i}$ ，相近内参矩阵 $K_{ {I_i}->I_{i+1}}$ ，相关相机姿态 $R_{ {I_i}->I_{i+1}}$ 及变换 $t_{ {I_i}->I_{i+1}}$ ，与SfM-Learner不同的是相机内参K需要学习；
流程如图3：
1、 $F_d$ 提取目标图 $I_i$ 的深度图 $D_{I_i}$ ；
2、 $F_p$ 提取可学习参数 $R 、 t 、 K$ ；
3、根据等式3、4将源图 $I_{i+1}$ 进行几何变换得到 $I'_i$
在这里插入图片描述
$q_k$ 表示源图 $I_{i+1}$ 上扭曲的像素；
$p_j$ 表示目标图 $I_i$ 上原像素；
损失函数 $P_e$ 如式5所示，使用L1损失和SSIM损失

稀疏关键点运动建模

1、将RGB与 $F_d$ 提取深度图进行concat；
2、通过关键点估计模块 $F_{kp}$ 获取人脸稀疏关键点，如式6，由于引入深度图，使得预测关键点更加准确；
在这里插入图片描述
特征扭曲策略，如图4
1、如式7，计算原图与驱动图之间初始偏移 ${O_n}$ ；

2、生成2D坐标map z；
3、将O应用于z，得到运动区域 $w_m$ ；
4、使用 $w_m$ 扭曲降采样后的图片得到初始扭曲的特征图；
5、遮挡估计器 $\tau$ 通过扭曲的特征图预测运动流mask $M_m$ 及遮挡图 $M_o$ ；
6、使用 $M_m$ 扭曲 $I_s$ 经过编码器 $\epsilon_I$ 获得的外观特征图，将其与 $M_o$ 融合生成 $F_w$ ，如式8。 $F_w$ 既保留原图信息又提取两张脸之间运动信息。
在这里插入图片描述

跨模态attention机制

为了有效利用学习到的深度图提升生成能力，作者提出跨模态attention机制，如图5.
1、通过深度编码器 $\epsilon_d$ 提取深度图 $D_{sz}$ 特征图 $F_d$ ；
2、分别通过三个1X1卷积层将 $F_d$ 、 $F_w$ 映射为3个隐特征层 $F_q$ 、 $F_k$ 、 $F_v$ ；
3、如式9，通过attention生成 $F_g$ 。
在这里插入图片描述
4、通过解码器精细化 $F_g$ 生成最终图像 $I_g$ 。