2020 - AAAI - Image Inpainting论文导读《Learning to Incorporate Structure Knowledge for Image Inpainting》

1. 论文动机：

以往的Inapinting论文主要分为两大类，一类是基于传统方法的图像修复（效果并不理想），另一类是基于深度学习的补全方法。现在比较先进的算法、模型大多都是基于深度学习的，但是处理多缺失部分的补全、大面积缺失部分的补全，效果并不是很理想，会出现模糊、伪影、语义不符等影响补全效果的问题。那么，如果我们能够构造基于这些结构（纹理、语义等重要结构信息）的损失函数对其加以训练，那么效果很可能会提升很多。

2. 论文创新

这篇论文利用的前人的模型，生成器由编码器和解码器构成，编码器是全局共享的，而解码器是多样的，能够学习到多种特征。编码器采用两次下采样，解码器采用两次上采样。在以往模型的基础上，改该论文提出了两个新的模块。

Ⅰ. 结构创新

（1）多任务学习框架（结构嵌入）

结构嵌入层首先进行结构特征的学习并进行预测，进而通过级联的方式将特征恢复回来，这种操作为特征提取提供了结构优先级，也减少了不利因素的影响。

（2࿰