图像修复方法研究综述----论文笔记

原文链接

图像修复方法研究综述

图像修复的应用

1. 对象移除

2. 修复图像

3. 图片修饰

4. 文字移除

修复方法

传统的修复方法

“根 据修复思想的不同，它可以被分为基于偏微分方程 (Partial Differential Equation，PDE)的图像修复方法 和基于样本的图像修复方法。”

（1）基于偏微分方程的方法

“利用数学或物理学中的偏微分方 程，将图像已知区域像素平滑传播到缺失区域中以 修复破损图像。”

（2）基于样本的图像修复方法

“基于样本的图像修复方法通过计算并搜索破 损图像缺失区域与已知区域相似度最高的样本，并 将其复制粘贴到缺失区域内以修复破损图像。”

基于深度学习的图像修复方法

“依据生成图像数量的不同，将其分为单元图像修 复方法和多元图像修复方法。”

“单元图像修 复方法指对于单张输入图像生成单张修复图像”

“多元 图像修复方法指对于单张输入图像生成多张修复图像”

四种单元图像修复方法的对比

“Transformer 类修复方法性能优于其他 三类修复方法，究其原因是 Transformer[9]模型可以 利用自注意力机制获取较大感受野，实现图像远距 离信息的获取进而生成语义一致且视觉合理的修 复结果。”

“Encoder-Decoder 类、U-Net 类和 GAN 类修复方法修复小缺失区域(10%-40%)的破损图像 效果较好，虽然 Transformer 类修复方法评价数据集 少，但其在部分数据集的大缺失区域(30%-50%)修 复中仍表现出优于其他类修复方法的修复效果。”

“当前图像修复仍然重点研究人脸与场景图 像的修复，而忽略了其它图像数据集的修复，例如 街景、纹理、建筑等图像数据集。”

研究前景

“接下来因重点研究如何在计算成本低 的条件下实现高保真图像的修复、高分辨率图像的 修复和大缺失区域的修复。”

“场景、街景图像的修复仍 存在大量发展空间。”

“大缺失区域的破损图像修复仍存在较大研究空间。”

数据集

文中给出了目前所用的一些公开图像数据集和掩码数据集，图像数据集包含了建筑、纹理、街景、场景和人脸等。

图像评价的指标

全参考是指选择原始图像作为参考图像，比较生成图像 与原始图像之间的差异；半参考是指选择部分原始 图像作为参考，对生成图像进行比较分析；无参考 是指无需原始图像，直接对生成图像进行比较分析。

未来的研究方向

1. “如何同时实现图像纹理和结构两部分的补全”
   现存修复 方法主要包括仅修复纹理(如 MRF-Net[49])、仅修复 结构 (如 SI[34])、先修复结构后修复纹理 (如 EC[90]、 PRVS[67])三种修复思想。但是都存在一定的局限性。

2. “多元图像修复方法性能的提升以及其评价指标的研究”

3. “研究低计算成本的高分辨率图像修复模型 是当前最紧迫的任务之一”
   虽然 Transformer 类修复方法可以实现高分辨率图 像的修复并取得了高质量的修复结果，但是它们需要大量的计算成本和昂贵的实验设备，并不适合商用。Encoder-Decoder 类、U-Net 类、GAN 类修复方法虽然也可以通过堆叠卷积层获取较大 感受野进而实现高分辨率的图像修复，但是堆叠卷 积层随之也会带来计算成本的增加、修复模型的不 稳定等等不足。

4. “如何创建一个基于亚洲人脸图像的数据集 是未来研究的重点方向。”
   目前的研究主要是基于外国人脸的图像，这些图像数据集训练模 型并修复亚洲人脸时，会出现不准确甚至错误的修 复结果

5. “如何实现在不同任务和场景的人脸修复，是一个亟需解决的难题。”
   例如佩戴口罩、头发遮挡、 人脸重叠等等，这些问题都会提升人脸图像的修复 难度。

6. “设计无参考且可以准确反映图像质量的评价指标是当前修复面临的难题。”
   目前广泛使用的图 像修复评价指标 MAE[131]、PSNR[134]、SSIM[135]等 均为全参考指标，这类评价指标需要使用原始图像 作为参考对象,同时计算整幅图像像素相似性需要 大量时间。利用无参考的评价指标对修复的图像进行评价能够节省成本，具有重要意义。