论文阅读之《DeepIlluminance: Contextual IlluminanceEstimation via Deep Neural Networks》

ArXiv2019

Jun Zhang合肥工业大学

Tong Zheng合肥工业大学

Shengping Zhang哈尔滨工业大学（威海）

Meng Wang合肥工业大学

Introduction

回顾---Color Constancy Using CNNs (CVPR2015)

1.文章首次尝试使用CNN对光源进行估计。

2.对图像进行分块解决了CNN中需要大量训练数据的问题。

3.对图像的每一个块使用CNN进行光源估计最终在结合所有块的估计得到全局的光源估计。

缺点：当前图像块会可能会受到邻域块的影响做出错误的估计，不准确的局部估计在合并为全局预测时导致准确率下降。为了解决上述问题，文章提出了一种基于图像块的上下文深度网络用于光源估计。首先，基于中心环绕的上下文网络从图像块中提取局部上下文特征，生成初始光照估计和相应的颜色校正块。然后，细化网络将输入图像块与修正后的图像块结合起来，并利用中间特征来提高性能。实验表明，该方法在两种光源估计基准上均具有较好的性能。

Main work：

文中提出了一种新的基于图像块的上下文深度神经网络来进行光照估计和优化。网络由基于vgg16的前馈上下文网络和细化网络组成。

上下文网络：利用局部特征和邻域上下文特征生成初始光照估计e1，并通过对角变换校正输入的图像块得到p1。

精细化网络：通过将校正后的小块与原始小块叠加，在联合输入输出空间上有效地学习特征，并利用自身编码的带有跳跃连接的中间特征生成更精细的光照估计e2,e3,最终得到p2。

Contributions：

1.提出了一种新的基于图像块的上下文深度神经网络来估计光照。

2.通过在RGB空间中选择颜色差异较大的亮像素和暗像素对图像进行采样。这是第一次直接从颜色域采样图像块进行光照估计。

3.提出了一种分阶段的训练策略来利用光源颜色的初始估计和中间监督，从而在提升光源估计精度的同时提高了网络的效率。

Related Work

1.基于统计和物理模型

Gray world、White patch、Perfect reflection、Lanbertian surface…

假设图像的光源在空间上是一致的，此方法只是真实图像的近似，因此性能也受到限制。

2.基于机器学习的方法

Neural networks、Support vector regression、Bayesian estimation、Exemplar learning…

通过学习基于手工特征的目标函数来估计光照，这些方法无法估计物体颜色与光源颜色本质上相同的场景。此方法只是真实图像的近似，因此性能也受到限制。

3.基于CNN的颜色估计方法

(1)基于全局的方法

基于整体图像实现全局的光源估计。缺点：准确度差，训练困难，不常用。

(2)基于局部的方法

对图像块使用CNN进行光源估计最终再结合所有块的估计得到全局估计。 

缺点：由于图像块会受到周围块的影响，计算局部估计会很困难，整体预测的性能也会下降。

 Proposed method:

Experiments

数据集（三折交叉验证）

Color Checker Dataset(568张)

NUS 8-camera dataset(8组,每组210张)

Patch sampling：

将一幅图像的所有像素投影到平均向量上，然后对投影距离进行排序。排名在顶部d%距离的像素被选择为亮像素，而底部d%是暗像素。然后随机抽取M个中心patch及其周围的2倍中心patch作为网络输入。

Conclusion

1.文章提出了一种新的基于图像块的上下文深度神经网络进行光源估计的解决方案。

2.该网络可以提取局部上下文信息解决了用深度学习进行光源估计中局部光源估计不准的问题。

我的想法

1.该模型提供了一个很好的使用经典CNN模型(Lenet, Alexnet, VGG, Inception, Resnet…)解决光源估计问题的思路,可以在其他模型上进行改进。

2.进一步明确了基于深度学习的光源估计问题的一般解决思路（基于图像块，局部->全局）。

3.可以考虑在有ground truth的数据集（低光照，沙尘，雾天等）上进行验证和改进。