基于Unet的环路滤波

本文来自大华在JVET工作组的提案JVET-Y0086《A Unet-Based Deep In-Loop Filter》

简介

---

由于DNN在图像去噪和细节还原上效果显著，如果用于视频编码的环路滤波环节则能更好的重建图像提高编码效率。提案提出了基于HDRUnet的环路滤波技术，其中HDRUnet是一种基于Unet的网络。

网络结构

图1 网络结构

图1是网络结构，对于亮度分量网络输入尺寸是160x160，在CTU尺寸128x128基础上每个方向往外填充16个像素，同时对应的色度块上采样到160x160作为输入。

处理色度时，网络输入尺寸是80x80，在色度CTU尺寸64x64基础上每个方向往外填充8个像素，同时对应的亮度块下采样到80x80作为输入。

亮度和色度分别训练不同的模型，其中两个色度分量共用一套模型参数。

该模型作用于环路滤波SAO之后，ALF之前。并且在SPS中通过标志位控制该工具的开启，同时帧级对亮度和色度分量分别有标志位表示是否开启。

训练和推导信息

---

对于不同QP={22,27,32,37,42}分别训练模型，所以亮度和色度各有5个模型。模型训练使用PyTorch框架，并使用Libtorch集成到VTM11.0_NNVC。

模型训练信息如表1，

模型推导信息如表2，

实验结果

在VTM11.0_NNVC上AI配置下，该方法Y、U、V的BD-Rate分别为 -6.08%、 -20.34%、 -21.13%

感兴趣的请关注微信公众号Video Coding