当前位置:网站首页>基于深度学习的参考帧生成
基于深度学习的参考帧生成
2022-07-06 12:46:00 【Dillon2015】
本文来自提案JVET-T0058和JVET-U0087,该方法通过插帧的方法生成虚拟参考帧用于帧间预测。整个模型由几个子模型组成,分别进行光流估计、补偿和细节增强。
整体架构
整体架构如Fig.1所示,在视频编码过程中DPB中存着用于运动估计的参考帧,根据GOP结构当前帧有一个或多个前向、后向参考帧。提案中默认使用POC距离当前帧最近的两个参考帧生成虚拟参考帧,如Fig.1中当前帧POC是5,则使用POC为4和6的帧生成参考帧。生成的虚拟参考帧会被放入DPB用于参考,虚拟参考帧的POC设置为和当前帧相同。为了防止影响时域MVP中根据POC距离的MV缩放过程,虚拟参考帧的MV都设为0且被用作长期参考帧。在提案中,当前帧解码完成后虚拟参考帧就从DPB中移除。
对于高分辨率序列(4K或8K)由于资源受限不能对整帧直接使用神经网络处理,此时假设虚拟参考帧被分为多个区域,每个区域单独使用网络生成,然后将这些区域拼成参考帧。
网络模型
一般的视频插帧大都利用了光流估计和补偿,一般使用双向光流方法,然后通过一个线性模型将两个光流合成一个。提案中仅使用单光流模型。
如Fig.2,首先通过光流估计模型生成光流(输入为POC距离最近的两个参考帧),然后通过backward warping过程处理光流,处理后的光流和两个参考帧再通过fusion过程合成中间帧。中间帧会通过细节增强模型提升质量,细节增强模型包含两部分,PCD(Pyramid, Cascading and Deformable)用于时空优化和TSA (Temporal and Spatial Attention)用于提高重要特征的attention。
实验结果
感兴趣的请关注微信公众号Video Coding
边栏推荐
- Rhcsa Road
- Minimum cut edge set of undirected graph
- 2022 nurse (primary) examination questions and new nurse (primary) examination questions
- Statistical inference: maximum likelihood estimation, Bayesian estimation and variance deviation decomposition
- Logic is a good thing
- 看过很多教程,却依然写不好一个程序,怎么破?
- Use of OLED screen
- Summary of different configurations of PHP Xdebug 3 and xdebug2
- How does kubernetes support stateful applications through statefulset? (07)
- PHP online examination system version 4.0 source code computer + mobile terminal
猜你喜欢
[diy] how to make a personalized radio
Quel genre de programmation les enfants apprennent - ils?
【mysql】触发器
Trends of "software" in robotics Engineering
OAI 5g nr+usrp b210 installation and construction
性能测试过程和计划
Application layer of tcp/ip protocol cluster
监控界的最强王者,没有之一!
Why do novices often fail to answer questions in the programming community, and even get ridiculed?
Detailed explanation of knowledge map construction process steps
随机推荐
2110 summary of knowledge points and common problems in redis class
华为设备命令
APS taps home appliance industry into new growth points
Basic knowledge of lists
Web开发小妙招:巧用ThreadLocal规避层层传值
Rhcsa Road
逻辑是个好东西
I've seen many tutorials, but I still can't write a program well. How can I break it?
“罚点球”小游戏
How does kubernetes support stateful applications through statefulset? (07)
什么是RDB和AOF
全网最全的新型数据库、多维表格平台盘点 Notion、FlowUs、Airtable、SeaTable、维格表 Vika、飞书多维表格、黑帕云、织信 Informat、语雀
面试官:Redis中有序集合的内部实现方式是什么?
Yyds dry goods count re comb this of arrow function
Manifest of SAP ui5 framework json
Select data Column subset in table R [duplicate] - select subset of columns in data table R [duplicate]
小孩子學什麼編程?
每个程序员必须掌握的常用英语词汇(建议收藏)
Summary of different configurations of PHP Xdebug 3 and xdebug2
use. Net drives the OLED display of Jetson nano