当前位置:网站首页>超分辨率技术在实时音视频领域的研究与实践
超分辨率技术在实时音视频领域的研究与实践
2022-07-05 15:26:00 【InfoQ】
前言
超分辨率技术概述
超分辨率技术的分类与发展方向
传统超分辨率重建算法
- 基于插值的超分辨率重建:基于插值的方法将图像上每个像素都看做是图像平面上的一个点,那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程,这通常由一个预定义的变换函数或者插值核来完成。基于插值的方法计算简单、易于理解,但存在较为明显的缺陷。复原出的图像常常出现模糊、锯齿等现象。常见的基于插值的方法包括最近邻插值法、双线性插值法和双立方插值法等。
- 基于退化模型的超分辨率重建:此类方法从图像的降质退化模型出发,假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息,并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。常见的方法包括迭代反投影法、凸集投影法和最大后验概率法等。
- 基于学习的超分辨率重建:基于学习的方法则是利用大量的训练数据,从中学习低分辨率图像和高分辨率图像之间某种对应关系,然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像,从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码方法。
基于深度学习的超分辨率重建算法
实时视频超分辨率的挑战
- 主观效果不佳,直接使用以上提到的基于深度学习的超分辨率算法,会发现其主观效果和 Bicubic 等传统算法差不多,对视频画质的提升效果很有限。
- 学界 SOTA 方法网络模型参数量过大,即使以轻便称的诸多网络,参数量也都大于 500K,这就导致模型运算量过大,推理很慢,无法满足移动端实时处理视频的要求。
云信 AI 超分
基于真实下采样的训练数据
云信超分辨率算法
- 模型压缩:在实际落地过程中,为了满足实时处理的要求,我们在 CVPR NTIRE 2022 高效率超分挑战赛参赛模型-一种面向边缘的高效特征蒸馏模块(EFDN)的基础上,利用通道剪枝,知识蒸馏等模型压缩技术在优化后的模型架构上进一步减少模型中冗余的参数,去掉对模型性能贡献小的通道,达到减小模型复杂度的目的。同时采用量化技术将权重以低比特存储,从而减小模型体积,加速计算。
- 工程优化:在移动设备算力、内存带宽有限的情况下,既要满足超分算法实时处理视频的要求,又不能增加太多耗电,对工程化部署要求非常高。我们在工程侧的优化主要通过 SIMD,模型内存优化,数据排布优化等优化方法节省内存开销以及推理耗时,同时深度结合业务场景实现算法在渲染管线与设备之间内存零拷贝,完成了算法的高性能落地。
效果展示与未来展望
- 提升视频清晰度,利用高端机屏幕的高分辨率优势,低清视频高清播放,高清视频提供超高清画质,提升用户视频消费体验。
- 降低带宽,通过发送端/服务端降低转码分发视频分辨率,结合接收端超分处理呈现高分辨率效果,降低高清播放门槛,提升流畅度,减轻用户网络压力。
边栏推荐
猜你喜欢
Aike AI frontier promotion (7.5)
MySQL 巨坑:update 更新慎用影响行数做判断!!!
Ionic Cordova project modification plug-in
Appium自动化测试基础 — APPium基础操作API(二)
MySQL giant pit: update updates should be judged with caution by affecting the number of rows!!!
研发效能度量指标构成及效能度量方法论
力扣今日题-729. 我的日程安排表 I
Why should we learn mathematical modeling?
vlunhub- BoredHackerBlog Social Network
keep-alive
随机推荐
Go language programming specification combing summary
Codasip为RISC-V处理器系列增加Veridify安全启动功能
The elimination strategy of redis
Information collection of penetration test
ionic cordova项目修改插件
MySQL5.7的JSON基本操作
Good article inventory
Bugku's Ping
19.[STM32]HC_ SR04 ultrasonic ranging_ Timer mode (OLED display)
vant tabbar遮挡内容的解决方式
How can the boss choose programmers to help me with development?
vlunhub- BoredHackerBlog Social Network
Value series solution report
Defining strict standards, Intel Evo 3.0 is accelerating the upgrading of the PC industry
力扣今日题-729. 我的日程安排表 I
数学建模之层次分析法(含MATLAB代码)
Data communication foundation ACL access control list
Appium automation test foundation - appium basic operation API (II)
Appium自动化测试基础 — APPium基础操作API(一)
19.[STM32]HC_SR04超声波测距_定时器方式(OLED显示)