当前位置:网站首页>【网易云信】超分辨率技术在实时音视频领域的研究与实践
【网易云信】超分辨率技术在实时音视频领域的研究与实践
2022-07-05 15:26:00 【InfoQ】
前言
超分辨率技术概述
超分辨率技术的分类与发展方向
传统超分辨率重建算法
- 基于插值的超分辨率重建:基于插值的方法将图像上每个像素都看做是图像平面上的一个点,那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程,这通常由一个预定义的变换函数或者插值核来完成。基于插值的方法计算简单、易于理解,但存在较为明显的缺陷。复原出的图像常常出现模糊、锯齿等现象。常见的基于插值的方法包括最近邻插值法、双线性插值法和双立方插值法等。
- 基于退化模型的超分辨率重建:此类方法从图像的降质退化模型出发,假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息,并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。常见的方法包括迭代反投影法、凸集投影法和最大后验概率法等。
- 基于学习的超分辨率重建:基于学习的方法则是利用大量的训练数据,从中学习低分辨率图像和高分辨率图像之间某种对应关系,然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像,从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码方法。
基于深度学习的超分辨率重建算法
实时视频超分辨率的挑战
- 主观效果不佳,直接使用以上提到的基于深度学习的超分辨率算法,会发现其主观效果和 Bicubic 等传统算法差不多,对视频画质的提升效果很有限。
- 学界 SOTA 方法网络模型参数量过大,即使以轻便称的诸多网络,参数量也都大于 500K,这就导致模型运算量过大,推理很慢,无法满足移动端实时处理视频的要求。
云信 AI 超分
基于真实下采样的训练数据
云信超分辨率算法
- 模型压缩:在实际落地过程中,为了满足实时处理的要求,我们在CVPR NTIRE 2022 高效率超分挑战赛参赛模型-一种面向边缘的高效特征蒸馏模块(EFDN)的基础上,利用通道剪枝,知识蒸馏等模型压缩技术在优化后的模型架构上进一步减少模型中冗余的参数,去掉对模型性能贡献小的通道,达到减小模型复杂度的目的。同时采用量化技术将权重以低比特存储,从而减小模型体积,加速计算。
- 工程优化:在移动设备算力、内存带宽有限的情况下,既要满足超分算法实时处理视频的要求,又不能增加太多耗电,对工程化部署要求非常高。我们在工程侧的优化主要通过 SIMD,模型内存优化,数据排布优化等优化方法节省内存开销以及推理耗时,同时深度结合业务场景实现算法在渲染管线与设备之间内存零拷贝,完成了算法的高性能落地。
效果展示与未来展望
- 提升视频清晰度,利用高端机屏幕的高分辨率优势,低清视频高清播放,高清视频提供超高清画质,提升用户视频消费体验。
- 降低带宽,通过发送端/服务端降低转码分发视频分辨率,结合接收端超分处理呈现高分辨率效果,降低高清播放门槛,提升流畅度,减轻用户网络压力。
边栏推荐
- Appium automation test foundation - appium basic operation API (II)
- First PR notes
- Appium自动化测试基础 — APPium基础操作API(一)
- Example of lvgl display picture
- keep-alive
- How difficult is it to pass the certification of Intel Evo 3.0? Yilian technology tells you
- Data communication foundation ACL access control list
- vant tabbar遮挡内容的解决方式
- Number protection AXB function! (essence)
- 事务回滚异常
猜你喜欢
18.[STM32]读取DS18B20温度传感器的ROM并实现多点测量温度
Usage and usage instructions of JDBC connection pool
Write a go program with vscode in one article
Bugku's Eval
Appium自动化测试基础 — APPium基础操作API(二)
Transfer the idea of "Zhongtai" to the code
swiper. JS to achieve barrage effect
Intelligent metal detector based on openharmony
keep-alive
Li Kou today's question -729 My schedule I
随机推荐
The OBD deployment mode of oceanbase Community Edition is installed locally
sql中查询最近一条记录
Appium自动化测试基础 — APPium基础操作API(一)
19.[STM32]HC_SR04超声波测距_定时器方式(OLED显示)
Explanation report of the explosion
lvgl 显示图片示例
基于OpenHarmony的智能金属探测器
I spring and autumn blasting-1
list集合根据对象某属性求和,最大值等
Anti shake and throttling
MySQL表字段调整
Data communication foundation - Ethernet port mirroring and link aggregation
wyt 。。
机械臂速成小指南(九):正运动学分析
Aike AI frontier promotion (7.5)
Noi / 1.4 07: collect bottle caps to win awards
如何将 DevSecOps 引入企业?
五种常见的咨询公司谈判策略以及如何维护自己的利益
SQL injection sqllabs (basic challenges) 11-20
episodic和batch的定义