开源与创新

”

8月5日-6日，LiveVideoStackCon 2022 音视频技术大会上海站，和你一同开启通向未来的大门。

开源与创新

在广阔的多媒体技术生态中，有大量的开源技术工具、框架和库， 比如被广泛使用的FFmpeg, GStreamer， SRS， WebRTC， X264/X265， VLC等， 这些开源项目奠定了多媒体行业的技术基础， 也为打通行业壁垒、全局优化业务提供了广阔的空间。同时，我们既能看到经典的开源项目的持续演进和优化，也能看到不断迸发的新的开源项目 ，它们很好地和各种创新场景（如物联网， 元宇宙， 云游戏）结合， 使得多媒体行业生机勃发。

讲师与议题

目前各大云厂商推出的低延时直播产品大都基于私有的信令协议和流媒体传输协议，导致各厂商之间无法互联互通，限制了低延时直播的大规模发展。网易云信正在探索标准化的低延时直播方案，推出开源的低延时播放器，开放信令和媒体协议，使得一套低延时播放器SDK就可以对接多家低延时直播厂商，且可以自由定制，旨在推动整个低延时直播行业的发展。

本次分享主要介绍如何基于WebRTC搭建低延时播放器，以及云信在开源的低延时播放器上针对WebRTC做的一些优化，最后展望一下未来在开源低延时播放器上的优化方向。

Bitmovin 2021年视频开发者报告，低延迟直播被认为是当前行业最大的挑战，而支持低延迟是VLC 4.0的一个重大更新。实现低延迟直播依赖全链路的优化，包括编码采集、上行传输、后台处理、下行分发、播放控制等。在系统介绍全链路所面临的困难、行业解决方案和腾讯视频云的一些优化工作之后，深入分析VLC播放器如何实现低延迟播放。

Gstreamer作为一个比较流行的开源多媒体框架，其优秀的架构使其具有高度的模块化和良好的扩展性，并具有广泛的应用前景。从广义上说，不只是媒体流，Gstreamer可以扩展并处理任何一种数据流。在AI时代，随着例如DeepStream， DLStreamer等AI插件的推出, Gstreamer必将被越来越多的应用于集编解码，AI，渲染等于一体的综合应用场景中。

本次分享将大致分为三个部分，首先将会介绍Gstreamer的框架及特点，然后研究其视频的模块化处理及硬件加速，并讨论一些典型的应用实例，最后分享一些个人的开发经验以及开源社区的开发趋势和热点。

AI推理和图形一体的转码流程在数据中心中受到越来越多的关注，业界也已经部署了诸如虚拟主播和云端特效的应用。目前业界采用的方案多会将图形渲染和AI推理及转码分离，一个任务需要多个团队的多个管线完成。除推理和图形外，许多传统图像处理也缺乏面向转码的GPU方案。

FFmpeg作为业界广泛使用的转码平台，提供了丰富高效的视频处理能力，本次分享会介绍如何在FFmpeg中开发一个包含AI推理+图形的完整GPU转码管线，结合具体项目实例向大家介绍开发经验，并讨论如何分析性能测试数据。

 

---

扫描图中二维码或点击阅读原文

了解大会更多信息

喜欢我们的内容就点个“在看”吧！

本文分享自微信公众号 - LiveVideoStack（livevideostack）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。