【读书会第十三期】视频文件的编码格式

FFmpeg的视频编码格式

FFmpeg支持很多视频编码格式，比如MPEG4、H263、 H264、 H265、 VP8、 VI9 等。
我们重点学习的是H264视频编码格式。

H263的码率控制

1. VBR: Variable BitRate,动态码率模式，其码率可以随着图像的复杂程度的不同而变化，因此其编码效率比较高。
2. CBR: Constant Bi tRate,恒定码率模式，由于码率恒定，有画面剧烈变化时，QP参数会增大，图像质量会变差，当场景静止时，又浪费带宽。该模式的整体图像质量不稳定。
3. ABR: Average BitRate,平均码率模式，是VBR的一种衍生形式，在指定的文件大小内，静态或者接近静态的画面部分使用相对较低的流量，复杂画面部分使用较高的流量，可以视为是VBR 和CBR 的一种折衷方案。

H264帧参考关系

这里首先我把下面三种帧的参考关系放出来，以便后续理解。

H264的I帧类型

1. 一个GOP序列的第一个图像叫做IDR 图像(立即刷新图像)，IDR 图像都是I帧图像，但I帧不一定都是IDR帧， 只有GOP序列的第1个I帧是IDR帧。
2. I帧， 又叫帧内参考帧，保留一帧完整的画面。
3. 解码时仅用1帧的数据就可重构出完整的图像。
4. 1帧不需要参考其他画面而生成。
5. I帧是P帧和B帧的参考帧。
6. I帧不需要考虑运动矢量。
7. I帧所占数据的信息量最大。

H264的B帧类型

1. B帧，又叫双向参考帧，也就是B帧记录的是本帧与前后帧的差别，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。
2. B帧的压缩率最高，但是解码时CPU使用率会比较高。
3. B帧是由前面的I或P帧和后面的P帧来进行预测的。
4. B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量。
5. B帧不是参考帧，不会造成解码错误的扩散。

H264的P帧类型

1. P帧，又叫前向参考帧，表示的是这一-帧跟之前的一 个关键帧(或P帧)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面，P帧没有完整画面数据，只有与前一-帧的画面差异的数据。
2. P帧是1帧后面相隔1^ 2帧的编码帧。
3. P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差)。
4. P帧属于前向预测的帧间编码。它只参考前面最靠近它的1帧或P帧。
5. P帧可以是其后面P帧的参考帧，也可以是其前后的B帧的参考帧。
6. P帧是参考帧，可能会造成解码错误的扩散。
7. P帧的压缩比介于I帧和B帧之间。

总结：

本期的学习可以让我们了解到常见的视频编码格式中都是怎么对视频进行码率控制的，特别是常见的H264,通过IBP三种帧类型来完成视频的校验可以说是非常的完备了。