音视频基础知识
什么是视频
视频帧
帧，是视频的一个基本概念，表示一张画面，如上面的翻页动画书中的一页，就是一帧。一个视频就是由许许多多帧组成的。
帧率
帧率，即单位时间内帧的数量，单位为：帧/秒 或fps（frames per second）。如动画书中，一秒内包含多少张图片，图片越多，画面越顺滑，过渡越自然。
帧率的一般以下几个典型值：
24/25 fps：1秒 24/25 帧，一般的电影帧率。
30/60 fps：1秒 30/60 帧，游戏的帧率，30帧可以接受，60帧会感觉更加流畅逼真。
85 fps以上人眼基本无法察觉出来了，所以更高的帧率在视频里没有太大意义。
色彩空间
- YUV
早期的电视都是黑白的，即只有亮度值，即Y。有了彩色电视以后，加入了UV两种色度，形成现在的YUV，也叫YCbCr。
Y：亮度，就是灰度值。除了表示亮度信号外，还含有较多的绿色通道量。
U：蓝色通道与亮度的差值。
V：红色通道与亮度的差值。
采用YUV有什么优势呢？
人眼对亮度敏感，对色度不敏感，因此减少部分UV的数据量，人眼却无法感知出来，这样可以通过压缩UV的分辨率，在不影响观感的前提下，减小视频的体积。
- RGB和YUV的换算
1 | Y = 0.299R ＋ 0.587G ＋ 0.114B |
什么是音频
音频数据的承载方式最常用的是脉冲编码调制，即PCM。
采样率和采样位数
采样率，即采样的频率。
采样率要大于原声波频率的2倍，人耳能听到的最高频率为20kHz，所以为了满足人耳的听觉要求，采样率至少为40kHz，通常为44.1kHz，更高的通常为48kHz。
视频编码
H264编码简介
H264是目前最主流的视频编码标准，所以我们后续的文章中主要以该编码格式为基准。
H264由ITU和MPEG共同定制，属于MPEG-4第十部分内容。
视频帧
视频是由一帧一帧画面构成的，但是在视频的数据中，并不是真正按照一帧一帧原始数据保存下来的（如果这样，压缩编码就没有意义了）。
H264会根据一段时间内，画面的变化情况，选取一帧画面作为完整编码，下一帧只记录与上一帧完整数据的差别，是一个动态压缩的过程。
在H264中，三种类型的帧数据分别为
I帧：帧内编码帧。就是一个完整帧。
P帧：前向预测编码帧。是一个非完整帧，通过参考前面的I帧或P帧生成。
B帧：双向预测内插编码帧。参考前后图像帧编码生成。B帧依赖其前最近的一个I帧或P帧及其后最近的一个P帧。
音视频容器
前面我们介绍的各种音视频的编码格式，没有一种是我们平时使用到的视频格式，比如：mp4、rmvb、avi、mkv、mov…
没错，这些我们熟悉的视频格式，其实是包裹了音视频编码数据的容器，用来把以特定编码标准编码的视频流和音频流混在一起，成为一个文件。
例如：mp4支持H264、H265等视频编码和AAC、MP3等音频编码
以上就是 音视频相关的一些概念和术语的简单了解，后续如果有更多奇怪的支持增加了，会持续补充。
- 视频旁路 sei 插帧技术
音视频硬解码流程：封装基础解码框架
主要简介Android使用硬解码API实现硬解码的流程，包含MediaCodec输入输出缓冲、MediaCodec解码流程、解码代码封装和讲解。
参考链接及更多细节
