FFMPEGTips(3)如何读取每一帧的信息-创新互联
本文是我的《FFMPEG Tips》系列的第三篇文章,上篇文章 介绍了如何提取整个音视频码流的媒体信息,包括:封装格式、编码格式、视频的分辨率、帧率、码率、音频的采样率、位宽、通道数等等,而本文则关注得更细一点,看看如何利用 ffmpeg 读取码流中每一帧的信息。
成都创新互联主营吉安网站建设的网络公司,主营网站建设方案,app软件开发,吉安h5微信小程序搭建,吉安网站营销推广欢迎吉安等地区企业咨询1. 码流中每一帧的哪些信息值得关注 ?
[ ] 音频帧还是视频帧
[ ] 关键帧还是非关键帧
[ ] 帧的数据和大小
[ ] 时间戳信息
2. 为什么要关注这些信息 ?
[ ] 音频帧还是视频帧 -> 分别送入音频/视频×××
[ ] 关键帧还是非关键帧 -> 追帧优化
[ ] 帧的数据和大小 -> 取出帧的内容
[ ] 时间戳信息 -> 音视频同步
3. 如何从 ffmpeg 取出这些信息 ?
ffmpeg 提供了一个函数 av_read_frame 来完成解封装的过程,它会从码流里面提取每一个音频、视频帧,它使用了结构体 AVPacket 来记录每一帧的信息。
读取一帧数据的代码示例如下(ic 即为 AVFormatContext 对象,码流的上下文句柄):
AVPacket avpkt; av_init_packet(&avpkt); while (!interrupt) { int ret = av_read_frame(ic, &avpkt); if (ret < 0) { break; } // processing } av_free_packet(&avpkt);
每循环一次,就从码流中解封装并且提取了一帧数据,并存放在了 AVPacket 结构体中。
3.1 如何判断是音频帧还是视频帧
上一篇文章我们提到过,使用下面的方法,获取码流中的 video_stream_idx 和 audio_stream_idx
int video_stream_idx = av_find_best_stream(ic, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0); int audio_stream_idx = av_find_best_stream(ic, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);
那么,此时就派上用场了,每一个 AVPacket 都有一个成员变量:stream_index,由该成员变量即可判断这个 Packet 到底是音频还是视频了:
if (avpkt.stream_index == video_stream_idx) { LOGD("read a video frame"); } else if (avpkt.stream_index == audio_stream_idx) { LOGD("read audio frame); }
3.2 如何判断是否为关键帧
判断是否为关键帧的方法也比较简单,示例如下:
if (avpkt.flags & AV_PKT_FLAG_KEY) { LOGD("read a key frame"); }
3.3 如何获取帧的数据和大小
帧的数据和大小直接定义在 AVPacket 结构体中,对应的成员变量如下:
// 压缩编码的数据,一帧音频/视频 uint8_t *data; // 数据的大小 int size;
3.4 如何获取帧的时间戳信息
每一个帧都可能携带有 2 个时间戳信息,一个是解码时间戳 dts,一个是显示时间戳 pts,解码时间戳告诉我们什么时候需要解码,显示时间戳告诉我们什么时候需要显示,只有在码流中存在 B 帧的情况下,这两个时间戳才会不一致。
这些时间戳信息不一定存在于码流中(取决于生产端),如果不存在,则其值为:AV_NOPTS_VALUE
一定要选择正确地方式打印时间戳,时间戳是使用 long long 来表示的,即 int64_t,因此打印的时候,需要使用 “%lld” 来打印,例如:
while (!interrupt) { int ret = av_read_frame(player->ic, &avpkt); if (ret < 0) { break; } if (avpkt.stream_index == video_stream_idx) { LOGD("read video frame, timestamp = %lld \n”, avpkt.pts); } else if (avpkt.stream_index == audio_stream_idx) { LOGD("read audio frame, timestamp = %lld \n”, avpkt.pts); } }
由此,我们就可以通过这些 log 信息调试一下某一段音视频流的时间戳是否正确,比如是否出现了时间戳的回滚和错乱,则必然会导致播放端出现音视频不同步或者显示异常等情况。
4. 小结
关于如何使用 FFMPEG 如何读取每一帧的信息就介绍到这儿了,文章中有不清楚的地方欢迎留言或者来信 lujun.hust@gmail.com 交流,关注我的新浪微博 @卢_俊 或者 微信公众号 @Jhuster 获取最新的文章和资讯。
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
新闻标题:FFMPEGTips(3)如何读取每一帧的信息-创新互联
当前路径:http://myzitong.com/article/cdooii.html