ffmpeg简易播放器(3)--使用ffmpeg解码视频并用opencv显示视频
笔记以及源码的github地址 CrescentRose的githubffmpeg的安装
这里我采用的linux下编译源码的方式安装ffmpeg，当然也可以使用apt-get等方式安装，但是我当时使用apt-get安装的ffmpeg使用cmake总是找不到ffmpeg的库，所以我选择了编译源码的方式。
去官网下载最新的源码包
然后解压进入文件夹，使用自带的configure程序进行配置
./configure --prefix=/path/to/your/ffmpeg这里只配置了安装路径，这个路径决定了一会make install后ffmpeg会安装到哪里，其他的配置选项可以通过./configure --help查看或者网路搜索。
然后终端输入
make -j4# 执行完上一步后，输入make install# 若指定目录需要root权限别忘了加sudo使用cmake添加ffmpeg
由于ffmpeg并未提供类似于ffmpegConfig.cmake的配置文件，而是使用pkg-config来配置。
一般来说，pkg-config的配置文件.pc或者cmake的配置文件XXXConfig.cmake都会放在库安装包的/lib/pkgconfig或者/lib/cmake/XXX/目录下。
由于我想要用cmake去管理包，且ffmpeg本身的的量级其实很小，因此直接去写了一份FindFFMPEG.cmake文件
# FindFFMPEG.cmakeset(FIND_FFMPEG TRUE)set(FFMPEG_SOURCE /path/to/your/ffmpeg)set(FFMPEG_INCLUDE_DIRS ${FFMPEG_SOURCE}/include)set(FFMPEG_LIBDIRS_DIRS ${FFMPEG_SOURCE}/lib)find_library(FFMPEG_AVCODEC_LIBRARY avcodec ${FFMPEG_LIBDIRS_DIR})find_library(FFMPEG_AVFORMAT_LIBRARY avformat ${FFMPEG_LIBDIRS_DIR})find_library(FFMPEG_AVUTIL_LIBRARY avutil ${FFMPEG_LIBDIRS_DIR})find_library(FFMPEG_SWSCALE_LIBRARY swscale ${FFMPEG_LIBDIRS_DIR})find_library(FFMPEG_SWRESAMPLE_LIBRARY swresample ${FFMPEG_LIBDIRS_DIR})set(FFMPEG_LIBS ${FFMPEG_AVCODEC_LIBRARY} ${FFMPEG_AVFORMAT_LIBRARY} ${FFMPEG_AVUTIL_LIBRARY} ${FFMPEG_SWSCALE_LIBRARY} ${FFMPEG_SWRESAMPLE_LIBRARY})主要是通过find_library去找到ffmpeg的库文件，然后通过set设置变量。将这份配置文件与CMakeLists.txt放在同一目录下，在写CMakeLists.txt时，只需要添加如下代码
# CMakeLists.txt......# 省略# start......set(CMAKE_MODULE_PATH ${CMAKE_MODULE_PATH} ${CMAKE_CURRENT_SOURCE_DIR})find_package(FFMPEG REQUIRED)include_directories(${FFMPEG_INCLUDE_DIRS})......#省略# 生成可执行文件......target_link_libraries(${PROJECT_NAME} ${FFMPEG_LIBS})这里面引用了我要用的几个库，如果你要用其他库，可以在FindFFMPEG.cmake中添加对应的find_library，以及set对应的变量即可。
至于为啥这样做，可以看看我的另一篇findpackage()使用指南。
至于使用apt install ffmpeg的方式安装的ffmpeg，可以去搜索如何通过cmake去引用pkg-config管理的包，也可以参考我的另一篇zbar库的使用中引用zbar库的方式。
使用ffmpeg
由于ffmpeg是纯C语言编写的，而对于c语言来说，其不存在函数重载，因此纯c文件编译时生成的函数签名就是函数名。而c++由于函数重载，因此编译时会对函数名进行重整(称为符号修饰)，修饰后的函数名会包含函数参数的类型，个数等信息。这就导致c文件与c++文件编译时生成的函数签名不同，导致编译器连接时找不到对应的函数入口。
因此若想在c++文件中使用ffmpeg的函数，需要在c++文件中使用extern "C"修饰，告诉编译器这是一个c语言函数，不要对其进行符号修饰。
extern "C"{#include <libavcodec/avcodec.h>#include <libavformat/avformat.h>......}## 常用结构在使用ffmpeg解码音视频时，我们需要使用到一些常用的结构体，这里简单介绍一下。```c++AVFormatContext //格式上下文，用于存储音视频的格式信息如音视频流的个数，音视频流的编码信息等AVCodecContext //编解码上下文，用于存储编解码器以及编解码时的参数信息，如编解码器的类型，编解码器的参数等AVCodec //编解码器，用于存储编解码器的信息，如编解码器的名称，编解码器的类型等AVPacket //存储编码后的音视频数据AVFrame //存储解码后的音视频数据SwsContext //用于图像转换的上下文，可以将不同格式的图像转换为我们需要的格式SwrContext //用于音频转换的上下文，可以将不同格式的音频重采样为我们需要的格式解码视频
extern "C" {#include <libavformat/avformat.h>#include <libavcodec/avcodec.h>#include <libswscale/swscale.h>#include <libavutil/imgutils.h>}int main(){ .......}这就完成了准备工作。接下来就是获取视频的信息，打开视频文件，获取视频流的索引等操作。
// av_register_all() 很多教程第一句是这个，但是在ffmpeg4.0之后已经被废弃(deprecated)，不需要再调用 AVFormatContext *pFormatCtx = nullptr; /*寻找音视频文件中的信息并传入AVFormatContext结构中*/ if (avformat_open_input(&pFormatCtx, videoPath.c_str(), nullptr, nullptr) != 0) { //注意AVFormatContext必须是空指针(nullptr)或者是由avformat_alloc_context()分配的内存，否则报错。前者由上述函数分配内存。 cerr << "打开视频文件失败" << endl; return -1; } /*获取流信息，包括视频流、音频流等*/ if (avformat_find_stream_info(pFormatCtx, nullptr) < 0) { cerr << "获取信息失败" << endl; return -1; } /*打印视频信息*/ av_dump_format(pFormatCtx, 0, videoPath.c_str(), 0); /*获取视频流的索引*/ videoStreamIdx = -1; for (int i = 0; i < pFormatCtx->nb_streams/*流的数量*/; i++) { if (pFormatCtx->streams->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) /*若是视频流，找到记录索引并退出*/ { videoStreamIdx = i; break; } } if (videoStreamIdx == -1) { cerr << "没有找到视频流" << endl; return -1; }然后是获取解码上下文用于解码
/*获取解码器*/ AVCodec *pCodec = nullptr; AVCodecParameters *pCodecParameters = pFormatCtx->streams->codecpar; pCodec = avcodec_find_decoder(pCodecParameters->codec_id); if (pCodec == nullptr) { cerr << "没有找到解码器" << endl; return -1; } /*获取解码上下文*/ AVCodecContext *pCodecCtx = avcodec_alloc_context3(pCodec); if (avcodec_parameters_to_context(pCodecCtx, pCodecParameters) < 0) { cerr << "获取解码上下文失败" << endl; return -1; } /*打开解码器*/ if (avcodec_open2(pCodecCtx, pCodec, nullptr) < 0) { cerr << "打开解码器失败" << endl; return -1; }接着对数据进行解码并显示，这里使用opencv进行显示。
/*初始化转换上下文，将yuv转化到rgb*/ SWsContext *pSwsCtx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_RGB24, SWS_BILINEAR, nullptr, nullptr, nullptr); /*分配容器内存*/ AVFrame *pFrame = av_frame_alloc(); AVFrame *pFrameRGB = av_frame_alloc(); AVPackeat *pPacket = av_packet_alloc(); uint8_t *buffer = nullptr; //获取一帧图像的大小 int bufferSz = av_image_get_buffer_size(AV_PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height, 1); buffer = (uint8_t *)av_malloc(bufferSz); // 存储一帧图像的内存 // 将buffer与pFrameRGB绑定，并指定存储格式为RBG24位 av_image_fill_arrays(pFrameRGB->data, pFrameRGB->linesize, buffer, AV_PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height, 1); // 读取一个packet while (av_read_frame(pFormatCtx, pPacket) >= 0) { if (pPacket->stream_index == videoStreamIdx) { // 将packet发送给解码器 int ret = avcodec_send_packet(pCodecCtx, pPacket); if (ret < 0) { cerr << "发送失败" << endl; return -1; } while (ret >= 0) { // 从解码器获取一帧已经解码好的帧 ret = avcodec_receive_frame(pCodecCtx, pFrame); if (ret == AVERROR_EOF) { /*如果读到末尾结束就退出*/ break; } // 转换，将yuv格式转换为RBG sws_scale(pSwsCtx, (uint8_t const *const *)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameRGB->data, pFrameRGB->linesize); // 将数据转换为opencv格式 Mat img(pCodecCtx->height, pCodecCtx->width, CV_8UC3, pFrameRGB->data); // 注意opencv中的颜色空间是BGR cvtColor(img, img, COLOR_RGB2BGR); imshow("video", img); waitKey(1); } } av_packet_unref(pPacket); } // 释放资源 av_frame_free(&pFrame); av_frame_free(&pFrameRGB); av_packet_free(&pPacket); avcodec_free_context(&pCodecCtx); avformat_close_input(&pFormatCtx); sws_freeContext(pSwsCtx); av_free(buffer); return 0;
页:
[1]