提取RGB数据

2020-12-20

学习需要一步一步来，前几天在网上找了一个demo学习了如何在Qt中使用FFMPEG将视频数据解码出来并播放，但是当时有好多细节不是很明白，于是便深入的学习一下如何将一个mv中的原始的数据读取出来，仅仅是读取视频数据的每一帧而不是音频数据，利用FFmpeg可以从mv中导出音频数据，有命令可以使用，当然也可以编码实现。

现在主要是来讲一下如何使用FFMPEG将音频中的原始数据读出并使用sws_scale将其转换为RGB数据，并写入到文件中。

流程图如下：

代码实现如下：

#include <iostream>
#include <stdlib.h>
#ifdef __cplusplus
extern "C" {
#endif
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libavfilter/avfilter.h>
#include <libavutil/avutil.h>
#include <libavutil/imgutils.h>
#include <libavdevice/avdevice.h>
#include <libswscale/swscale.h>
#include <libswresample/swresample.h>
#ifdef __cplusplus
}
#endif
int main(int argc,char* argv[]) {
    if (argc != 3)
    {
        std::cout << "Usage : convert <input> <output>" <<std::endl;
        return -1;
    }
    const char * input_video = argv[1];
    const char *output_rgb = argv[2];
    //注册解码器
    av_register_all();
    avformat_network_init();
    //创建avformatcontext
    AVFormatContext *ifmt_ctx = avformat_alloc_context();
    if(avformat_open_input(&ifmt_ctx,input_video,NULL,NULL) < 0){
        std::cerr << "fail to open the stream\n";
        return -1;
    }
    //找到文件中的流信息
    if (avformat_find_stream_info(ifmt_ctx,NULL) < 0){
        std::cerr << "fail to find the stream\n";
        return -1;
    }
    //将输入文件的编码信息输出
    av_dump_format(ifmt_ctx,0,input_video,0);
    //找到视频流
    int video_stream_index = -1;
    for (int i = 0; i < ifmt_ctx->nb_streams ; ++i) {
        if (ifmt_ctx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO){
            video_stream_index = i;
            break;
        }
    }
    if (video_stream_index == -1){
        std::cerr << "fail to find video stream\n";
        return -1;
    }
    //找到相应的编解码器
    AVCodecContext *pCodecCtx = ifmt_ctx->streams[video_stream_index]->codec;
    AVCodec *pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
    if (pCodec == NULL){
        std::cerr << "fail to find codec\n";
        return -1;
    }
    if (avcodec_open2(pCodecCtx,pCodec,NULL) < 0){
        std::cerr << "fail to open codec\n";
        return -1;
    }
    //输出文件
    FILE *fp = fopen(output_rgb,"wb");

    AVFrame *pframe = av_frame_alloc();
    AVFrame *pframeRGB = av_frame_alloc();
    //设置输出缓冲区
    uint8_t  *outBuffer = (uint8_t*)av_malloc(av_image_get_buffer_size(AV_PIX_FMT_RGB24,pCodecCtx->width,pCodecCtx->height,1));
    av_image_fill_arrays(pframeRGB->data,pframeRGB->linesize,outBuffer,AV_PIX_FMT_RGB24,pCodecCtx->width,pCodecCtx->height,1);
    //需要使用sws_scale进行转换
    SwsContext *pSwsCtx = sws_alloc_context();
    //转换的参数设置
    pSwsCtx = sws_getContext(pCodecCtx->width,pCodecCtx->height,pCodecCtx->pix_fmt,
            pCodecCtx->width,pCodecCtx->height,AV_PIX_FMT_RGB24,SWS_BICUBIC,NULL,NULL,NULL);

    AVPacket *pkt = av_packet_alloc();
    av_init_packet(pkt);
    int got_frame = -1;
    while(av_read_frame(ifmt_ctx,pkt) >= 0){
        if (pkt->stream_index == video_stream_index){
            //解码
            int ret = avcodec_decode_video2(pCodecCtx,pframe,&got_frame,pkt);
            if (ret < 0){
                return ret;
            }
            if (got_frame > 0){
                sws_scale(pSwsCtx,(const uint8_t* const*)pframe->data,pframe->linesize,0,pframe->height,pframeRGB->data,pframeRGB->linesize);
                //将数据以二进制的形式写入文件中
                fwrite(pframeRGB->data[0],pCodecCtx->height * pCodecCtx->width*3,1,fp);
            }
        }
    }
    //释放所有申请的资源，并关闭打开的资源
    sws_freeContext(pSwsCtx);
    av_frame_free(&pframe);
    av_frame_free(&pframeRGB);
    fclose(fp);
    avformat_close_input(&ifmt_ctx);
    return 0;
}