linux下ffmpeg调用GPU硬件解码（VDPAU/VAAPI）保存文件

news/2024/7/10 20:57:50 标签: linux, ffmpeg

本文讲解在linux下面，如何通过ffmpeg调用GPU硬件解码，并保存解码完的yuv文件。
其实，ffmpeg自带的例子hw_decode.c这个文件，就已经能满足要求了，因此，本文就尝试讲解以下hw_decode这个例子。hw_decode.c可以调用VDPAU硬件解码，也可以调用VAAPI硬件解码，下面依次讲解如何进行操作。

下载hw_decode.c文件

我是从网上直接下载ffmpeg源码，下载地址如下：https://ffmpeg.org/releases/ffmpeg-4.2.9.tar.bz2
我这里下载的是4.2.9的源码，然后解压缩之后，在ffmpeg-4.2.9/doc/examples/hw_decode.c路径，就保存了我们需要的hw_decode.c文件。

搭建开发环境

搭建开发环境分2种，一种是直接使用系统自带的软件源里面的软件包进行开发，另外一种就是自己重新编译ffmpeg并进行开发，这两种选一种就可以了。推荐使用软件源的软件包进行开发，因为相对简单一些。下面分别讲解如何操作。

使用软件源的软件包进行开发

需要安装的依赖项如下，我这里是deb系列安装方式。

sudo apt install libvdpau-dev libva-dev ffmpeg libavcodec-dev libavformat-dev libavutil-dev

编译， cd 到ffmpeg-4.2.9/doc/examples目录，执行如下命令

gcc hw_decode.c -lavcodec -lavutil -lavformat -o hw_decode

就可以得到hw_decode这个可执行文件。

ffmpeg_21">自己编译ffmpeg进行开发

自己编译ffmpeg，首先要下载ffmpeg源码，下载地址如下：https://ffmpeg.org/releases/ffmpeg-4.2.9.tar.bz2。
然后解压缩，cd ffmpeg-4.2.9，然后进行configure配置，如果你想使用VDPAU解码，那么configure命令如下

./configure --enable-shared --enable-vdpau

如果你想使用vaapi解码，那么configure命令如下

./configure --enable-shared --enable-vaapi

如果你vdpau和vaapi都想使用，那么进行如下configure。

./configure --enable-shared --enable-vdpau --enable-vaapi

然后，这里可能会遇到问题，可能就是没有安装vdpau开发包，或者没有安装vaapi开发包导致的，输入如下命令安装就可以了。

sudo apt install libvdpau-dev libva-dev

然后再进行configure操作。
之后，再进行如下操作：

make -j8 
make examples 
sudo make install

其中,make -j8是使用8线程进行ffmpeg编译。
make examples，就是把ffmpeg所有的例子都编译，这样在ffmpeg-4.2.9/doc/exmaples目录，就会生成hw_decode这个可执行文件。
sudo make install，会将ffmpeg的动态库安装到/usr/local/lib下面，可执行文件安装到/usr/local/bin下面，头文件安装到/usr/local/include目录下面。

运行hw_decode例子

cd 到生成hw_decode的目录，如果使用vdpau解码，那么执行如下命令，你需要将第2个参数的视频路径，替换成你的视频路径。

./hw_decode vdpau ~/视频/210329_06B_Bali_1080p_013.mp4  ./out.yuv

如果使用vaapi解码，那么需要使用如下命令：

./hw_decode vaapi ~/视频/210329_06B_Bali_1080p_013.mp4  ./out.yuv

同样，需要将第2个参数替换成你的视频路径。
有的显卡，需要添加环境变量LIBVA_DRIVER_NAME。比如景嘉微JM9系列显卡，需要使用如下命令：

LIBVA_DRIVER_NAME=jmgpu ./hw_decode vaapi ~/视频/210329_06B_Bali_1080p_013.mp4  ./out.yuv

检验out.yuv结果

ffplay -pix_fmt nv12 -s 1920x1080 out.yuv

如上所示，使用ffmpeg自带的播放器ffplay，然后-pix_fmt 指定yuv格式， -s指定分辨率，然后播放。
在这里插入图片描述

hw_decode例子源码讲解

下面开始讲解代码，从main函数开始讲解。

int main(int argc, char *argv[])
{
    AVFormatContext *input_ctx = NULL;
    int video_stream, ret;
    AVStream *video = NULL;
    AVCodecContext *decoder_ctx = NULL;
    AVCodec *decoder = NULL;
    AVPacket packet;
    enum AVHWDeviceType type;
    int i;

    if (argc < 4) {
        fprintf(stderr, "Usage: %s <device type> <input file> <output file>\n", argv[0]);
        return -1;
    }

刚开始的一段，全是变量声明和定义，这些变量都是后面用的到的。然后if (argc < 4)这个判断，是用来判断使用方式的，下面的使用方式，正好是4个argc，第一个./hw_decode是程序名字，第2个参数vaapi表示使用的解码接口，第3个参数是视频路径，第4个参数是输出yuv路径。

./hw_decode vaapi ~/视频/210329_06B_Bali_1080p_013.mp4  ./out.yuv

如果argc < 4，那么提示使用方式，然后返回-1，程序结束。

    type = av_hwdevice_find_type_by_name(argv[1]);
    if (type == AV_HWDEVICE_TYPE_NONE) {
        fprintf(stderr, "Device type %s is not supported.\n", argv[1]);
        fprintf(stderr, "Available device types:");
        while((type = av_hwdevice_iterate_types(type)) != AV_HWDEVICE_TYPE_NONE)
            fprintf(stderr, " %s", av_hwdevice_get_type_name(type));
        fprintf(stderr, "\n");
        return -1;
    }

接下来，就是去寻找第2个参数对应的硬件解码类型，argv[1]就对应我们解码程序的参数"vdpau"，或者"vaapi"，如果找到了，就保存在变量type中，如果没找到，就通过一个while循环把支持的硬件类型列举，并打印出来，然后return -1程序退出。

    /* open the input file */
    if (avformat_open_input(&input_ctx, argv[2], NULL, NULL) != 0) {
        fprintf(stderr, "Cannot open input file '%s'\n", argv[2]);
        return -1;
    }

接下来，avformat_open_input，就是打开输入文件，在我这里，对应的就是打开“~/视频/210329_06B_Bali_1080p_013.mp4”这个文件，argv[2]就是输入视频路径，如果失败了，就返回-1，否则继续。

    if (avformat_find_stream_info(input_ctx, NULL) < 0) {
        fprintf(stderr, "Cannot find input stream information.\n");
        return -1;
    }

然后，查找视频文件里面的码流信息，一般就是找这个视频里面，有几个视频流，有几个音频流，如果没有找到因视频信息，就加一条错误打印，然后返回-1.

    /* find the video stream information */
    ret = av_find_best_stream(input_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, &decoder, 0);
    if (ret < 0) {
        fprintf(stderr, "Cannot find a video stream in the input file\n");
        return -1;
    }
    video_stream = ret;

接下来，查找AVMEDIA_TYPE_VIDEO，也就是查找视频流信息，并将视频流的索引号，保存在video_stream中。

    for (i = 0;; i++) {
        const AVCodecHWConfig *config = avcodec_get_hw_config(decoder, i);
        if (!config) {
            fprintf(stderr, "Decoder %s does not support device type %s.\n",
                    decoder->name, av_hwdevice_get_type_name(type));
            return -1;
        }
        if (config->methods & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX &&
            config->device_type == type) {
            hw_pix_fmt = config->pix_fmt;
            break;
        }
    }

接下来，就是通过一个循环，查找能支持的硬件格式对应的pix_fmt，比如我这里使用vaapi，那么通过AV_HWDEVICE_TYPE_VAAPI找到了pix_fmt为AV_PIX_FMT_VAAPI_VLD。
在这里插入图片描述

    if (!(decoder_ctx = avcodec_alloc_context3(decoder)))
        return AVERROR(ENOMEM);

    video = input_ctx->streams[video_stream];
    if (avcodec_parameters_to_context(decoder_ctx, video->codecpar) < 0)
        return -1;

	decoder_ctx->get_format  = get_hw_format;

继续，分配一个解码上下文 decoder_ctx，然后根据视频码流信息，填充decoder_ctx里面内容。
并将get_hw_format这个函数地址，给到decoder_ctx->get_format中，这样后续解码器解码时会调用这个get_fomat函数指针来对格式进行判断。

    if (hw_decoder_init(decoder_ctx, type) < 0)
        return -1;

初始化完了解码上下文，再初始化硬件解码器。

    if ((ret = avcodec_open2(decoder_ctx, decoder, NULL)) < 0) {
        fprintf(stderr, "Failed to open codec for stream #%u\n", video_stream);
        return -1;
    }

打开解码器。

    /* open the file to dump raw data */
    output_file = fopen(argv[3], "w+");

打开输出文件，这个argv[3]，就对应我们命令行里面的out.yuv，就是打开这个文件，方便后面写入使用。

    /* actual decoding and dump the raw data */
    while (ret >= 0) {
        if ((ret = av_read_frame(input_ctx, &packet)) < 0)
            break;

        if (video_stream == packet.stream_index)
            ret = decode_write(decoder_ctx, &packet);

        av_packet_unref(&packet);
    }

重点戏来了，就是这个while循环，av_read_frame读取一帧数据，保存在packet中，然后判断以下这个packet的stream_index是不是video_stream，如果是视频数据，就调用decode_write，否则就什么也不做，处理完之后，调用av_packet_unref取消packet的引用。看来重点就在这个decode_write函数里面。

static int decode_write(AVCodecContext *avctx, AVPacket *packet)
{
    AVFrame *frame = NULL, *sw_frame = NULL;
    AVFrame *tmp_frame = NULL;
    uint8_t *buffer = NULL;
    int size;
    int ret = 0;

    ret = avcodec_send_packet(avctx, packet);
    if (ret < 0) {
        fprintf(stderr, "Error during decoding\n");
        return ret;
    }

decode_write拿到packet数据，调用avcodec_send_packet，将packet发送给解码器。


    while (1) {
        if (!(frame = av_frame_alloc()) || !(sw_frame = av_frame_alloc())) {
            fprintf(stderr, "Can not alloc frame\n");
            ret = AVERROR(ENOMEM);
            goto fail;
        }

        ret = avcodec_receive_frame(avctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            av_frame_free(&frame);
            av_frame_free(&sw_frame);
            return 0;
        } else if (ret < 0) {
            fprintf(stderr, "Error while decoding\n");
            goto fail;
        }

        if (frame->format == hw_pix_fmt) {
            /* retrieve data from GPU to CPU */
            if ((ret = av_hwframe_transfer_data(sw_frame, frame, 0)) < 0) {
                fprintf(stderr, "Error transferring the data to system memory\n");
                goto fail;
            }
            tmp_frame = sw_frame;
        } else
            tmp_frame = frame;

        size = av_image_get_buffer_size(tmp_frame->format, tmp_frame->width,
                                        tmp_frame->height, 1);
        buffer = av_malloc(size);
        if (!buffer) {
            fprintf(stderr, "Can not alloc buffer\n");
            ret = AVERROR(ENOMEM);
            goto fail;
        }
        ret = av_image_copy_to_buffer(buffer, size,
                                      (const uint8_t * const *)tmp_frame->data,
                                      (const int *)tmp_frame->linesize, tmp_frame->format,
                                      tmp_frame->width, tmp_frame->height, 1);
        if (ret < 0) {
            fprintf(stderr, "Can not copy image to buffer\n");
            goto fail;
        }

        if ((ret = fwrite(buffer, 1, size, output_file)) < 0) {
            fprintf(stderr, "Failed to dump raw data.\n");
            goto fail;
        }

    fail:
        av_frame_free(&frame);
        av_frame_free(&sw_frame);
        av_freep(&buffer);
        if (ret < 0)
            return ret;
    }

然后一个大的while循环，这里其实就是让解码器去解码，如果解码得到数据，就将数据从GPU显存拷贝到CPU内存，然后再写入out.yuv文件中。下面分开讲解。

    while (1) {
        if (!(frame = av_frame_alloc()) || !(sw_frame = av_frame_alloc())) {
            fprintf(stderr, "Can not alloc frame\n");
            ret = AVERROR(ENOMEM);
            goto fail;
        }

while的开始，分配了2个frame，第一个frame，是用来保存GPU解码完毕的数据，这个数据位于显存。第2个sw_frame是用来保存内存数据，用来将GPU显存的yuv数据拷贝到内存用的。

        ret = avcodec_receive_frame(avctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            av_frame_free(&frame);
            av_frame_free(&sw_frame);
            return 0;
        } else if (ret < 0) {
            fprintf(stderr, "Error while decoding\n");
            goto fail;
        }

avcode_receive_frame，用来接受解码器传过来的frame数据，也就是如果解码器解码完了，会得到一个解码完毕的AVFrame数据，这个数据就保存在frame中。如果返回值为EAGAIN或者AVERROR_EOF，说明之前的packet并没有解码得到一个完整的AVFrame数据，因此需要把前面分配的2个frame和sw_frame都释放掉，然后返回0，说明这一个packet处理完毕了。如果ret 是其他值 < 0，说明解码出错了，goto fail。fail标签后面再说。

        if (frame->format == hw_pix_fmt) {
            /* retrieve data from GPU to CPU */
            if ((ret = av_hwframe_transfer_data(sw_frame, frame, 0)) < 0) {
                fprintf(stderr, "Error transferring the data to system memory\n");
                goto fail;
            }
            tmp_frame = sw_frame;
        } else
            tmp_frame = frame;

否则，我们解码得到了一帧数据，判断一下，这一帧数据的格式，如果格式正好是hw_pix_fmt，那么调用av_hwframe_transfer_data，将frame里面的GPU数据，传输到sw_frame里面，tmp_frame正好等于sw_frame。如果不是hw_pix_fmt，那么tmp_frame就是frame。这个执行完之后，tmp_frame里面保存的就是内存数据了。

        size = av_image_get_buffer_size(tmp_frame->format, tmp_frame->width,
                                        tmp_frame->height, 1);
        buffer = av_malloc(size);
        if (!buffer) {
            fprintf(stderr, "Can not alloc buffer\n");
            ret = AVERROR(ENOMEM);
            goto fail;
        }
        ret = av_image_copy_to_buffer(buffer, size,
                                      (const uint8_t * const *)tmp_frame->data,
                                      (const int *)tmp_frame->linesize, tmp_frame->format,
                                      tmp_frame->width, tmp_frame->height, 1);
        if (ret < 0) {
            fprintf(stderr, "Can not copy image to buffer\n");
            goto fail;
        }

接下来，判断tmp_frame的数据大小，分配一个size大小的buffer，将tmp_frame的数据，搬到buffer中。

        if ((ret = fwrite(buffer, 1, size, output_file)) < 0) {
            fprintf(stderr, "Failed to dump raw data.\n");
            goto fail;
        }

然后将buffer中的数据，写入到output_file中，也就是写入到out.yuv中。

    fail:
        av_frame_free(&frame);
        av_frame_free(&sw_frame);
        av_freep(&buffer);
        if (ret < 0)
            return ret;
    }
}

如果失败了，释放frame， sw_frame, buffer内容，并且如果ret <0， 返回ret。

    /* actual decoding and dump the raw data */
    while (ret >= 0) {
        if ((ret = av_read_frame(input_ctx, &packet)) < 0)
            break;

        if (video_stream == packet.stream_index)
            ret = decode_write(decoder_ctx, &packet);

        av_packet_unref(&packet);
    }

    /* flush the decoder */
    packet.data = NULL;
    packet.size = 0;
    ret = decode_write(decoder_ctx, &packet);
    av_packet_unref(&packet);

    if (output_file)
        fclose(output_file);
    avcodec_free_context(&decoder_ctx);
    avformat_close_input(&input_ctx);
    av_buffer_unref(&hw_device_ctx);

    return 0;
}

然后一直循环av_read_frame，解码写文件，直到av_read_frame < 0，也就是把整个输入文件都处理完了，这个while循环结束。
接下来，还设置了一个packet.data = NULL， 调用了一次decode_write，就是告诉解码器，我没有数据了，你里面如果还缓存一些数据，都给我输出出来吧。

最后就是关闭输出文件，释放解码器上下文，关闭输出，释放硬件设备上下文。至此， hw_decode解析完毕。

常见问题

  1. 为什么硬件解码这么慢，CPU占用率也很高？
    答： 之所以这么慢，CPU占用率高，是因为有2个操作，1个操作是需要将数据从GPU显存拷贝到CPU内存，另外1个操作是需要写文件。如果你屏蔽av_hwframe_transfer_data及之后的操作，这里对应代码107行到139行，那么速度将会特别快。
    2. 为什么运行vaapi时提示找不到vaapi device。
    答：可能原因是没有安装 vaapi驱动，或者没有指定LIBVA_DRIVER_NAME这个环境变量。

http://www.niftyadmin.cn/n/5381267.html

相关文章

深度学习之pytorch实现线性回归

深度学习之pytorch实现线性回归

度学习之pytorch实现线性回归 pytorch用到的函数torch.nn.Linearn()函数torch.nn.MSELoss()函数torch.optim.SGD() 代码实现结果分析 pytorch用到的函数 torch.nn.Linearn()函数 torch.nn.Linear(in_features, # 输入的神经元个数out_features, # 输出神经元个数biasTrue # 是…
阅读更多...
图像处理与计算机视觉算法

图像处理与计算机视觉算法

图像处理与计算机视觉算法是实现对图像和视频内容分析、理解和操作的一系列技术。这些算法可以分为多个类别，包括但不限于以下几个主要方面： 预处理： 像素操作：灰度化、二值化、直方图均衡化等，用于改善图像的对比度和亮度分布。去噪：高斯滤波、中值滤波、自适应滤波等，…
阅读更多...
Vue3快速上手（八） toRefs和toRef的用法

Vue3快速上手（八） toRefs和toRef的用法

顾名思义&#xff0c;toRef 就是将其转换为ref的一种实现。详细请看&#xff1a; 一、toRef 1.1 示例 <script langts setup name"toRefsAndtoRef"> // 引入reactive,toRef import { reactive, toRef } from vue // reactive包裹的数据即为响应式对象 let p…
阅读更多...
OpenCV DNN 活体检测项目环境配置等各阶段tips

OpenCV DNN 活体检测项目环境配置等各阶段tips

date: 2020-09-22 14:53 资料来源《OpenCV深度学习应用与性能优化实践》第八章。 在复现这个项目的时候发现一些可以调整的小tips。 环境配置阶段 使用conda 创建python 工作环境时&#xff0c;注释掉requirems.txt 里的opencv-python-inference-engine4.1.2.1&#xff0c;安…
阅读更多...
vue3-渲染机制

vue3-渲染机制

渲染机制 Vue 是如何将一份模板转换为真实的 DOM 节点的&#xff0c;又是如何高效地更新这些节点的呢&#xff1f;我们接下来就将尝试通过深入研究 Vue 的内部渲染机制来解释这些问题。 虚拟 DOM 你可能已经听说过“虚拟 DOM”的概念了&#xff0c;Vue 的渲染系统正是基于这…
阅读更多...
Eclipse 创建 Hello World 工程

Eclipse 创建 Hello World 工程

Eclipse 创建 Hello World 工程 1. Hello WorldReferences Download and install the Eclipse IDE. 1. Hello World Eclipse -> double click -> Launch 单击蓝色方框 (右上角) 最大化 IDE File -> New -> C Project -> Finish Project name&#xff1a;工程名…
阅读更多...
强大的蓝牙工具Ubertooth系列

强大的蓝牙工具Ubertooth系列

Ubertooth One 是一个开源的蓝牙嗅探设备&#xff0c;它提供了多个软件工具来进行蓝牙通信的分析、监视和探测。以下是 Ubertooth One 的一系列软件工具的介绍&#xff1a; Ubertooth&#xff1a;Ubertooth 是 Ubertooth One 的核心驱动程序和硬件抽象层。它允许与 Ubertooth O…
阅读更多...
Qt - 编译报错：“invalid use of incomplete type ‘class Ui::xxx‘ui(new Ui::xxx)”的解决方法

Qt - 编译报错：“invalid use of incomplete type ‘class Ui::xxx‘ui(new Ui::xxx)”的解决方法

问题起因 今天在创建Qt设计器界面类时&#xff0c;类名的英文拼写错误&#xff0c;然后就重命名了文件&#xff0c;而Qt Creator也帮我自动修改了一部分内容&#xff0c;之后我手动将cpp文件中的#include " *** "里的内容给修改了&#xff0c;构造函数和析构函数处也…
阅读更多...
最新文章

Copyright @ 2022~2023