FFmpeg-aac、h264封装flv及时间转换

news/2024/7/10 21:09:29 标签: ffmpeg, aac

文章目录

      • 时间概念
      • 流程
      • api
      • 核心代码

时间概念

dts: 解码时间戳, 表示压缩帧的解码时间
pts: 显示时间戳, 表示将压缩帧解码后得到的原始帧的显示时间
时间基: time_base ， 通常以ms为单位
时间戳: timestamp , 多少个时间基
真实时间：time_base * timestamp

如一个视频帧的dts为40（时间戳） ，time_base:1/1000s
真实时间： 40 * 1/1000 s

ffmpeg/ffplay命令参数：
tbr: 通常为帧率
tbn: 视频流的时间基
tbc: 视频解码的时间基

ffmepg内部时间基：
#define AV_TIME_BASE 1000000 //微妙

时间转换
av_q2d()：将时间从AVRational（分数）形式转换为double形式

static inline double av_q2d(AVRational a){
	return a.num / (double) a.den;
}

时间基转换函数：
av_rescale_q() ：⽤于将时间值从⼀种时间基转换为另⼀种时间基
av_rescale_rnd()：用于时间取整
av_packet_rescale_ts：⽤于将AVPacket中各种时间值从⼀种时间基转换为另⼀种时间基

1 视频流

转封装过程中的时间基转换：

AVStream.time_base是AVPacket中pts和dts的时间单位

  • 对于输⼊流：打开输⼊⽂件后，调⽤avformat_find_stream_info()可获取到每个流中的time_base
  • 对于输出流：打开输出⽂件后，调⽤avformat_write_header()可根据输出⽂件封装格式确定每个流的time_base并写⼊输出⽂件中

转码过程中的时间基转换：

编解码器中的时间基为 AVCodecContext.time_base，值为帧率(视频帧)的倒数

解码视频帧:

时间基为 1/framerate

  • 视频解码过程中的时间基转换处理:
    若从av_read_frame读取的packet，是以AVSteam->time_base，是avcodec_receive_frame后以AVSteam->time_base为准
  • 视频编码过程中的时间基转换处理：
    编码的时候frame如果以AVstream为time_base送编码器，
    则avcodec_receive_packet读取的时候也是以转成AVSteam->time_base

2 视频流

解码后的原始视频帧时间基为 1/framerate

流程

首先生成一个h264和aac，封装为flv add_stream函数类似编码过程
请添加图片描述

api

  • avformat_write_header ： 写⽂件头
  • av_write_frame/av_interleaved_write_frame： 写packet
  • av_write_trailer ： 写⽂件尾
  • avcodec_parameters_from_context： 将AVCodecContext结构体中码流参数拷⻉到AVCodecParameters结构体中
  • int avformat_alloc_output_context2 – 根据filename申请上下文
  • AVStream *avformat_new_stream(AVFormatContext *s, const AVCodec *c) // 新增流通道
 int avformat_alloc_output_context2(AVFormatContext **ctx, ff_const59 AVOutputFormat *oformat,
                                   const char *format_name, const char *filename) {}        
 ctx:需要创建的context,返回NULL表示失败
 format:指定对应的AVOutputFormat
 format_name: 指定⾳视频的格式，⽐如“flv”，“mpeg”等，如果设置为NULL，则由filename进⾏指定，让ffmpeg⾃⼰推断
 filename: 指定⾳视频⽂件的路径

核心代码

命令行参数： test.flv aac h264创建流生成

如何转换时间time_base：
open_audio: 关联编码器，会设置codec_ctx->time_base
avformat_write_header: base_time 转化为 1/1000

write_audio_frame中调用write_frame，pts会进行转化
如采样率44.1hz , pts_after = pts_before(-1024) * 1/44100 * 1000 = -23

//输出⽂件容器格式,生成flv文件，对应的ffmepg的源文件为flvenc.c
AVOutputFormat ff_flv_muxer = {
    .name           = "flv",
    .long_name      = NULL_IF_CONFIG_SMALL("FLV (Flash Video)"),
    .mime_type      = "video/x-flv",
    .extensions     = "flv",
    .priv_data_size = sizeof(FLVContext),
    .audio_codec    = CONFIG_LIBMP3LAME ? AV_CODEC_ID_MP3 : AV_CODEC_ID_ADPCM_SWF,
    .video_codec    = AV_CODEC_ID_FLV1,
    .init           = flv_init,
    .write_header   = flv_write_header,
    .write_packet   = flv_write_packet,
    .write_trailer  = flv_write_trailer,
    .check_bitstream= flv_check_bitstream,
};


static int write_video_frame(AVFormatContext *oc, OutputStream *ost)
{
    int ret;
    AVCodecContext *codec_ctx;
    AVFrame *frame;
    int got_packet = 0;
    AVPacket pkt = { 0 };

    codec_ctx = ost->enc;

    frame = get_video_frame(ost);

    av_init_packet(&pkt);

    /* encode the image */
    avcodec_encode_video2(codec_ctx, &pkt, frame, &got_packet);
   
    if (got_packet)
    {
        ret = write_frame(oc, &codec_ctx->time_base, ost->st, &pkt);
    }
    else
    {
        ret = 0;
    }

    if (ret < 0)
    {
        fprintf(stderr, "Error while writing video frame: %s\n", av_err2str(ret));
        exit(1);
    }
    return (frame || got_packet) ? 0 : 1;
}

int main(int argc, char **argv)
{
    OutputStream video_st = { 0 }; // 封装视频编码相关的
    OutputStream audio_st = { 0 }; // 封装音频编码相关的
    const char *filename;   // 输出文件
    // AVOutputFormat ff_flv_muxer
    AVOutputFormat *fmt;    // 输出文件容器格式, 封装了复用规则，AVInputFormat则是封装了解复用规则
    AVFormatContext *oc;
    AVCodec *audio_codec, *video_codec;
    int ret;
    int have_video = 0, have_audio = 0;
    int encode_video = 0, encode_audio = 0;
    AVDictionary *opt = NULL;
    int i;
    filename = argv[1];

    /* 分配AVFormatContext并根据filename绑定合适的AVOutputFormat */
    avformat_alloc_output_context2(&oc, NULL, NULL, filename);
  
    fmt = oc->oformat; // 获取绑定的AVOutputFormat
    // 我们音视频课程音视频编解码主要涉及H264和AAC, 所以我们指定为H264+AAC
    fmt->video_codec = AV_CODEC_ID_H264;    // 指定编码器
    fmt->audio_codec = AV_CODEC_ID_AAC;     // 指定编码器
    /* 使用指定的音视频编码格式增加音频流和视频流 */
    if (fmt->video_codec != AV_CODEC_ID_NONE)
    {
        add_stream(&video_st, oc, &video_codec, fmt->video_codec);
        have_video = 1;
        encode_video = 1;
    }
    if (fmt->audio_codec != AV_CODEC_ID_NONE)
    {
        add_stream(&audio_st, oc, &audio_codec, fmt->audio_codec);
        have_audio = 1;
        encode_audio = 1;
    }

    if (have_video)
        open_video(oc, video_codec, &video_st, opt);

    if (have_audio)
        open_audio(oc, audio_codec, &audio_st, opt);

   

    /* open the output file, if needed */
    if (!(fmt->flags & AVFMT_NOFILE))
    {
        // 打开对应的输出文件，没有则创建
         avio_open(&oc->pb, filename, AVIO_FLAG_WRITE);
     
    }
    
    // audio AVstream->base_time = 1/44100, video AVstream->base_time = 1/25
    // base_time audio = 1/1000 video = 1/1000
    avformat_write_header(oc, &opt);
   
    while (encode_video || encode_audio)
    {
        /* select the stream to encode */
        if (encode_video &&         // video_st.next_pts值 <= audio_st.next_pts时
                (!encode_audio || av_compare_ts(video_st.next_pts, video_st.enc->time_base,
                                                audio_st.next_pts, audio_st.enc->time_base) <= 0)) {
            printf("\nwrite_video_frame\n");
            encode_video = !write_video_frame(oc, &video_st);
        }
        else
        {
            printf("\nwrite_audio_frame\n");
            encode_audio = !write_audio_frame(oc, &audio_st);
        }
    }
    av_write_trailer(oc);

    /* Close each codec. */
    if (have_video)
        close_stream(oc, &video_st);
    if (have_audio)
        close_stream(oc, &audio_st);

    if (!(fmt->flags & AVFMT_NOFILE))
        avio_closep(&oc->pb);
    
    avformat_free_context(oc);

    return 0;
}

http://www.niftyadmin.cn/n/5434250.html

相关文章

uniapp——第3篇：自定义组件、组件间传数据

uniapp——第3篇：自定义组件、组件间传数据

前提&#xff0c;建议先学会前端几大基础&#xff1a;HTML、CSS、JS、Ajax&#xff0c;还有一定要会Vue!&#xff08;Vue2\Vue3&#xff09;都要会&#xff01;&#xff01;&#xff01;不然不好懂 一、组件是啥玩意&#xff1f; 我之前讲vue2的文章讲过 Vue全家桶:vue2vue3全…
阅读更多...
HarmonyOS（二十）——管理应用拥有的状态之LocalStorage（页面级UI状态存储）

HarmonyOS（二十）——管理应用拥有的状态之LocalStorage（页面级UI状态存储）

LocalStorage是页面级的UI状态存储&#xff0c;通过Entry装饰器接收的参数可以在页面内共享同一个LocalStorage实例。LocalStorage也可以在UIAbility实例内&#xff0c;在页面间共享状态。 本文仅介绍LocalStorage使用场景和相关的装饰器&#xff1a;LocalStorageProp和LocalS…
阅读更多...
唯一约束

唯一约束

Oracle从入门到总裁:​​​​​​https://blog.csdn.net/weixin_67859959/article/details/135209645 唯一约束 唯一约束的特点是在某一个列上的内容不允许出现重复。 例如&#xff0c;现在要收集用户的信息&#xff0c;假设包含编号&#xff08;mid&#xff09;、姓名&…
阅读更多...
Winform编程详解十一：PictureBox 图片框

Winform编程详解十一：PictureBox 图片框

一、属性介绍 1. (Name) 控件的对象标识符ID 2. BackColor 控件的背景颜色 3. BackgroundImage 控件的背景图片 4. BackgroundImageLayout 控件的背景图片布局 5. BorderStyle 控件的边框样式 6. Cursor 鼠标移过该控件显示的光标样式 7. Image 控件的图片 8. UseWaitCur…
阅读更多...
【Flutter 面试题】在Flutter中如何处理用户输入和手势操作？

【Flutter 面试题】在Flutter中如何处理用户输入和手势操作？

【Flutter 面试题】在Flutter中如何处理用户输入和手势操作&#xff1f; 文章目录 写在前面解答补充说明完整代码示例运行结果详细说明 写在前面 &#x1f64b; 关于我 &#xff0c;小雨青年 &#x1f449; CSDN博客专家&#xff0c;GitChat专栏作者&#xff0c;阿里云社区专家…
阅读更多...
阿里云-零基础入门推荐系统 【特征工程】

阿里云-零基础入门推荐系统 【特征工程】

文章目录 学习过程赛题介绍评价方式理解赛题理解制作特征和标签&#xff0c; 转成监督学习问题导包df节省内存函数训练和验证集的划分获取历史点击和最后一次点击读取训练、验证及测试集读取召回列表读取各种Embedding读取文章信息读取数据对训练数据做负采样将召回数据转换成字…
阅读更多...
火车订票管理系统|基于springboot框架+ Mysql+Java+B/S结构的火车订票管理系统设计与实现(可运行源码+数据库+设计文档)

火车订票管理系统|基于springboot框架+ Mysql+Java+B/S结构的火车订票管理系统设计与实现(可运行源码+数据库+设计文档)

推荐阅读100套最新项目 最新ssmjava项目文档视频演示可运行源码分享 最新jspjava项目文档视频演示可运行源码分享 最新Spring Boot项目文档视频演示可运行源码分享 目录 前台功能效果图 管理员功能登录前台功能效果图 用户功能模块 系统功能设计 数据库E-R图设计 lunwen…
阅读更多...
文件夹秒变应用程序？别慌，数据恢复有妙招！

文件夹秒变应用程序？别慌，数据恢复有妙招！

在日常使用电脑的过程中&#xff0c;我们有时会遇到一个令人头疼的问题&#xff1a;原本好好的文件夹突然变成了应用程序的图标&#xff0c;点击也无法正常打开。这种“文件夹变应用程序”的现象不仅让人感到困惑&#xff0c;还可能导致重要文件的丢失或损坏。那么&#xff0c;…
阅读更多...
最新文章

Copyright @ 2022~2023