FFMPEG 关于smaple_fmts的理解及ffplay播放PCM

news/2024/7/10 21:12:37 标签: ffmpeg, 音视频

 问题

当我将一个aac的音频文件解码为原始的PCM数据后,使用ffplay播放测试是否成功时,需要提供给ffplay 采样率,通道数,PCM的格式类型 3个参数,否则无法播放!

所以使用ffprobe 查看原来的aac文件信息,这里我们可以看到采样率为 44100Hz, 通道为stereo表示双通道,后面跟着一个 fltp,这是个什么格式呢?

我们先看一下ffmpeg支持那些PCM格式,使用下面的命名查看

ffmpeg -formats | findstr PCM

可以看到PCM的格式还是很多,具体我们选择哪一种呢?总不能一个个的试吧! 

le --- 小端模式   be --- 大端模式  

答案

我们先在在ffmpeg源码中,首先我们看下在FFMPEG中格式定义,它定义在FFmpeg/libavutil/samplefmt.h文件中。根据位深度,是否有符号,打包类型,定义了12种类型,AV_SAMPLE_FMT_NONE表示未知类型,最后的AV_SAMPLE_FMT_NB表示样本格式个数为12个。

enum AVSampleFormat {
    AV_SAMPLE_FMT_NONE = -1,
    AV_SAMPLE_FMT_U8,          ///< unsigned 8 bits
    AV_SAMPLE_FMT_S16,         ///< signed 16 bits
    AV_SAMPLE_FMT_S32,         ///< signed 32 bits
    AV_SAMPLE_FMT_FLT,         ///< float
    AV_SAMPLE_FMT_DBL,         ///< double

    AV_SAMPLE_FMT_U8P,         ///< unsigned 8 bits, planar
    AV_SAMPLE_FMT_S16P,        ///< signed 16 bits, planar
    AV_SAMPLE_FMT_S32P,        ///< signed 32 bits, planar
    AV_SAMPLE_FMT_FLTP,        ///< float, planar
    AV_SAMPLE_FMT_DBLP,        ///< double, planar
    AV_SAMPLE_FMT_S64,         ///< signed 64 bits
    AV_SAMPLE_FMT_S64P,        ///< signed 64 bits, planar

    AV_SAMPLE_FMT_NB           ///< Number of sample formats. DO NOT USE if linking dynamically
};

上面是程序内部使用的,而我们在命令行看到是fltp这种名字跟它有什么关系呢?具体对照表如下,定义在FFmpeg/libavutilsamplefmt.c文件中

typedef struct SampleFmtInfo {
    char name[8];
    int bits;
    int planar;
    enum AVSampleFormat altform; ///< planar<->packed alternative form
} SampleFmtInfo;

/** this table gives more information about formats */
static const SampleFmtInfo sample_fmt_info[AV_SAMPLE_FMT_NB] = {
    [AV_SAMPLE_FMT_U8]   = { .name =   "u8", .bits =  8, .planar = 0, .altform = AV_SAMPLE_FMT_U8P  },
    [AV_SAMPLE_FMT_S16]  = { .name =  "s16", .bits = 16, .planar = 0, .altform = AV_SAMPLE_FMT_S16P },
    [AV_SAMPLE_FMT_S32]  = { .name =  "s32", .bits = 32, .planar = 0, .altform = AV_SAMPLE_FMT_S32P },
    [AV_SAMPLE_FMT_S64]  = { .name =  "s64", .bits = 64, .planar = 0, .altform = AV_SAMPLE_FMT_S64P },
    [AV_SAMPLE_FMT_FLT]  = { .name =  "flt", .bits = 32, .planar = 0, .altform = AV_SAMPLE_FMT_FLTP },
    [AV_SAMPLE_FMT_DBL]  = { .name =  "dbl", .bits = 64, .planar = 0, .altform = AV_SAMPLE_FMT_DBLP },
    [AV_SAMPLE_FMT_U8P]  = { .name =  "u8p", .bits =  8, .planar = 1, .altform = AV_SAMPLE_FMT_U8   },
    [AV_SAMPLE_FMT_S16P] = { .name = "s16p", .bits = 16, .planar = 1, .altform = AV_SAMPLE_FMT_S16  },
    [AV_SAMPLE_FMT_S32P] = { .name = "s32p", .bits = 32, .planar = 1, .altform = AV_SAMPLE_FMT_S32  },
    [AV_SAMPLE_FMT_S64P] = { .name = "s64p", .bits = 64, .planar = 1, .altform = AV_SAMPLE_FMT_S64  },
    [AV_SAMPLE_FMT_FLTP] = { .name = "fltp", .bits = 32, .planar = 1, .altform = AV_SAMPLE_FMT_FLT  },
    [AV_SAMPLE_FMT_DBLP] = { .name = "dblp", .bits = 64, .planar = 1, .altform = AV_SAMPLE_FMT_DBL  },
};

这里我们看到fltp表示的格式是AV_SAMPLE_FMT_FLTP,位深32位,数据存储方式位planar,与之相反的packed格式为AV_SAMPLE_FMT_FLT。

好了我们已经知道fltp表示的是float 32位数据,我们再结合前面的PCM的格式数据,在根据我们的电脑的大小端类型知道,我们需要传递的参数是 s32le

好了,我们使用ffplay 播放试试看

ffplay -ar 44100 -ac 2 -f f32le -i audio.pcm

 结果如下,完美播放:

 备注

这里有一个planar,之前有一篇关于视频的采样格式的文章,这里我们需要注意的是音频样本的内存

存储方式。

planar  --- 每个音频通道(channel )一个平面,例如双通道data[0] = LLL..., data[1] = RRR...

                  linesize表示单个plane的buffer size(以字节为单位)

packed --- 不管几个音频通道都只是用一个平面,数据交错存储,data[0] = LRLRLR...

                  linesize表示单个plane的buffer size(以字节为单位)

其他

查看aac解码器信息

ffmpeg -h decoder=aac


http://www.niftyadmin.cn/n/233209.html

相关文章

ChatGPT有用到知识图谱吗?它自己是这样回答...

从搜索引擎到个人助手&#xff0c;我们每天都在使用问答系统。问答系统必须能够访问相关的知识并进行推理。通常&#xff0c;知识可以隐式地编码在大型语言模型&#xff08;LLMs&#xff09;中&#xff0c;例如ChatGPT、T5 和LaMDA 等大型语言模型&#xff0c;这些模型在未结构…

大佬入局AI,职场人有新机会了?

卸任搜狗CEO一年半后&#xff0c;王小川宣布在AI大模型领域创业&#xff0c;与前搜狗COO茹立云联合成立人工智能公司百川智能&#xff0c;打造中国版的OpenAI&#xff0c;并对媒体表示&#xff1a;“追上ChatGPT水平&#xff0c;我觉得今年内可能就能够实现&#xff0c;但对于G…

PMP组织架构分类(强矩阵弱矩阵等)及项目经理权力与职能经理对比,一看必懂

PMP组织架构中一般分类 &#xff1a;职能型&#xff0c;项目型&#xff0c;矩阵型&#xff08;包括弱矩阵型、强矩阵型、平衡型矩阵&#xff09;。 先重点来说说弱/强 矩阵型: 矩阵型组织架构 &#xff1a; 大家在各部门呆着好好的。我因为有特殊项目&#xff0c;到各个部门挑…

Linux环境下搭建composer私服及memory_limit问题

Composer是 PHP项目中用来管理依赖&#xff08;dependency&#xff09;关系的工具&#xff0c;允许声明项目所依赖的代码库 &#xff0c;然后在项目的某个目录中(默认是vendor目录) 中安装相关的依赖包。 在介绍如何安装私服之前&#xff0c;我们先熟悉下 composer 相关 compo…

学术速运|利用深度学习和分子动力学模拟设计抗菌肽

题目&#xff1a; Designing antimicrobial peptides using deep learning and molecular dynamic simulations 文献来源:Briefings in Bioinformatics, 2023, 1–13 代码&#xff1a;https://github.com/gc-js/Antimicrobial-peptide-generation 简介&#xff1a;随着多药耐…

通过Python的PIL库给图片添加文本水印

文章目录前言一、PIL是什么&#xff1f;二、安装PIL三、查看PIL版本四、使用PIL库给图片添加文本水印1.引入库2.打开图片文件3.新建一个Draw对象4.设置水印文字、字体、大小5.设置水印颜色5.1通过名称设置颜色5.2通过RGB值设置颜色5.3通过RGBA值设置颜色5.4通过十六进制设置颜色…

vue项目使用elementui上传组件 打包后报错t.upload.addEventListener is not a function的解决方案

错误问题 Vue:xhr.upload.addEventListener is not a function 这个问题是因为mockjs改动了axios里面XMLHttpRequest对象致使的 根据axios源码 l是一个XMLHttpRequest对象 mockJs把l变量从XMLHttpRequest对象改为了MockXMLHttpRequest对象 因此l.upload是一个空对象 空对象…

k8s+kubeedge+sedna安装全套流程+避坑指南+解决办法

最近在学习边缘计算要用到kubeedge&#xff0c;安装了好多次总会遇到各种各样的问题&#xff0c;因此在这里一一列出&#xff0c;以方便下次安装。则里面可能出错的地方太多&#xff0c;如果有问题&#xff0c;请私信联系。 一、环境准备 节点IP环境软件云端节点172.23.70.23…