P12 音视频复合流—

前言

从本章开始我们将要学习嵌入式音视频的学习了，使用的瑞芯微的开发板

🎬 个人主页：@ChenPi

🐻推荐专栏1: 《C++_@ChenPi的博客-CSDN博客》✨✨✨

🔥 推荐专栏2: 《Linux C应用编程（概念类）_@ChenPi的博客-CSDN博客》✨✨✨

🛸推荐专栏3：《嵌入式音视频_@ChenPi的博客-CSDN博客》
🌺本篇简介：本章讲解音视频中的复合流——ts流

01 什么是复合流

复合流是指在一条音视频数据流中同时包含视频ES和音频ES数据。

常见的复合流一般为TS流，MP4流，FLV流

02 TS流的介绍

TS流：英文全称为Transport Stream（传输流）。它由MPEG公司推出的全新MPEG2的压缩标准，TS流的出现是为了让音视频的实时交互更加方便，并且随着数字电视的发展，TS流数据在电视领域，网络音视频领域也有很大作用。

03 TS流的格式

TS流的格式大概分为三层，它分别为Transport Stream层，Packet Element Stream层，Element Stream层。

es层就是音视频数据
pes层是在音视频数据上加了时间戳等对数据帧的说明信息
ts层就是在pes层加入数据流的识别和传输必须的信息

04 Transport Stream层讲解

Transport Stream层主要有三个部分组成，TS Header ，ADaption Field，TS Payload

TS Header：TS Header为头部
ADaptation Field：可能存在也可能不存在，主要作用是给不足188字节的数据做填充
TS payload：pes数据

TS Header头部信息（四字节）

就是4个Bit

ts层的内容是通过PID值来标识的，主要内容包括：PAT表、PMT表、音频流、视频流。

解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然后就可以找到音视频流了。

PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流，因为用户随时可能加入ts流，这个间隔比较小，通常每隔几个视频帧就要加入PAT和PMT。

PAT和PMT表是必须的，还可以加入其它表如SDT（业务描述表）等，不过ts流只要有PAT和PMT就可以播放了。

PAT表：他主要的作用就是指明了PMT表的PID值。

PMT表：他主要的作用就是指明了音视频流的PID值。

音频流/视频流：承载音视频内容。

ADaption Field

四BIT后就是自适应区

DTS、PTS 的概念如下所述：

DTS（Decoding Time Stamp）：即解码时间戳，这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
PTS（Presentation Time Stamp）：即显示时间戳，这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。

Adaptional Field Length指的是自适应长度，它主要包含传输错误标识符的字节。

PCR是节目时钟参考表，PCR的PTS和DTS都是对同一个系统时间进行采样，PCR的值是逐渐递增的。在对TS流打包的时候，PAT表和PMT表是没有Adaptional Field，若长度不够则使用0xff.

4.1 PAT表(定义了当前TS流中的所有节目、要查询节目必须从PAT表开始)

4.2 PMT表格(查询当前节目中所有的PID信息，比方说包含多少个VIDEO、AUDIO)：

05 PES (Packet Element Stream)

PES层的结构是包含在TS层PAYLOAD里面的，PES层的主要功能是在每一帧音视频数据帧添加时间戳内容。比方说在用FFPLAY或者VLC播放TS文件的时候，会出现关于PTS、DTS的数据，这就是PES层的作用。

以下是比较常用的 PES包信息

pts是显示时间戳、dts是解码时间戳，视频数据两种时间戳都需要，音频数据的pts和dts相同，所以只需要pts。有pts和dts两种时间戳是B帧引起的，I帧和P帧的pts等于dts。如果一个视频没有B帧，则pts永远和dts相同。从文件中顺序读取视频帧，取出的帧顺序和dts顺序相同。dts算法比较简单，初始值 + 增量即可，pts计算比较复杂，需要在dts的基础上加偏移量。

音频的pes中只有pts（同dts），视频的I、P帧两种时间戳都要有，视频B帧只要pts（同dts）。

打包pts和dts就需要知道视频帧类型，但是通过容器格式我们是无法判断帧类型的，必须解析h.264内容才可以获取帧类型。