FLV文件格式官方规范详解

——如果要学习一个新的知识点,官方手册可能是最快的途径。查看网上其他人的总结也许入门更快,但是要准确,深入,完整,还是要看官方手册。

以下内容来自对官方文档Video File Format Specification Version 10的分析总结。过程中借助ffmpeg实际转换了一个flv文件用例研究。

一个FLV文件,每种类型的tag都属于一个流,也就是一个flv文件最多只有一个音频流,一个视频流,不存在多个独立的音视频流在一个文件的情况。(mp4好像是可以的)

另外,FLV文件格式所用的是大端序。

注:下面的数据type中,UI表示无符号整形,后面跟的数字表示其长度是多少位。比如UI8,表示无法整形,长度一个字节。UI24是三个字节。UB表示位域,UB5表示一个字节的5位。可以参考c中的位域结构体。

FLV头


Field

type

Comment

签名

UI8

’F’(0X46)

签名

UI8

‘L’(0X4C)

签名

UI8

‘V’(0x56)

版本

UI8

FLV的版本。0x01表示FLV 版本是1

保留字段

UB5

前五位必须是0

是否有音频流

UB1

音频流是否存在标志

保留字段

UB1

必须是0

是否有视频流

UB1

视频流是否存在标志

文件头大小

UI32

FLV版本1时填写9,表明的是FLV头的大小,为后期的FLV版本扩展使用。包括这四个字节。数据的起始位置就是从文件开头偏移这么多的大小。

FLV文件体


body部分由一个个Tag组成,每个Tag的下面有一块4bytes的空间,用来记录这个tag的长度,这个后置用于逆向读取处理,他们的关系如下图:

注意:头下面四个自己就是PreviousTagSize,因为前一个没有Tag,所以,值填写0。

FLV tags 结构


Field

type

Comment

TAG类型

UI8

8: audio9: video18: script data——这里是一些描述信息。all others: reserved其他所有值未使用。

数据大小

UI24

数据区的大小,不包括包头。包头总大小是11个字节。

时戳

UI24

当前帧时戳,单位是毫秒。相对于FLV文件的第一个TAG时戳。第一个tag的时戳总是0。——不是时戳增量,rtmp中是时戳增量。

时戳扩展字段

UI8

如果时戳大于0xFFFFFF,将会使用这个字节。这个字节是时戳的高8位,上面的三个字节是低24位。

流ID

U24

总是0

数据区

UI8[n]

音频数据


Field

type

Comment

音频格式

UB4

0 = Linear PCM, platform endian1 = ADPCM2 = MP33 = Linear PCM, little endian4 = Nellymoser 16-kHz mono5 = Nellymoser 8-kHz mono6 = Nellymoser7 = G.711 A-law logarithmic PCM8 = G.711 mu-law logarithmic PCM 9 = reserved10 = AAC11 = Speex14 = MP3 8-Khz15 = Device-specific sound7, 8, 14, and 15:内部保留使用。flv是不支持g711a的,如果要用,可能要用线性音频。

采样率

UB2

For AAC: always 30 = 5.5-kHz1 = 11-kHz2 = 22-kHz3 = 44-kHz

采样大小

UB1

0 = snd8Bit1 = snd16Bit

声道

UB1

0=单声道1=立体声,双声道。AAC永远是1

声音数据

UI8[N]

如果是PCM线性数据,存储的时候每个16bit小端存储,有符号。如果音频格式是AAC,则存储的数据是AAC AUDIO DATA,否则为线性数组。

AAC AUDIO DATA


视频数据


Field

type

Comment

帧类型

UB4

1: keyframe (for AVC, a seekable frame)——h264的IDR,关键帧,可重入帧。2: inter frame (for AVC, a non- seekable frame)——h264的普通帧3: disposable inter frame (H.263 only)4: generated keyframe (reserved for server use only)5: video info/command frame

编码ID

UB4

使用哪种编码类型:1: JPEG (currently unused) 2: Sorenson H.2633: Screen video4: On2 VP65: On2 VP6 with alpha channel 6: Screen video version 27: AVC

视频数据

UI[N]

如果是avc,则参考下面的介绍:AVCVIDEOPACKET

AVCVIDEOPACKET


Field

type

Comment

AVC packet类型

UI8

0:AVC序列头1:AVC NALU单元2:AVC序列结束。低级别avc不需要。

CTS

SI24

如果AVC packet类型是1,则为cts偏移(见下面的解释),为0则为0

数据

UI8[n]

如果AVC packet类型是0,则是解码器配置,sps,pps。如果是1,则是nalu单元,可以是多个,具体格式:将下面

关于CTS:这是一个比较难以理解的概念,需要和pts,dts配合一起理解。

首先,pts(presentation time stamps),dts(decoder timestamps),cts(CompositionTime)的概念:

pts:显示时间,也就是接收方在显示器显示这帧的时间。单位为1/90000 秒。

dts:解码时间,也就是rtp包中传输的时间戳,表明解码的顺序。单位单位为1/90000 秒。——根据后面的理解,pts就是标准中的CompositionTime

cts偏移:cts = (pts - dts) / 90 。cts的单位是毫秒。

pts和dts的时间不一样,应该只出现在含有B帧的情况下,也就是profile main以上。baseline是没有这个问题的,baseline的pts和dts一直想吐,所以cts一直为0。

在flv tag中的时戳就是DTS。

研究 一下文档,  ISO/IEC 14496-12:2005(E)      8.15   Time to Sample Boxes,发现CompositionTime就是presentation time stamps,只是叫法不同。——需要再进一步确认。

在上图中,cp就是pts,显示时间。DT是解码时间,rtp的时戳。

I1是第一个帧,B2是第二个,后面的序号就是摄像头输出的顺序。决定了显示的顺序。

DT,是编码的顺序,特别是在有B帧的情况,P4要在第二个解,因为B2和B3依赖于P4,但是P4的显示要在B3之后,因为他的顺序靠后。这样就存在显示时间CT(PTS)和解码时间DT的差,就有了CT偏移。

P4解码时间是10,但是显示时间是40,

AVCVIDEOPACKET中data格式:

Field

type

Comment

长度

UI32

nalu单元的长度,不包括长度字段。

nalu数据

UI8[N]

NALU数据,没有四个字节的nalu单元头,直接从h264头开始,比如:65 ** ** **,41 **  ** **

长度

UI32

nalu单元的长度,不包括长度字段。

nalu数据

UI8[N]

NALU数据,没有四个字节的nalu单元头,直接从h264头开始,比如:65 ** ** **,41 **  ** **

...

...

...

Data tags


主要是onMeta信息需要关注。

AVCDecoderConfigurationRecord


AVCVIDEOPACKET的数据格式,保存控制信息。

记录sps,pps信息。一般出现在第二个tag中,紧跟在onMeta之后。

一个典型的序列:

0000190: 0900 0033 0000 0000 0000 0017 0000 0000  ...3............

00001a0:0164 002a ffe1 001e 6764 002a acd9 4078  .d.*....gd.*..@x

00001b0:0227 e5ff c389 4388 0400 0003 0028 0000  .'....C......(..

00001c0:0978 3c60 c658 0100 0568 ebec b22c 0000  .x<`.X...h...,..

17:表示h264IDR data

00:表示是AVC序列头

00 00 00 :cts为0

//从此往下就是AVCDecoderConfigurationRecord

01 :版本号

64 00 2a:profile level id,sps的三个字节,64表示是h264 high profile,2a表示level。

FF:NALU长度,为3?不知道这个长度用在哪里。

E1:表示下面紧跟SPS有一个。

//sps[N]:sps数组。

00 1e:    前面是两个字节的sps长度,表示后面的sps的长度是1e大小。

6764 002a acd9 4078 0227 e5ff c389 4388 0400 0003 0028 0000 0978 3c60 c658:sps的数据。

//因为只有一个sps,跳过这些长度,然后就是pps的个数信息:

01 :pps个数,1

//pps[n] pps 的个数

00 05:表示pps的大小是5个字节。

68 eb ec b2 2c:pps的数据

00 00 …….这是下一个tag 的内容了

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏一名叫大蕉的程序员

大数据计数原理1+0=1这你都不会算(三)No.51

这是本坑的第三篇,之前已经说了关于 HashSet 和 BitMap 了,这次说说 Bloom Filter 布隆过滤器,要是还不知道前面讲了啥的,可以点一下下...

1939
来自专栏智能算法

ZIP压缩算法详细分析及解压实例解释(上)

来源:esingchan - 博客园 链接:www.cnblogs.com/esingchan/p/3958962.html(点击尾部阅读原文前往) 最近自己实...

4398
来自专栏潇涧技术专栏

Python Algorithms - C5 Traversal

Traversal就是遍历,主要是对图的遍历,也就是遍历图中的每个节点。对一个节点的遍历有两个阶段,首先是发现(discover),然后是访问(visit)。遍...

891
来自专栏逸鹏说道

临时处理小记:把Numpy的narray二进制文件转换成json文件

临时处理一个Numpy的二进制文件,分析知道里面是dict类型,简单小记一下,如果Numpy和Python基础不熟悉可以看我之前写的文章(贴一下Numpy的)

1123
来自专栏落影的专栏

程序员进阶之算法练习(八)附两道搜狐笔试题

前言 前面讲了那么多算法的重要性。口说无凭,这次带上两道搜狐今年的笔试题。 这里先附上两道搜狐题目的大意: 题目一: 《宝石》 有一串宝石首尾相连,用...

4175
来自专栏小樱的经验随笔

CDOJ 1330 柱爷与远古法阵【高斯消元,卡精度】

柱爷与远古法阵 Time Limit: 125/125MS (Java/Others)     Memory Limit: 240000/240000KB (J...

2687
来自专栏C语言及其他语言

【每日一题】1446: [蓝桥杯][历届试题]核桃的数量

题目描述 小张是软件项目经理,他带领3个开发组。工期紧,今天都在加班呢。为鼓舞士气,小张打算给每个组发一袋核桃(据传言能补脑)。他的要求是: 1. 各组的核...

3798
来自专栏SeanCheney的专栏

《利用Python进行数据分析·第2版》第14章 数据分析案例14.1 来自Bitly的USA.gov数据14.2 MovieLens 1M数据集14.3 1880-2010年间全美婴儿姓名14.4

本书正文的最后一章,我们来看一些真实世界的数据集。对于每个数据集,我们会用之前介绍的方法,从原始数据中提取有意义的内容。展示的方法适用于其它数据集,也包括你的。...

3645
来自专栏生信宝典

Python学习没有捷径,但可以加速,零基础九天你也可以会编程

在小学生都学Python了,你还不知道怎么开始文中介绍了Python的应用广泛,功能强大,提供了Python的在线学习视频和资料等 (收集资料是我们的最爱)。...

19910
来自专栏take time, save time

你所能用到的无损压缩编码(二)

     上个月项目荷兰大佬要检查,搞的我想写的东西不断推迟,现在检查完了,我决定继续把我想写的这整个一个系列写完,上一次写的是最简单的无损编码行程编码,这一次...

3499

扫码关注云+社区