专栏首页非著名程序员Android中如何提取和生成mp4文件

Android中如何提取和生成mp4文件

随着Android 4.4及以上版本的逐渐普及,Android 4.1引入的MediaExtractor类,以及Android 4.3引入的MediaMuxer类,终于可以开始正式地“发光发热”了。

MediaMuxer类主要用于将音频和视频数据进行混合生成多媒体文件(如:mp4文件),而MediaExtractor则刚好相反,主要用于多媒体文件的音视频数据的分离。

本文将介绍如何利用Android SDK提供的MediaExtractor和MediaMuxer类来完成mp4文件的提取和生成,指出开发过程中会遇到的坑,并给出简单的Demo示例代码。

Demo的目标:提取input.mp4文件中的视频数据,生成除去音频数据之后的纯视频output.mp4文件。代码可以在本博文最后的附件中下载,也可以到我的Github中下载:

https://github.com/Jhuster/Android/tree/master/MediaDemo

由于Android SDK关于这两个类的介绍真是少之又少,因此,在给出demo之前,我们先简单地了解一下这两个类吧。

1. MediaExtractor

该类主要用于音视频混合数据的分离,接口比较简单,首先要通过setDataSource(String path)函数设置数据源,数据源可以是本地文件地址,也可以使用HTTP协议的网络码流地址。

然后,可以通过下面的代码块,来获取码流的详细信息,如:MimeType,分辨率、编码格式、码率、帧率等等。

int videoTrackIndex = -1;
int audioTrackIndex = -1;

for(int i = 0; i < mMediaExtractor.getTrackCount(); i++) {

 //获取码流的详细格式/配置信息
 MediaFormat format = mMediaExtractor.getTrackFormat(i);

 String mime = format.getString(MediaFormat.KEY_MIME);
 if(mime.startsWith("video/")) {
 videoTrackIndex = i;
 }
 else if(mime.startsWith("audio/")) {
 audioTrackIndex = i;
 }

 ....
}

获取到媒体文件的详细信息之后,就可以选择指定的通道,并分离和读取数据了:

mMediaExtractor.selectTrack(videoTrackIndex); //选择读取视频数据
while(true) {
 int sampleSize = mMediaExtractor.readSampleData(buffer, 0);  //读取一帧数据
 if(sampleSize < 0) {
 break;
 }
 mMediaExtractor.advance(); //移动到下一帧
}

mMediaExtractor.release(); //读取结束后,要记得释放资源

2. MediaMuxer

该类主要用于将音频和视频进行混合生成多媒体文件,创建该类对象,需要传入输出的文件位置以及格式,构造函数如下:

public MediaMuxer(String path, int format);

创建对象之后,一个比较重要的操作就是addTrack(),添加数据通道,该函数需要传入MediaFormat对象,MediaFormat即媒体格式类,用于描述媒体的格式参数,如视频帧率、音频采样率等。

在本示例中,可以直接使用MediaExtractor.getTrackFormat()解析得到的MediaFormat对象,如果你希望自己来创建这个MediaFormat对象的话,可以使用该类的如下静态方法创建:

MediaFormat format = MediaFormat.createVideoFormat("video/avc",320,240);

注意,这里有一个比较大的坑,就是,如果手动创建MediaFormat对象的话,一定要记得设置"csd-0"和"csd-1"这两个参数:

byte[] csd0 = {x,x,x,x,x,x,x...}
byte[] csd1 = {x,x,x,x,x,x,x...}

format.setByteBuffer("csd-0",ByteBuffer.wrap(csd0));
format.setByteBuffer("csd-1",ByteBuffer.wrap(csd1));

至于"csd-0"和"csd-1"是什么,对于H264视频的话,它对应的是sps和pps,对于AAC音频的话,对应的是ADTS,做音视频开发的人应该都知道,它一般存在于编码器生成的IDR帧之中。

通过 addTrack() 添加了数据通道之后,记录下函数返回的 trackIndex,然后就可以调用 MediaMuxer.writeSampleData() 愉快地向mp4文件中写入数据了。

这里会产生第二个坑,就是writeSampleData函数的最后一个参数是一个BufferInfo对象,你必须认真地填入“正确”的值:

BufferInfo info = new BufferInfo();
info.offset = 0;
info.size = sampleSize;
info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;
info.presentationTimeUs = timestamp;

其中,

info.size 必须填入数据的大小

info.flags 需要给出是否为同步帧/关键帧

info.presentationTimeUs 必须给出正确的时间戳,注意单位是 us,例如,对于帧率为 x f/s 的视频而言,时间戳的间隔就是 1000/x ms

跳过了这些坑,你就可以顺利地完成mp4文件的写入了,同样,完成后记得关闭以及释放资源:

mMediaMuxer.stop(); mMediaMuxer.release();

3. 小结

有了上面的简单介绍和铺垫,demo代码就不难看懂了。运行demo代码的注意事项:

(1)Android 4.3以及以上系统的手机

(2)把 input.mp4文件拷贝到sdcard

代码最核心的部分如下所示:

protected boolean process() throws IOException {

 mMediaExtractor = new MediaExtractor();          
 mMediaExtractor.setDataSource(SDCARD_PATH+"/input.mp4");                
 
 int mVideoTrackIndex = -1;
 int framerate = 0;
 for(int i = 0; i < mMediaExtractor.getTrackCount(); i++) {
 MediaFormat format = mMediaExtractor.getTrackFormat(i);
 String mime = format.getString(MediaFormat.KEY_MIME);
 if(!mime.startsWith("video/")) {                
 continue;
 }
 framerate = format.getInteger(MediaFormat.KEY_FRAME_RATE);            
 mMediaExtractor.selectTrack(i);
 mMediaMuxer = new MediaMuxer(SDCARD_PATH+"/ouput.mp4", OutputFormat.MUXER_OUTPUT_MPEG_4);
 mVideoTrackIndex = mMediaMuxer.addTrack(format);  
 mMediaMuxer.start();
 }
 
 if(mMediaMuxer == null) {
 return false;
 }
 
 BufferInfo info = new BufferInfo();
 info.presentationTimeUs = 0;
 ByteBuffer buffer = ByteBuffer.allocate(500*1024);        
 while(true) {
 int sampleSize = mMediaExtractor.readSampleData(buffer, 0);
 if(sampleSize < 0) {
 break;
 }
 mMediaExtractor.advance();
 info.offset = 0;
 info.size = sampleSize;
 info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;        
 info.presentationTimeUs += 1000*1000/framerate;
 mMediaMuxer.writeSampleData(mVideoTrackIndex,buffer,info);
 }

 mMediaExtractor.release();
 
 mMediaMuxer.stop();
 mMediaMuxer.release();
 
 return true;
 }

4. 小结

关于Android中如何提取和生成mp4文件就总结到这里了,有任何疑问或者建议欢迎留言或者来信lujun.hust@gmail.com交流,或者关注我的新浪微博 @卢_俊 获取最新的文章和资讯。

本文出自 “对影成三人” 博客,原文地址:http://ticktick.blog.51cto.com/823160/1710743

本文分享自微信公众号 - 非著名程序员(non-famous-coder),作者:tickTick

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2015-11-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Dagger2图文完全教程

    ? 没有更多开场白,直接说下我对它的理解。 Dagger2 是一个Android依赖注入框架。而android开发当前非常流行的非MVP模式莫属了,Dagge...

    非著名程序员
  • 10大H5前端框架,让你开发不愁

    ? 作为一名在前端死缠烂打6年并且懒到不行的攻城狮,这几年阅过很多从知名到很知名的前端框架,本来想拿15-20个框架来分享一下,但在跟几个前辈讨教写文章的技巧...

    非著名程序员
  • Android热修复实践应用—AndFix

    一直关注App的热修复的技术发展,之前做的应用也没用使用到什么热修复开源框架。在App的热修复框架没有流行之前,做的应用上线后发现一个小小的Bug,就要马上发一...

    非著名程序员
  • Docker中运行的Java 9将能调整内存限制

    OpenJDK 9中首次新增了一项实验性功能,JVM可借助该功能检测到自己运行在容器中,进而酌情调整内存限制。尽管过去几年来容器技术日渐流行,但包括JVM在内的...

    静一
  • Python 技术篇-pygame界面添加图片不显示,原因及解决办法

    小蓝枣
  • OpenExpressApp 框架结构(1)

    项目做了半年了,一直没把结构图画下来。 为了方便以后更改和添加新功能,现在先把里面比较重要的类的结构一起画下来。暂时先用着: ?

    用户1172223
  • 你的Python会唱歌吗?

    cp27代表python2.7版本,win32代表32位操作系统。我的是python3.7,系统是64位,所以我下载的是pygame-1.9.6-cp37-cp...

    阿黎逸阳
  • 快速学习Linux-常用命令

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    cwl_java
  • 006.FTP用户访问控制配置

    注意:Linux中采用最小(严)匹配,若黑白名单冲突,即用户同时写入两个文件,则优先匹配黑名单。

    木二
  • Container及其内部进程监控剖析

    目前市场上的虚拟化技术种类很多,例如moby(docker)、LXC、RKT等等。在带来方便应用部署和资源充分利用的好处的同时,如何监控相应Container及...

    宜信技术学院

扫码关注云+社区

领取腾讯云代金券