FFmpeg实现多段小视频合成

这里主要实现一下多视频合成,主要困难是手机前置摄像头和后置摄像头录制的视频合成问题,我这里主要实现了功能,但是效率不优,暂时记录一下,如果有更好的方式再更新。

1.新建SelectRecordActivity类,并且打开AndroidManifest.xml修改为启动类(之前的启动类是MainActivity,现在只是作为一个单独的功能类),引用activity_select_record.xml布局文件,两个选择按钮。

点击单段视频录制实现第二按钮的功能,点击多段视频录制合成跳转到MultiRecordActivity。

2.新建MultiRecordActivity,直接引用MainActivity的布局activity_main.xml。因为布局都一样,主要区别在于修改切换摄像头的按钮逻辑以及停止录制的逻辑。

需要用到变量

   /**
     * 相机预览
     */
    private SurfaceView mSurfaceView;
    /**
     * 开始录制按钮
     */
    private ImageView mStartVideo;
    /**
     * 正在录制按钮,再次点击,停止录制
     */
    private ImageView mStartVideoIng;
    /**
     * 录制时间
     */
    private TextView mTime;
    /**
     * 录制进度条
     */
    private ProgressBar mProgress;
    /**
     * 等待视频合成完成提示
     */
    private ProgressBar mWait;
    /**
     * 录制主要工具类
     */
    private MediaHelper mMediaHelper;
    /**
     * 录制进度值
     */
    private int mProgressNumber=0;
    /**
     * 视频段文件编号
     */
    private int mVideoNumber=1;
    private FileUtils mFileUtils;
    /**
     * 临时记录每段视频的参数内容
     */
    private List<Mp4TsVideo> mTsVideo = new ArrayList<>();
    /**
     * mp4转ts流后的地址,主要合成的文件
     */
    private List<String> mTsPath = new ArrayList<>();
    /**
     * 是否已经取消下一步,比如关闭了页面,就不再做线程处理,结束任务
     */
    private boolean isCancel;
    /**
     * 权限相关
     */
    private PermissionHelper mPermissionHelper;

初始化录制工具类以及文件类

mMediaHelper = new MediaHelper(this);
        mMediaHelper.setTargetDir(new File(mFileUtils.getMediaVideoPath()));
        //视频段从编号1开始
        mMediaHelper.setTargetName(mVideoNumber + ".mp4");
        mPermissionHelper = new PermissionHelper(this);
 //录制之前删除所有的多余文件
        mFileUtils = new FileUtils(this);
        mFileUtils.deleteFile(mFileUtils.getMediaVideoPath(),null);
        mFileUtils.deleteFile(mFileUtils.getStorageDirectory(),null);

其中用来记录视频段的Mp4TsVideo类

   /**
     * 记录下每段视频
     */
    private class Mp4TsVideo{
        /**
         * 视频段的地址
         */
        private String mp4Path;
        /**
         * ts地址
         */
        private String tsPath;
        /**
         * 是否需要翻转
         */
        private boolean flip;
        public String getMp4Path() {
            return mp4Path;
        }
        public void setMp4Path(String mp4Path) {
            this.mp4Path = mp4Path;
        }
        public String getTsPath() {
            return tsPath;
        }
        public void setTsPath(String tsPath) {
            this.tsPath = tsPath;
        }
        public boolean isFlip() {
            return flip;
        }
        public void setFlip(boolean flip) {
            this.flip = flip;
        }
    }

3.修改点击镜头切换的逻辑,在MainActivity中这个逻辑是直接停止录制,等待点击重新录制。本文这里,是切换摄像头成功后先保存当前录制的视频,然后再继续录制。

        case R.id.inversion:
                if(mMediaHelper.isRecording()){
                    mMediaHelper.stopRecordSave();
                    addMp4Video();
                    mVideoNumber++;
                    mMediaHelper.setTargetName(mVideoNumber+".mp4");
                    mMediaHelper.autoChangeCamera();
                    mMediaHelper.record();
                }else{
                    mMediaHelper.autoChangeCamera();
                }
                break;

其中addMp4Video()方法就是记录保存当前录制的视频段

/**
     * 记录这个视频片段并且开始处理。
     */
    private void addMp4Video(){
        Mp4TsVideo mp4TsVideo = new Mp4TsVideo();
        mp4TsVideo.setMp4Path(mMediaHelper.getTargetFilePath());
        mp4TsVideo.setTsPath(mFileUtils.getMediaVideoPath()+"/"+mVideoNumber+".ts");
        mp4TsVideo.setFlip(mMediaHelper.getPosition()== Camera.CameraInfo.CAMERA_FACING_FRONT);
        mTsVideo.add(mp4TsVideo);
        mp4ToTs();
    }

注意:之前就说过涉及到前置摄像头视频,所以需要翻转的功能来进行处理,翻转是需要重新编码,所以无法直接使用copy指令,所以转换ts的过程比较耗时,特别多段,为了保证体验的效率,所以拿到一段视频段就开始通过AsyncTask转换处理。

 /**
     * 如果发现是多个视频就异步开始合成,节省等待时间。
     * 通过递归的模式来处理视频合成。
     */
    private void mp4ToTs(){
        if(isCancel){
            return;
        }
        if(mTsVideo.size()==0){
            if(mTsPath.size()>0 && !mMediaHelper.isRecording()){
                showProgressLoading();
                concatVideo(mTsPath);
            }
            return;
        }
        final Mp4TsVideo mp4TsVideo = mTsVideo.get(0);
        Mp4TsVideo mp4TsVideoIng = (Mp4TsVideo) mStartVideo.getTag();
        if(mp4TsVideo == mp4TsVideoIng){
            return;
        }
        mStartVideo.setTag(mp4TsVideo);
        FFmpegRun.execute(FFmpegCommands.mp4ToTs(mp4TsVideo.getMp4Path(), mp4TsVideo.getTsPath(),mp4TsVideo.isFlip()), new FFmpegRun.FFmpegRunListener() {
            @Override
            public void onStart() {
            }
            @Override
            public void onEnd(int result) {
                if(mTsVideo.size() == 0 || isCancel){
                    return;
                }
                mTsPath.add(mp4TsVideo.getTsPath());
                mTsVideo.remove(mp4TsVideo);
                mp4ToTs();
            }
        });
    }

打开FFmpegCommands类新增mp4转ts的命令

 /**
     * mp4转ts
     * @param videoUrl
     * @param outPath
     * @param flip
     * @return
     */
    public static String[] mp4ToTs(String videoUrl,String outPath,boolean flip){
        Log.w("SLog","videoUrl:" + videoUrl + "\noutPath:" + outPath);
        ArrayList<String> _commands = new ArrayList<>();
        _commands.add("ffmpeg");
        _commands.add("-i");
        _commands.add(videoUrl);
        if(flip){
            _commands.add("-vf");
            _commands.add("hflip");
        }
        _commands.add("-b");
        _commands.add(String.valueOf(2 * 1024 * 1024));
        _commands.add("-s");
        _commands.add("720x1280");
        _commands.add("-acodec");
        _commands.add("copy");
//        _commands.add("-vcodec");
//        _commands.add("copy");
        _commands.add(outPath);
        String[] commands = new String[_commands.size()];
        for (int i = 0; i < _commands.size(); i++) {
            commands[i] = _commands.get(i);
        }
        return commands;
    }

注意:如果是前置录制的视频,需要镜像翻转,否则合成的视频有一段是倒过来,这样的视频完全不能到达要求 ,主要判断逻辑

      if(flip){
            _commands.add("-vf");
            //hflip左右翻转,vflip上下翻转
            _commands.add("hflip");
        }

完整的视频是按顺序拼接的,我通过递归的方式,一段一段的提取mTsVideo中的视频段,直到视频全部由mp4转成ts流为止。

4.录制视频段的行为和处理视频段的行为是互不干扰的,直到点击停止录制按钮,如果满足时间要求(我这里设置最低录制8秒),就只需要等待所有视频段转换完成。 点击停止按钮:

     case R.id.start_video_ing:
                if(mProgressNumber == 0){
                    stopView(false);
                    break;
                }
                Log.e("SLog","mProgressNumber:"+mProgressNumber);
                if (mProgressNumber < 8){
                    //时间太短不保存
                    Toast.makeText(this,"请至少录制到红线位置",Toast.LENGTH_LONG).show();
                    mMediaHelper.stopRecordUnSave();
                    stopView(false);
                    break;
                }
                //停止录制
                mMediaHelper.stopRecordSave();
                stopView(true);
                break;

stopView方法:

/**
     * 停止录制
     * @param isSave
     */
    private void stopView(boolean isSave){
        int timer = mProgressNumber;
        mProgressNumber = 0;
        mProgress.setProgress(0);
        handler.removeMessages(0);
        mTime.setText("00:00");
        mTime.setTag(timer);
        if(isSave) {
            String videoPath = mFileUtils.getMediaVideoPath();
            final File file = new File(videoPath);
            if(!file.exists()){
                Toast.makeText(this,"文件已损坏或者被删除,请重试!",Toast.LENGTH_SHORT).show();
                return;
            }
            File[] files = file.listFiles();
            if(files.length==1){
                startMediaVideo(mMediaHelper.getTargetFilePath());
            }else{
                showProgressLoading();
                addMp4Video();
            }
        }else{
            mFileUtils.deleteFile(mFileUtils.getStorageDirectory(),null);
            mFileUtils.deleteFile(mFileUtils.getMediaVideoPath(),null);
            mVideoNumber=1;
            isCancel = true;
        }
        mStartVideoIng.setVisibility(View.GONE);
        mStartVideo.setVisibility(View.VISIBLE);
    }

判断文件夹内如果只有一段视频,不需要做任何转换处理,直接进入下一步,这里和单段视频录制原理一样,如果是多段视频需要把最后一段视频也添加到待处理的集合中,等待递归处理完成。

处理完视频段后,得到所有视频段的ts文件,进入合成的方法concatVideo()

/**
     * ts合成视频
     * @param filePaths
     */
    private void concatVideo(List<String> filePaths){
        StringBuilder ts = new StringBuilder();
        for (String s:filePaths) {
            ts.append(s).append("|");
        }
        String tsVideo = ts.substring(0,ts.length()-1);
        final String videoPath = mFileUtils.getStorageDirectory()+"/video_ts.mp4";
        FFmpegRun.execute(FFmpegCommands.concatTsVideo(tsVideo, videoPath), new FFmpegRun.FFmpegRunListener() {
            @Override
            public void onStart() {
               Log.e("SLog","concatTsVideo start...");
            }
            @Override
            public void onEnd(int result) {
                Log.e("SLog","concatTsVideo end...");
                dismissProgress();
                startMediaVideo(videoPath);
            }
        });
    }

打开FFmpegCommands类新增ts合成mp4的命令

/**
     * ts拼接视频
     */
    public static String[] concatTsVideo(String _filePath, String _outPath) {//-f concat -i list.txt -c copy concat.mp4
        Log.w("SLog","_filePath:" + _filePath + "\n_outPath:" + _outPath);
        ArrayList<String> _commands = new ArrayList<>();
        _commands.add("ffmpeg");
        _commands.add("-i");
        _commands.add("concat:"+_filePath);
        _commands.add("-b");
        _commands.add(String.valueOf(2 * 1024 * 1024));
        _commands.add("-s");
        _commands.add("720x1280");
        _commands.add("-acodec");
        _commands.add("copy");
        _commands.add("-vcodec");
        _commands.add("copy");
        _commands.add(_outPath);
        String[] commands = new String[_commands.size()];
        for (int i = 0; i < _commands.size(); i++) {
            commands[i] = _commands.get(i);
        }
        return commands;
    }

因为之前mp4转ts的时候参数处理都一致,所以这里的ts流合成可以直接用copy指令直接复制音频和视频源,几乎秒合成。 合并完成后进入制作页面:

 /**
     * 进入下一步制作页面
     * @param path
     */
    private void startMediaVideo(String path){
        int timer = (int) mTime.getTag();
        Log.d("SLog","video path:"+path);
        Intent intent = new Intent(this,MakeVideoActivity.class);
        intent.putExtra("path",path);
        intent.putExtra("time",timer);
        startActivity(intent);
    }

视频合成的功能是达到了,但是效率并不是最佳,特别在硬件差的手机上更是不敢恭维,我实现的途中尝试了很多办法,包括监听Camera的源数据处理,效果都不太好,所以如果哪位大神有更好的思路和方式。

最后我在提供一下其他我认为效率最佳的合成命令,也是官网查阅的。

/**
     * txt文件拼接视频
     */
    public static String[] concatPathVideo(String _filePath, String _outPath) {//-f concat -i list.txt -c copy concat.mp4
        if (SLog.debug) SLog.w("_filePath:" + _filePath + "\n_outPath:" + _outPath);
        ArrayList<String> _commands = new ArrayList<>();
        _commands.add("ffmpeg");
        _commands.add("-f");
        _commands.add("concat");
        _commands.add("-safe");
        _commands.add("0");
        _commands.add("-i");
        _commands.add(_filePath);
        _commands.add("-c");
        _commands.add("copy");
        _commands.add(_outPath);
        String[] commands = new String[_commands.size()];
        for (int i = 0; i < _commands.size(); i++) {
            commands[i] = _commands.get(i);
        }
        return commands;
    }

这里需要传入一个文件路径,这个文件的内容就是你合成视频的地址,多个视频换行区分,效率极高,但是有限制,比如帧率等参数一致才行(比如我都是用后置摄像头录制的视频段),否则合成的视频有问题或者无法播放。

simple.txt
file 'input1.mp4'
file 'input2.mp4'
file 'input3.mp4'

原创作者:Galaxy北爱 原文链接:https://www.jianshu.com/p/6c51b11550be 校验:逆流的鱼yuiop

原文发布于微信公众号 - 何俊林(DriodDeveloper)

原文发表时间:2018-05-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏听Allen瞎扯淡

玩花招的PowerMock

当我们面对一个遗留系统时,常见的问题是没有测试。正如Michael Feathers在Working Effectively with Legacy Code一...

742
来自专栏向治洪

Kotlin和anko融合进行Android开发

kotlin是一门基于jvm的编程语言,最近进行了关于kotlin和 anko的研究。并且结合现在的APP设计模式,设想了初步的开发方式。并且准备应用在新的项目...

2606
来自专栏向治洪

Kotlin和anko融合进行Android开发

kotlin是一门基于jvm的编程语言,最近进行了关于kotlin和 anko的研究。并且结合现在的APP设计模式,设想了初步的开发方式。并且准备应用在新的项目...

1836
来自专栏向治洪

百度地图之标注聚会

俗话说站在巨人的肩膀上将事半功倍,在写android的百度地图标注物聚合时,我在网上也进行了大量的查询,发现标注物聚合的算法很早就有人写了,不过他们是js或者是...

2006
来自专栏Java帮帮-微信公众号-技术文章全总结

Java设计模式-策略模式

策略模式: 定义一系列的算法, 将其一个个封装起来, 并使它们可相互替换, 使得算法可独立于使用它的客户而变化. ? (图片来源: 设计模式: 可复用面向对象...

4066
来自专栏desperate633

设计模式之状态模式(state模式)状态模式的具体实例状态模式的分析

面向对象编程中,类用来表示对象,一般情况下,我们需要考虑用类来表示什么具体的东西。类对应的东西可能存在于真实世界中,也可能不存在于真实世界中。 状态模式所表示...

932
来自专栏CSDN技术头条

解析大型.NET ERP系统 20条数据库设计规范

数据库设计规范是个技术含量相对低的话题,只需要对标准和规范的坚持即可做到。当系统越来越庞大,严格控制数据库的设计人员,并且有一份规范书供执行参考。在程序框架中,...

2347
来自专栏向治洪

android软件开发之webView.addJavascriptInterface循环渐进【一】

首先必要的啰嗦几句,这几天写VC写的累的要死,突然间不想再写想VC了,手里面有一个andriod的手机天天玩到半夜,却从来没有写过这方面的程序,真的是悲哀啊。所...

3067
来自专栏向治洪

Android Project Butter分析

一 背景知识介绍 随着时间的推移,Android OS系统一直在不断进化、壮大,日趋完善。但直到Android 4.0问世,有关UI显示不流畅的问题也一直未得到...

2239
来自专栏JarvanMo的IT专栏

Java中避免if-else-if:策略模式策略模式(Policy)总结

实际工作中,我们总会遇到类似如下的需求: 某支付系统接入以下几种商户进行充值:易宝网易,快线网银,19pay手机支付,支付宝支付,骏网一卡通,由于每家充值系统...

1003

扫码关注云+社区