日迹中视频编辑滤镜效果实现方法

导语 :本文简要分析,日迹视频解码流程以及视频滤镜的实现原理

需求背景:日迹需要的编辑滤镜效果预览图

图1:日迹滤镜效果

要实现产品想要的滤镜效果,首先我们需要把录制的视频mp4文件,用mediacodec解码出来,然后对解码出来的每一帧图像进行滤镜渲染,最后绘制到屏幕或者输出到文件。

我们先来了解mediacodec解码的流程。

图2:mediacodec解码流程

MediaExtractor 负责从视频文件中解析每一帧的原始数据;

Mediacodec 负责对音视频数据进行解码,并渲染指定的surface上;

代码示例:

//初始化extractor

MediaExtractor extractor = new MediaExtractor();

extractor.setDataSource(...);

...

//初始化meidacoec

MediaCodec decoder= Mediacodec.createDecodecByType(mine);

decoder.configure(format, surface, null, 0);

decoder.start();

...

//循环处理每一帧

While(notEndFlag){

//把读出来的帧数据交给mediacodec去解析

extractor.readSampleDate(buffer, 0);

decoder.queueInputBuffer(bufferIndex, 0, sampleSize, showTimeus, 0);

//向前移动 准备读取下一帧

extractor.advance();

//把mediacodec解析后的数据交给surface去渲染

decoder.dequeueOutputBuffer(info, 10000);

decoder.releaseOutputBuffer(bufferIndex, isRender);

}

走到这里,我们已经可以从Surface上拿到每一帧对应的Texture (纹理),之后我们就可以利用Opengl的可编程管线,对纹理进行相关的滤镜处理。下面说下opengl的渲染流程。

图3: opengl 渲染管线简图

CPU 将物体顶点坐标、顶点变换矩阵、纹理坐标、纹理变换矩阵等通过API传给VertexShader(顶点着色器),它针对VBO提供的每个顶点执行一遍顶点着色器,VertexShader通过varying限定符传输易变变量给FragmentShader使用,FrgementShader对光栅化的每个片元进行处理,生成多重的颜色混合效果,最后渲染到屏幕或者写到文件中。

1. 黑白滤镜的实现

我们拍摄出来的每一帧图片都是彩色图片,每个像素的颜色由红、绿、蓝三种值混合而成,红绿蓝的取值由很多种,组合形成各种不同的彩色图片,而灰度图片只有256种颜色。由彩色图片生成灰色图片一般由三种算法:

A. 最大值法:R=G=B=MAX(R,G,B),这种方式亮度值偏高;

B. 平均值法:R=G=B=(R+G+B)/3, 这种方式图片亮度值被平均,图片非常柔和

C. 加权平均法:R=G=B=(RWr+GWg+B*Wb),由于人眼对不同颜色的敏感度不一样,所以权重也不同,业界比较常用的权重值是(0.2125, 0.7154, 0.0721)。

我们采用的最后一种加权平均的方式,知道了算法就来实现下吧。要实现GPU实时滤镜,首先要了解这么写Shader,网上有很多shader的文章,这里我就不做叙述。

2. 不同颜色滤镜的实现

想实现不同颜色滤镜的实现,可以把期望加强的颜色通道的颜色值加强到相应的比例即可。

图4:红色值扩大两倍的滤镜效果

3. 暖色冷色滤镜的实现

通过PS调整出目标图片与原图每个通道的偏差规律,并把这种差异生成颜色表,给出最终的滤镜变换查表纹理,FragmentShader处理的时候,不同的RGB颜色值去查表纹理中找到对应的目标颜色值进行替换即可。

4. 马赛克的实现

实现马赛克,首先要确定马赛克单元的块大小,马赛克每个独立的方块上都是纯色的,它的取值一般是原图中对应区域的颜色的平均值。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏生信技能树

lncRNA实战项目-第四步-得到表达矩阵的流程

这是RNA-Seq 上游分析的大致流程,比对+定量。当然实验目的若只需要定量已知基因,也可以选择free-alignment 的流程工具如kallisto/Sa...

3615
来自专栏大数据挖掘DT机器学习

【python分析】买彩票机选和守号哪个中奖概率高?

作者:Powerxing 厦门大学计算机系13级研究生 很多人有买彩票,不过就是瞎买买。早之前是随机买过一注,然后一直买这个号,不过断过一段时间没买,后来就一...

1K7
来自专栏大数据文摘

三种可视化方法,手把手教你用R绘制地图网络图!

1544
来自专栏大数据钻研

canvas图形绘制之星空、噪点与烟雾效果

一、三合一 三个效果合成一篇文章。 有多个小伙伴问我,为何不开个公众号,现在都是移动时代,你博客文章写好后,公众号再复制一份,花不了多长时间,同时传播方便迅速,...

3014
来自专栏机器之心

开源 | 猿辅导分布式机器学习库ytk-learn、分布式通信库ytk-mp4j

机器之心投稿 作者:猿辅导研究团队语音识别负责人夏龙、机器学习工程师吴凡 近期,猿辅导公司开源了两个机器学习项目—ytk-learn, ytk-mp4j,其中...

2857
来自专栏计算机视觉life

Facebook Surround360 学习笔记--(3)硬件设计要点

如果自己想模仿surround360设计一款3D360°的设备,硬件选择有什么要注意的吗? 圆盘设计有要求吗? 回答:有要求,圆盘半径r,侧面相机数目n,侧...

2156
来自专栏落影的专栏

OpenGL ES实践教程(四)VR全景视频播放

教程 OpenGL ES实践教程1-Demo01-AVPlayer OpenGL ES实践教程2-Demo02-摄像头采集数据和渲染 OpenGL ES实践...

3784
来自专栏阮一峰的网络日志

学习C语言的教材

我的C语言是自学的,这些年看过不少教材。 下面,我对其中一些教材做个点评。 1. How to Think Like a Computer Scientist:...

2959
来自专栏Python中文社区

使用MPI for Python 并行化遗传算法

專 欄 ❈PytLab,Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用,主要语言为Python,C,C++。熟悉数值算法(最优化方法,...

2126
来自专栏GIS讲堂

openlayers4结合高德地图API实现路径规划

682

扫码关注云+社区