基于腾讯云的视频聊天研究

简介

最近有个需求是与视频聊天相关,之前有看到过腾讯云有视频直播的产品,不清楚是否也支持视频聊天。经过一番查找,发现除了直播的demo,还专门有一个视频聊天的demo,于是便下下来研究一下。

这是文档:https://www.qcloud.com/document/product/268/7603

这是视频直播demo工程:https://github.com/zhaoyang21cn/ILiveSDK_Android_Suixinbo

这是视频聊天demo工程:https://github.com/zhaoyang21cn/CallSDK_Android_Demo

本文只讨论视频聊天的demo,下载下来简单配置一下,工程就能跑起来。注册两个账号后,就可以互相呼叫了。这里注意一下,需要开启相机权限,否则会是一片黑屏。界面大概是这样的,会有两个渲染窗口,一个自己的,一个对方的,右边一些操作的按钮,可以操作美颜、切换摄像头等等(这里只有自己的窗口)。

遮罩与蒙层

工程跑起来以后,就要做一些定制的事情了。需求要求有遮罩和模糊的效果(不要问为什么,反正有就是了)。遮罩比较简单,直接盖一层ImageView就好了。模糊的话,如果要做高斯模糊,就要对视频数据进行处理。首先尝试一下用最简单的盖一层黑色蒙层看一下效果如何。为了方便测试,在右侧加了两个操作的按钮。在布局里面添加了对应的item。

遮罩的效果:

蒙层的效果:(50%的黑色蒙层)

灰阶、旋转、模糊

从效果上看,蒙层确实差,看来只能从视频数据入手了。翻了一遍文档,终于找到定制视频的方法(https://www.qcloud.com/document/product/268/7645)。 有两种方式可以处理视频数据,来达到想要的效果。

1、拦截sdk的相机数据,进行处理后,再传回到sdk。

2、自己采集相机数据,进行处理后,传给sdk进行上传。

尝试使用第一种方式,需要调用setLocalVideoPreProcessCallback来拦截相机回调的数据,注意视频数据格式为I420(视频数据格式相关知识可以参考这篇文章《图文详解YUV420数据格式》), 而且需要在相机初始化以后调用,否则会失败。

针对视频数据,首先尝试了灰阶化和旋转的修改。

灰阶化:

旋转:(注意宽高也要反过来)

模糊:

真正的高斯模糊性能要求较高,比较难达到实时的要求,需要使用Shader来实现,这里打算先体验一下模糊的效果,所以选择最简单的方式来实现。为了进行模糊操作,需要先转换为RGB格式,处理完了以后再转换为YUV数据。流程是这样的:YUV -> RGB -> blur ->YUV,这里的blur采用近似的算法来代替(网上找到fastBlur方法)。对于数据转换的方法,可以参考这篇文章《图像RGB2YUV与YUV2RGB格式互转介绍》,测试了一下,腾讯云的数据是YUV而不是YCbCr,所以这里采用的是2、3的转换。

(模糊半径:10)

(模糊半径:30)

模糊处理耗时:150 ~200 ms

后续工作

本文使用的都是直接在java层进行处理,数据处理起来性能效率很差(150-200ms),界面会很卡(掉帧)。要真能用于实际的业务,必须要使用第二种方式来进行数据处理,就是自行采集数据,利用硬件GPU进行数据处理,然后提交sdk渲染和传输,方能达到性能与效果的平衡,当然这种方式开发量和质量保证的难度也会相应地增加。

详细代码请查看附件。

参考文献

腾讯云文档:https://www.qcloud.com/document/product/268/7603

YUV数据格式:http://www.cnblogs.com/azraelly/archive/2013/01/01/2841269.html

YUV与RGB转换:http://www.cnblogs.com/qiqibaby/p/5260167.html

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

欧彦兴的专栏

1 篇文章3 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SEO

「技巧」如何在图片搜索中排名更高

33911
来自专栏数据小魔方

大连市2016年空气质量数据可视化~

前几天发现了一个很有趣的包——openair,可以将年度时间序列刻画成周年日历热图,感觉这种形式非常适合用于呈现年度空气质量可视化,所以抓空爬了一些大连市201...

2886
来自专栏腾讯社交用户体验设计

空间配色解密 - 腾讯ISUX

1153
来自专栏数据小魔方

R语言可视化——ggplot携手plotly,让你的图表灵动起来!

这段时间一直在研究ggplot2这个神奇的可视化利器,可是ggplot2纵然所向披靡,唯独无法呈现动态效果! 最近发现R语言的官方CRAN中有一款名叫plotl...

4226
来自专栏大数据文摘

数学烂也要学AI | 带你造一个经济试用版AI终极必杀器

3169
来自专栏WebHub

我是如何爱上ag-grid框架的

与每个管理系统一样,我们需要选择一个网格来显示我们的数据,而我的前任已经在应用程序中使用了两个网格 -  ag-Grid(v2.7)和Ng-Table(v0.8...

3604
来自专栏肖洒的博客

基于Python的微信好友分析

“如果我比别人看得远,那是因为我站在巨人的肩膀上”–不知道牛顿说了没 本文利用Python3的itchat包简单的分析了一下自己的微信好友。

2082
来自专栏量子位

李飞飞团队提出视频事件描述新模型,附849小时数据集

安妮 编译整理 量子位 出品 | 公众号 QbitAI 最近,斯坦福大学的李飞飞与与她的学生Ranjay Krishna、Kenji Hata、Frederic...

3375
来自专栏大数据文摘

交互式数据可视化,在Python中用Bokeh实现

27611
来自专栏DeveWork

为你的WordPress 主题添加结构化数据/丰富文本摘要,高亮搜索结果(上)

对于SEO ,咱们这些业余人士只能是从技术的角度来驾驭。网站经营的前期需要做好搜索引擎优化,对于WordPress 网站,其实最好的方式是在WordPress ...

3066

扫码关注云+社区