直播间的礼物、弹幕、主播说的话，原来是这么被一家人工智能公司扒干净的｜五一娱乐特辑

五一来了，放松下来的你，是不是偶尔会打开直播，与长发锥子脸的主播来一场亲密的互动秀聊？

在直播这块娱乐大市场，人工智能到底有何用武之地？

面对每天在直播间诞生的超大量级的数据，人工智能到底能帮上哪些忙？

直播的背后，初创科技公司到底有哪些创业机会？

今天，我们会介绍两家公司，他们分别在直播的链条上，做着自己的布局，运用人工智能以及相关技术，让人们在直播间玩得爽的同时，分食这块600亿的大蛋糕。

第一家公司，竹筏科技，它是如何以强悍的数据处理能力，游走在直播间，嗅觉灵敏地提炼着其中最优质地内容。而第二家公司，我们会提到AppMagic，看看他们如何用科技让直播更好玩？

演讲：王兵 竹筏科技CTO

整理：AI100

今天要跟大家分享的大数据和人工智能，如何运作在直播这个行业。

我们公司不做直播，但是我们服务于直播非常多的环节。我们有一个目前在全行业市场占有率最高的插件和直播管家平台，一个服务主播的社区，一个泡面番的直播短视频平台，还有一个服务于直播行业的广告平台。

当然在所有的这些业务的基础之上，是建立于我们的大数据和人工智能的平台，这个平台是在目前行业里面做的最广和最深的平台，是我们业务所有核心竞争力所在。

一提到人工智能，更多人想到的是自动驾驶，AI芯片，可这些机会已经被巨头占领，作为一个中小型的创业企业，我们到底怎样能够在这个行业里面取得一些成绩？今天我就会跟大家介绍在直播这个行业，我们是怎么把大数据和人工智能运用在里面的。

首先介绍一下直播行业的目前情况。

经过十几年的发展直播行业已经是非常大的产业，我们可以看到，每个月在这个行业里面有数亿的活跃用户，每个月的活跃的主播达到几百万，大大小小直播平台超过200个。

我们预计2020年整个直播行业市场规模达到六百亿，这个规模和电影行业相当，电影行业去年的规模大概是五百亿。

如此体量的一个行业，如果要对它进行大数据的分析，我们会面临什么样的挑战？

先来看一下这个行业的数据的数量级。

以天为单位，每天大概是怎样的数据呢？我们可以看到用户每天生产的弹幕上亿条，用户发出的礼物上千万，每天有超过50万个直播间开播，这些直播产生的视频和音频数据超过一百万个小时。

作为我们的大数据分析目标，从这些海量的数据里面我们希望得到什么样的结果？

当然我们希望看到行业的动态，我们也希望看到每个直播平台在这个市场的占有率是什么情况，我们也希望能够看到用户在讨论一些什么，我们也希望知道主播讨论什么。

其中，最最重要的就是，我们希望从这些海量的数据里面提炼出最优质的内容，把这些内容给用户。

所以怎样做这件事情？

靠人工显然是不行的。

设想我们每天有一百万小时的视频数据，我们要多少编辑才能看完？

所以这样一个海量非结构化数据的任务我们只能使用大数据和人工智能的方法去完成。

我们的大数据和人工智能的基本计算框架使用了Hadoop和Spark，我们也使用Kafka和Spark进行实时数据分析，我们使用SparkMLilb算法。

获得这样大量的数据以后，我们就对所有的基础数据进行分析，我们知道中国人特别喜欢做排名，我们从小学中学大学一直知道我们在班里的排名是多少？我们在学校的排名是多少？我们做了各种各样的排行榜，首先是基于全平台数据的主播排行榜、用户排行榜、分类排行榜、趣味排行榜。

直播有很多分类，比如户外直播、娱乐直播。

我们趣味排行榜，比如这个主播是不是搞笑，是不是长腿，这样的话题我们可以根据数据做出排行榜。

在排行榜的界面，每秒每分钟这个数据都在变化。你们看到目前所有的平台哪个主播今天赚钱最多？哪个用户今天花的钱最多？这些数据都可以看到，而且可以看到所有单一平台和历史平台的数据。

刚才讲到我们有大量的结构化数据。对于文本数据我们要做哪些处理？

首先每天上亿条的弹幕我们对这些数据进行分词，我们可以得到全平台的热词，这些热词里面有用户关心的话题，我们可以提炼大量有用的信息。

对于一些核心主播他的用户群体对主播什么看法？他们关心哪些话题？可以通过自动摘要获取。对于音频数据怎么处理？

首先把音频按照场景进行分类，是游戏音频还是唱歌音频还是户外音频，在不同场景下我们使用不同算法。对于主播说话的音频我们会进行语音识别，当然我们需要根据这个场景提供相应的词库以提高语音识别的准确率。另外我们对主播的语音进行情感分析，我们就知道这个主播这个时候是开心还是伤心，是激动还是愤怒，所有的数据都会记录下来。

我们把语音转换成文本以后，我们会形成自动摘要，我们编辑可以利用这些内容产生每天直播的文献。

对于视频我们同样也做大量处理，因为视频是我们这个业务里面是非常核心的部分。

对于视频我们首先做场景分析，然后根据不同场景做视频的自主标注，后面会具体解释标注是什么意思。标注完成以后的视频片段我们可以做视频合成。我们可以对视频进行风格转移，让用户看到特别有画面感，特别有艺术风格的视频。

这里是我们做视频标注的例子，大家看到的是一个王者荣耀的视频截图。王者荣耀是非常火的游戏，日活跃用户大概八千万。对于这样的视频，每秒钟有一张图像，利用这个图像的特征点我们可以对它进行标准，如果我们每秒钟都做这样的标注，相当于我们把视频按照时间轴做成可以查询的结构化数据。这样的数据存储以后我们的视频不再是非结构化的信息，无法处理的信息，而是可以轻松搜索产生新的视频的信息。对于特定的图片来讲，里面包含五杀信息，就是这个主播完成的五杀。这个五杀信息记录在标注信息里面，如果一个编辑希望产生一个五杀的集锦，只需要输入五杀这个关键词进行搜索，搜索完的视频可以自动合成，产生一个高品质的五杀集锦。

这个画面是我们对视频进行风格转移的例子。大家应该很多朋友用过这个软件，这个软件是用神经网络做图片的风格转移，它的基本概念是用一个卷积神经网络分析一张图片，这个卷积神经网络把图片的特征提取出来，如果我们有一张风格图片还有一张原始图片，我们都可以用这个神经网络产生对应的特征。

如果我们想办法生成新的图片，这个图片通过神经网络处理以后产生的特征是这两个图片的组合，那么这个图片它的内容和我们的输入图片一样，但是艺术风格跟我们的风格图片一样，这就是图片风格转移的最基本算法。

这个算法应用视频会遇到很多问题，首先计算量非常大，第二视频在切换的时候不能有跳跃，所以我们必须注意桢与桢的处理。我们现在已经可以做到，一个主播可以实时主播，产生其他艺术风格的效果。我们下一步准备把这个技术应用到手机上面。

我们觉得大数据是人工智能最核心的技术，如果没有足够多的数据，你无法建立一个行业壁垒。

我们都知道现在的深度学习，是基于海量数据来培训一个深度神经网络，才能达到一个很高的准确率。

如果我们在一个垂直行业做到领先，我们必须要有在这个行业的大量数据。

另外一个总结是说，我们不要为了追求深度学习而用深度学习，我们知道人的大脑是分左右两边，目前的深度学习解决右脑的直觉问题，我们左脑抽象的逻辑思维能力目前没有可靠的算法能够实现。所以我们看到处理一个实际问题的时候，对于直觉类的问题我们可以用深度学习解决，假设我们有足够的数据，但是对于逻辑分析的问题我们不要借助深度学习，而是借助传统的方法去解决。

最后一个总结。我们作为一个规模不大的团队可以做出这些工作，主要的原因是因为我们充分利用开源软件。20年前我面试了三家公司拿到三个申请，后来我决定去了芯片行业，因为芯片行业有非常大的发展前景。后面我发现我只对了一半，因为芯片行业的商业模式没有互联网或者金融行业那么好。当时我第一份工作是做数字信号处理芯片的设计，那个时候由于我们的工具非常欠缺，我们需要大量做汇编语言编程，有时候写一千行的代码只需要一个功能。

但是今天不同，今天有大量的优质的开源项目，比如说Spark，我们不再需要几百人的基础技术团队帮助我们做这些技术框架，所以充分利用这些开源软件我们可以用很小的技术团队做出很伟大的事情。我们团队只有二十多人，覆盖大数据、人工智能、应用开发、APP开发、测试、后面、管理运维所有方面的工作。我想告诉大家现在这个年代是一个非常好的适合创业的年代，我希望大家都能够取得成功。

➤版权申明：该文章版权归AI100所有，如需转载、摘编、复制等，请后台留言征得同意。若有直接抄袭，AI100将追究其责任。