如何使用爬虫技术评估内容营销效果

文章背景

内容营销是互联网推广的重要手段之一,众多的市场部门均有涉及内容营销的推广,然而,它的效果量化是一个难题。显然,内容营销的实际效果完全是由互联网的用户群所决定的,如:产品的声誉、评价、关注度等指标。毫无疑问,这些指标数据都需要从外部获取,那么,外站数据的获取则是内容营销效果评估的基础,下载所得数据的代表性、覆盖面、时效性等因素都会影响到最终的评估效果。

2016年,鹅厂多个部门联合成立了XX联合项目组,目标是搭建专业、精准、实用、敏捷的内容营销评估系统。本文章通过总结XX联合项目的解决方案,来介绍下载抓取技术在内容营销效果评估领域的应用。

数据抓取需求分析

这里先简单介绍一下内容营销的运作模式。举个例子,当一款游戏研发完成,准备上线面向用户的时候,就会考虑使用内容营销去进行游戏的推广。第一步,通过渠道进行游戏内容的精准投放,来吸引潜在用户感知这款游戏,这一块通常是付费的;第二步,用户对内容有了情感的认同,会反映在社交平台上,通过赞/转/评的方式来表达;第三步,用户对内容进行扩散,让营销内容触及更多的潜在用户。

内容营销的渠道多种多样,有微信、APP、网站、微博、综艺节目、发布会、H5、视频、新闻等等。这些数据源就是内容营销评估系统的输入,如下图。

为了对营销效果进行量化,我们需要抓取各个渠道上的用户行为。为了使用正确的下载方案去感知S1(主动投放)和S2(市场反应),经过我们的分析,我们使用的抓取方案如下。

但是,无论是S1(主动投放)还是S2(市场反应),虽然说S2是使用元搜方式,但是本质上,元搜出来的结果仍然是一批URL,如图:

因此我们只要把元搜的URL下载下来,即可将S2转换成S1进行处理,把问题简单化。

视频/论坛类站点下载方案

给定视频URL,我们要获取数据包括视频的播放量、评论量、评论内容等。我们的处理方法如下:

论坛类站点的下载与视频类似,将论坛帖子每一条“回复”视作“评论”,第一页视作视频/新闻正文页即可。

新闻类站点下载方案

新闻类网站,其实属于资讯类网站。我们要获取的数据包括新闻的正文、标题、作者、评论数、评论内容等。

对于资讯类的下载,我们已经有一套完整的解决方案去抓取某一特定站点的资讯信息。如下图。

总体的上下游框图

S1上下游框架

S2上下游框架

上线情况

目前系统已经上线,覆盖了头部的新闻网站(万级)、视频网站(百级)、论坛板块(千级)。

我们对《X途》、《XX情缘》、《御龙XX》、《X诛仙》4款游戏的内容营销效果进行了数据抓取和效果量化评估,通过各项指标综合对比,发现《XX情缘》内容效果是最好的。

总结

内容营销效果评估系统的数据爬取部分——下载侧的任务取得了阶段性成果,初步满足市场部门对内容营销评估的业务需求。后续我们也将继续扩充数据源。

原文发布于微信公众号 - 腾讯技术工程官方号(Tencent_TEG)

原文发表时间:2017-02-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏JAVA高级架构

携程大数据实时计算平台建设实践

本文作者为携程大数据平台负责人张翼。张翼浙江大学硕士毕业,2015年初加入携程,主导了携程实时数据计算平台的建设,以及携程大数据平台整合和平台技术的演进。进入互...

2752
来自专栏CDA数据分析师

深入浅出为你解析关于大数据的所有事情

大数据是什么?为什么要使用大数据?大数据有哪些流行的工具?本文将为您解答。 现在,大数据是一个被滥用的流行词,但是它真正的价值甚至是一个小企业都可以实现。 通过...

1965
来自专栏互联网杂技

阿里巴巴设计师:如何给后台产品做设计?

首先解释一下后台,它是指服务的管理操作部分,主要是对内容、数据的增删改查。后台产品也主要是 To B 的平台型产品,例如企业内部的管理、运维产品。本文就自己一年...

1743
来自专栏ThoughtWorks

浅谈软件项目规模估计——估什么?

预测是一件非常困难的事情,尤其是预测未来。—— 尼尔斯.玻尔 ? 玻尔 定制化软件开发是一件复杂的事情,尤其是目前我们主要提供的端到端软件交付,它极大拓宽了软件...

3366
来自专栏SDNLAB

网络虚拟化是多云控制的关键

现在很多IT企业在云计算时代逐渐失去对正在开发和部署在公有云中的应用程序的控制,形成这种现象的原因是每个公有云对网络来说都是一个孤岛。 ? 网络虚拟化(NV)o...

3668
来自专栏大数据文摘

深入浅出——大数据那些事

26010
来自专栏灯塔大数据

干货 | 10款超好用的开源大数据分析工具

考虑到现有技术解决方案的复杂性与多样化,企业往往很难找到适合自己的大数据收集与分析工具。然而,混乱的时局之下已经有多种方案脱颖而出,证明其能够帮助大家切实完成大...

3145
来自专栏WeTest质量开放平台团队的专栏

腾讯WeTest-舆情监控最新版本揭秘

腾讯WeTest舆情监控平台作为国内一流手游测试平台的王牌工具,在过去的一年中帮助无数游戏团队了解各第三方市场评分,掌握游戏和竞品的口碑情况和效果,为团队了解目...

3843
来自专栏ThoughtWorks

TW洞见 | 我和敏捷团队的五个约定

我——作为一名测试人员——有一个与众不同的习惯:每当要加入一个新项目的时候,我总会找到项目中的同伴,真诚而亲切地说:“为了更好地合作,我有5个约定,希望大家能尽...

2847
来自专栏腾讯移动品质中心TMQ的专栏

自动化测试平台实践几点经验总结

本文主要讲述在 UTP 项目实践中几点经验教训的总结。主要分两个方面,一个是技术上,一个是运作管理上。供各位有相关工作的同学做参考。若对总结有异议,欢迎共同探讨...

1K1

扫码关注云+社区

领取腾讯云代金券