专栏首页腾讯技术工程官方号的专栏如何使用爬虫技术评估内容营销效果

如何使用爬虫技术评估内容营销效果

文章背景

内容营销是互联网推广的重要手段之一,众多的市场部门均有涉及内容营销的推广,然而,它的效果量化是一个难题。显然,内容营销的实际效果完全是由互联网的用户群所决定的,如:产品的声誉、评价、关注度等指标。毫无疑问,这些指标数据都需要从外部获取,那么,外站数据的获取则是内容营销效果评估的基础,下载所得数据的代表性、覆盖面、时效性等因素都会影响到最终的评估效果。

2016年,鹅厂多个部门联合成立了XX联合项目组,目标是搭建专业、精准、实用、敏捷的内容营销评估系统。本文章通过总结XX联合项目的解决方案,来介绍下载抓取技术在内容营销效果评估领域的应用。

数据抓取需求分析

这里先简单介绍一下内容营销的运作模式。举个例子,当一款游戏研发完成,准备上线面向用户的时候,就会考虑使用内容营销去进行游戏的推广。第一步,通过渠道进行游戏内容的精准投放,来吸引潜在用户感知这款游戏,这一块通常是付费的;第二步,用户对内容有了情感的认同,会反映在社交平台上,通过赞/转/评的方式来表达;第三步,用户对内容进行扩散,让营销内容触及更多的潜在用户。

内容营销的渠道多种多样,有微信、APP、网站、微博、综艺节目、发布会、H5、视频、新闻等等。这些数据源就是内容营销评估系统的输入,如下图。

为了对营销效果进行量化,我们需要抓取各个渠道上的用户行为。为了使用正确的下载方案去感知S1(主动投放)和S2(市场反应),经过我们的分析,我们使用的抓取方案如下。

但是,无论是S1(主动投放)还是S2(市场反应),虽然说S2是使用元搜方式,但是本质上,元搜出来的结果仍然是一批URL,如图:

因此我们只要把元搜的URL下载下来,即可将S2转换成S1进行处理,把问题简单化。

视频/论坛类站点下载方案

给定视频URL,我们要获取数据包括视频的播放量、评论量、评论内容等。我们的处理方法如下:

论坛类站点的下载与视频类似,将论坛帖子每一条“回复”视作“评论”,第一页视作视频/新闻正文页即可。

新闻类站点下载方案

新闻类网站,其实属于资讯类网站。我们要获取的数据包括新闻的正文、标题、作者、评论数、评论内容等。

对于资讯类的下载,我们已经有一套完整的解决方案去抓取某一特定站点的资讯信息。如下图。

总体的上下游框图

S1上下游框架

S2上下游框架

上线情况

目前系统已经上线,覆盖了头部的新闻网站(万级)、视频网站(百级)、论坛板块(千级)。

我们对《X途》、《XX情缘》、《御龙XX》、《X诛仙》4款游戏的内容营销效果进行了数据抓取和效果量化评估,通过各项指标综合对比,发现《XX情缘》内容效果是最好的。

总结

内容营销效果评估系统的数据爬取部分——下载侧的任务取得了阶段性成果,初步满足市场部门对内容营销评估的业务需求。后续我们也将继续扩充数据源。

本文分享自微信公众号 - 腾讯技术工程官方号(Tencent_TEG),作者:danier

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-02-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • TDSQL 全时态数据库系统 -- 典型案例

    增量抽取、增量计算等都是T-TDSQL的经典案例。如下以增量计算为例,来分析T-TDSQL在腾讯金融业务中的典型应用。

    腾讯技术工程官方号
  • 腾讯郭振宇:腾讯云发布云IoT全栈产品矩阵,详解6大产品及3大案例

    ? 5月21-23日,由云南省人民政府指导,云南省文化和旅游厅、昆明市人民政府、腾讯公司共同主办,腾讯战略升级后打造的规格最高、规模最大的行业生态大会“全球数...

    腾讯技术工程官方号
  • 世界杯百亿盛宴暗潮涌动—到底是谁的足球狂欢?

    ? 世界杯盛宴——“狗庄”的秘密 足球比赛中,总有非法赌场庄家组织利用足球主客双方上下半场的进球、角球及边球的数量、比赛的胜负来进行外围赌博,他们起了个专业的...

    腾讯技术工程官方号
  • 可以用在 VS Code 中的正则表达式小技巧[每日前端夜话0x68]

    你是不是一直都想学正则表达式,但是因为它的复杂性而被推迟了?在本文中,我将向你展示五个易于学习的正则技巧,你可以立即在自己喜欢的文本编辑器中使用它们。

    疯狂的技术宅
  • leetcode-69-Sqrt(x)

    chenjx85
  • Could not find a version that satisfies.... No matching distribution found for .....

    原文链接:https://www.cnblogs.com/DOMLX/p/10227403.html

    徐飞机
  • 【Ubuntu快速上手】五、Ubuntu环境下Apache Server安装&配置

    ken.io
  • Android8.0中CTS测试对TEE的要求(Google 9月1日文档)

    我们知道TEE在Google Android7.0后成为一种强制性要求,那么Android8.0又是如何要求的呢? 我们来看在9.1日Google最新的文档。 ...

    安智客
  • LOJ#515. 「LibreOJ β Round #2」贪心只能过样例(bitset)

    一共有 nnn个数,第 iii 个数 xix_ix​i​​ 可以取 [ai,bi][a_i , b_i][a​i​​,b​i​​] 中任意值。 设 S=∑xi2...

    attack
  • 一个循环动画引起的内存泄露问题总结

    本文主要记录项目中遇到的一个内存泄露问题:由于一个循环动画引起的内存泄露,并且这个问题也是偶现的,在后面的隐藏问题里会说明。

    QQ音乐技术团队

扫码关注云+社区

领取腾讯云代金券