如何使用爬虫技术评估内容营销效果

文章背景

内容营销是互联网推广的重要手段之一，众多的市场部门均有涉及内容营销的推广，然而，它的效果量化是一个难题。显然，内容营销的实际效果完全是由互联网的用户群所决定的，如：产品的声誉、评价、关注度等指标。毫无疑问，这些指标数据都需要从外部获取，那么，外站数据的获取则是内容营销效果评估的基础，下载所得数据的代表性、覆盖面、时效性等因素都会影响到最终的评估效果。

2016年，鹅厂多个部门联合成立了XX联合项目组，目标是搭建专业、精准、实用、敏捷的内容营销评估系统。本文章通过总结XX联合项目的解决方案，来介绍下载抓取技术在内容营销效果评估领域的应用。

数据抓取需求分析

这里先简单介绍一下内容营销的运作模式。举个例子，当一款游戏研发完成，准备上线面向用户的时候，就会考虑使用内容营销去进行游戏的推广。第一步，通过渠道进行游戏内容的精准投放，来吸引潜在用户感知这款游戏，这一块通常是付费的；第二步，用户对内容有了情感的认同，会反映在社交平台上，通过赞/转/评的方式来表达；第三步，用户对内容进行扩散，让营销内容触及更多的潜在用户。

内容营销的渠道多种多样，有微信、APP、网站、微博、综艺节目、发布会、H5、视频、新闻等等。这些数据源就是内容营销评估系统的输入，如下图。

为了对营销效果进行量化，我们需要抓取各个渠道上的用户行为。为了使用正确的下载方案去感知S1（主动投放）和S2（市场反应），经过我们的分析，我们使用的抓取方案如下。

但是，无论是S1（主动投放）还是S2（市场反应），虽然说S2是使用元搜方式，但是本质上，元搜出来的结果仍然是一批URL，如图：

因此我们只要把元搜的URL下载下来，即可将S2转换成S1进行处理，把问题简单化。

视频/论坛类站点下载方案

给定视频URL，我们要获取数据包括视频的播放量、评论量、评论内容等。我们的处理方法如下：

论坛类站点的下载与视频类似，将论坛帖子每一条“回复”视作“评论”，第一页视作视频/新闻正文页即可。

新闻类站点下载方案

新闻类网站，其实属于资讯类网站。我们要获取的数据包括新闻的正文、标题、作者、评论数、评论内容等。

对于资讯类的下载，我们已经有一套完整的解决方案去抓取某一特定站点的资讯信息。如下图。

总体的上下游框图

S1上下游框架

S2上下游框架

上线情况

目前系统已经上线，覆盖了头部的新闻网站（万级）、视频网站（百级）、论坛板块（千级）。

我们对《X途》、《XX情缘》、《御龙XX》、《X诛仙》4款游戏的内容营销效果进行了数据抓取和效果量化评估，通过各项指标综合对比，发现《XX情缘》内容效果是最好的。

总结

内容营销效果评估系统的数据爬取部分——下载侧的任务取得了阶段性成果，初步满足市场部门对内容营销评估的业务需求。后续我们也将继续扩充数据源。