关于市场研究与大数据

3月写的这篇文章,最近回过头思考,多了一些感悟,再捋了一下.

从互联网与数据技术大力发展的时候,市场调研行业就可能开始被列为传统行业了.如果还有大数据技术未能取代的核心东西,那应该就是市场调研行业能继续走下去的支撑点.

市场调研,感觉某些业务还挺像机器学习里面的无监督学习,不需要也没有测试集来验证你的准确率. 甲方公司在选择哪家做市调的时候,一般依据的是市场调研公司在行业里的口碑、其数据的来源和数据的准确性.那些在十几年前抓住了机遇而崛起的市场调研公司会一直占领市场绝大部分的份额,在行业开始起势发展时,它们很快做到了采取数据网点建设的完善,毕竟大客户选市调公司也靠这些信任.可以发现,一般的市场调研龙头企业的甲方大都是500强企业.

但当互联网技术大大发展的时候,曾经抽样与随机的样本再也不能满足人们对准确度的追求. 当技术能支持储存、传输与分析大量数据时,人们想要的已经是全体样本带来的客观性与准确性. 所以说回数据采集,其实市场调研的很多业务依旧停留在传统调查(例如抽样的问卷调查)的模式里,但在今天,人们更提倡从大且全的数据里还原ta的历史现象并做一些预测.数据挖掘追求客观且量化的结果,而市场调查的研究模式(例如设计问卷、抽样调查、问卷数据回收与分析等)掺杂了很多不可避免的主观性,这样的做法十分传统,也无法达到更优的准确性. 要拿大数据挖掘与传统市场调查的一些方法做关联和对比,大概可以举例像: 拿后台用户所有的行为数据做挖掘从而得到某决策的效应 VS 抽样调查用户反馈而总结决策的效应；爬虫技术 VS 一个个搜索总结竞品信息. 信奉机器学习的人大概会呐喊道能拿代码解决的事就不要动用庞大的人力物力.其实这又有了一点人工智能的意味,人一旦尝到了冷冰冰的代码算法与机器能模拟人类智能并替代一定的人力的甜头时,就乐此不疲.但确实从人工操作到标准化到自动化也真的很吸引人.

在强调大数据技术的时候,尽管市调是一个多么需要人力的行业,恰好就是"人力"让它的某些业务能继续走下去,也是为什么那些已经有数据技术驱动战略的甲方公司依然会把某些业务抛给市场调研公司的原因.例如一个线下广告投放的监测,无法避免的需要传统的人力监测,于是甲方公司给个预算外包给这些第三方公司就完事儿了. 但在如此强调技术驱动的进步的社会里,这样的项目在将来也会越来越少,更多的企业趋向做商业智能的部署,而且也有自己的数据分析工作,不再需要抽一笔预算给第三方公司. 不过,大数据技术可以融入并应用到市场调研里,而融不进的部分就变成一种竞争或者说市调的优势. 像《大数据时代》啤酒与纸尿裤例子里的主张：数据挖掘有时候强调的是A和B两件事发生的相关性,而不是因果关系.但恰好市场调研有时候可以解答某些现象的因果关系.

从新技术逐步普遍那时候开始,某些旧事物可能会被新事物替代,而替代不了的东西,存在即合理,但是这些新技术可能就成为划分某些行业为技术密集型还是人力密集型的界限了.