从0到1搭建数据可视化平台（二）——数据采集篇

数据采集是建设数据可视化平台的基础，这一阶段基于上篇文章

从0到1搭建数据可视化平台（一）——架构篇

中的统计需求列表，一方面梳理指标口径；另一方面明确哪些数据是已有的，哪些需要埋点收集，以及埋点的方法。

数据指标

以下从流量、销售、用户三个维度列出一些电商常用的基础指标，以作示例：

1）流量指标

PV：页面浏览量（page view），指当前统计范围内（场景/维度）页面被浏览次数的总和。PV可累加，同一访客n次请求同一页面，则被计为n次浏览，即n个PV。

UV：独立访客数（unique visitor），指当前统计范围内（场景/维度）页面被访问的自然人的个数。可理解为访问该网站的每一台电脑客户端为一个访客，因此UV不可直接累加，需要根据id去重汇总。

点击量：指当前统计范围内被统计对象的点击次数之和，每点击一次，点击次数+1。

点击率：PV点击率（点击量/PV），UV点击率（点击量/UV）。多用来衡量广告或推荐效果的指标。

转化率：PV转化率（引入订单量/PV），UV转化率（引入订单量/UV）。表示来的人里有多少下了单，与营收直接相关。

页面停留时长： 用户在浏览时，在当前页面停留的总时长。具体计算口径可根据情况定义，如页面关闭时间-页面打开时间。

2）交易指标

订单量：根据订单流转的时效，有下单口径、支付口径、出库口径、完成口径等。使用该指标时根据业务需求选择合适的口径很关键。

销量：同订单量。

销售额：同订单量。

客单价：销售额/订单量。

3）用户指标

用户量：根据用户发生的不同动作或时效状态，有浏览用户、点击用户、登陆用户、下单用户等口径。

活跃用户：一般指某段时间内登录系统或带来某些价值的用户，如DAU(日活)、MAU（月活）等，运营会很关注这类指标。

数据埋点

数据埋点是数据开发人员基于业务需求，对用户在应用内产生行为的每一个事件对应的页面和位置植入前端统计代码，并通过SDK上报统计数据，以便相关人员追踪用户行为，通过数据分析进行产品优化或指导运营的一项工程。几乎所有的线上流量数据都是基于各种埋点，如：CPC点击付费广告中统计每一个广告位的点击次数；页面的PV/UV/停留时长/跳出等；推荐系统中推荐商品的曝光次数/点击人数等……

目前比较常用的两种埋点方法是代码埋点和全埋点，也是我在这个项目中用到的两种方法。

1）手动代码埋点

即在需要埋点的节点上手动标记埋点id或者在对应代码位置手动调用埋点接口直接上传埋点数据。

优点：目的明确，灵活可控，上报数据精准。

缺点：埋点位置不全面，流程较为复杂低效，时效性相对滞后。

流程：人工埋点一般先经过需求分析，第一步产品或数据人员确定埋点方案；第二步研发经过需求评审、代码植入后完成数据上报；第三步测试无误后，数据需求方进行数据提取加工或可视化。整体流程和内容框架整理如下图：此处，产品要做的重点是确定埋点方案。

关于埋点方案，如果上面的导图表达的不够清楚，之前看过两篇文章还不错，建议阅读

http://www.woshipm.com/data-analysis/872543.html

http://www.woshipm.com/data-analysis/879349.html

2）全埋点（无埋点）

并不是真的完全不用埋点，而是前端事先接入一套埋点SDK后，程序就会自动采集全部用户行为数据并上报，后端通过计算筛选出需要的数据再进行加工。

优点：埋点效率高（使用和部署较简单），用户友好性强（自动上报数据，避免手工埋点的失误），全面高效。

缺点：只能采集到用户交互数据，只适合标准化、普适性的采集需求（如点击事件、浏览事件）。