页面日志采集(埋点)思路及其实现

页面日志采集

1. 页面浏览日志采集。指的是当一个页面被浏览器或者APP加载呈现时采集的日志，也是页面浏览量（Page View, PV）和访客数（Unique Visitors，UV）的统计基础。
2. 页面交互日志采集。获取用户操作日志，通过量化获知用户的兴趣点或者体验优化点。

页面浏览日志采集流程

目前典型的网页访问过程是以客户端发送请求、服务器响应并返回所请求的内容进行的。

客户端日志采集

如果要进行日志采集的动作，需要在服务器响应并返回所请求的内容之后，对应页面的onload事件。 一般需要采集当前页面参数、浏览行为的上下文信息（如读取用户访问当前页面时的上一个页面）以及一些运行环境信息（如当前浏览器和分辨率等）。

客户端日志发送

正常情况下，在进入页面onload生命周期的时候，向服务端发送日志信息。采集到的日志信息一般以URL参数的形式放在HTTP日志请求的请求行内。

服务端日志收集

日志服务器收到客户端发来的日志请求后，一般会立即向浏览器返回一个请求成功的响应，以免对页面的正常加载造成影响。

服务器端日志解析存档

页面交互日志采集

随着互联网业务的发展，仅了解用户访问过的页面已经远远不能满足用户细分研究的需求，在很多场景下，需要了解用户在访问某个页面时具体的互动行为特征。因为这些行为往往不会触发页面的特定事件，因此很多时候需要我们手动收集。

页面日志采集面临的问题

1. 识别流量攻击、网络爬虫和流量作弊。
2. 数据标准化（结构化）。
3. 无效数据剔除。
4. 降低日志服务器压力。

日志采集实现思路

首先明确我们想要采集的数据-页面浏览日志和页面交互日志。正常情况下我们会在进入页面时发送日志信息，但是用户在每个页面的停留时间我们将很难统计到。因此考虑在离开页面时发送日志信息，并且在页面跳转时将上一个页面的一些信息也一并加入日志信息中。由于在离开页面时发送日志，因此还需要考虑监控客户端的异常关闭状态。