页面日志采集(埋点)思路及其实现

页面日志采集

  1. 页面浏览日志采集。指的是当一个页面被浏览器或者APP加载呈现时采集的日志,也是页面浏览量(Page View, PV)和访客数(Unique Visitors,UV)的统计基础。
  2. 页面交互日志采集。获取用户操作日志,通过量化获知用户的兴趣点或者体验优化点。

页面浏览日志采集流程

目前典型的网页访问过程是以客户端发送请求、服务器响应并返回所请求的内容进行的。

客户端日志采集

如果要进行日志采集的动作,需要在服务器响应并返回所请求的内容之后,对应页面的onload事件。 一般需要采集当前页面参数、浏览行为的上下文信息(如读取用户访问当前页面时的上一个页面)以及一些运行环境信息(如当前浏览器和分辨率等)。

客户端日志发送

正常情况下,在进入页面onload生命周期的时候,向服务端发送日志信息。采集到的日志信息一般以URL参数的形式放在HTTP日志请求的请求行内。

服务端日志收集

日志服务器收到客户端发来的日志请求后,一般会立即向浏览器返回一个请求成功的响应,以免对页面的正常加载造成影响。

服务器端日志解析存档

页面交互日志采集

随着互联网业务的发展,仅了解用户访问过的页面已经远远不能满足用户细分研究的需求,在很多场景下,需要了解用户在访问某个页面时具体的互动行为特征。因为这些行为往往不会触发页面的特定事件,因此很多时候需要我们手动收集。

页面日志采集面临的问题

  1. 识别流量攻击、网络爬虫和流量作弊。
  2. 数据标准化(结构化)。
  3. 无效数据剔除。
  4. 降低日志服务器压力。

日志采集实现思路

首先明确我们想要采集的数据-页面浏览日志和页面交互日志。正常情况下我们会在进入页面时发送日志信息,但是用户在每个页面的停留时间我们将很难统计到。因此考虑在离开页面时发送日志信息,并且在页面跳转时将上一个页面的一些信息也一并加入日志信息中。由于在离开页面时发送日志,因此还需要考虑监控客户端的异常关闭状态。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券