Hadoop离线数据分析平台实战——400用户浏览深度分析Hadoop离线数据分析平台实战——400用户浏览深度分析

Hadoop离线数据分析平台实战——400用户浏览深度分析

项目进度

模块介绍

用户浏览深度分析中，通过pv值来表示用户的浏览深度， 分别从两个不同的角度来展示浏览深度，分别为会话和用户。 会话是指，每个pv阶段对应的会话个数； 那么用户就是指每个pv阶段的用户个数。 hive的最终数据保存到hdfs的指定目录中，通过sqoop将数据导入到mysql中。

计算规则

计算pageview事件中，当前url的个数作为pv值，不涉及到去重操作。 最终数据保存：stats_view_depth。涉及到的所有列。 涉及到其他表有dimension_platform、dimension_date、dimension_kpi。

代码步骤

1. hive中创建hbase对应的外部表
2. hive脚步编写
3. hive自定义函数定义
4. sqoop脚步编写
5. 测试

参考：transformer\hive\vd\statsViewDepth.hql