Spark开发电商日志分析用户行为聚合功能练习下面开始搭建开发环境注意Task表中最后一个列task_param中，Json的StartDate和EndDate需要设置成今天，因为mock数据的时候，

Albert陈凯

发布于 2018-04-08 10:52:24

1.2K0

发布于 2018-04-08 10:52:24

文章被收录于专栏：Albert陈凯

项目介绍

项目介绍

电商网站的各种用户行为进行分析

访问首页 → 点击商品 → 添加购物车 → 结算访问首页 → 输入关键词 → 点击商品列表 → 点击商品→ 关闭网页访问详情页 → 查看推荐商品 → 点击商品列表 → 点击商品→ 购买广告页 → 商品页 → 购物车

项目目的

为产品部门、运营部门、决策部门

提供决策数据支持提供优化指导思路

企业开发流程

需求分析 → 方案设计 → 数据设计 → 编码实现 → 功能测试 → 解决技术问题（数据倾斜等）→ 性能调优

用户需求

可以根据使用者指定的某些条件，筛选出指定的一些用户（有特定年龄、职业、城市）；例如：选择年龄： 10 到 50周岁选择时间：开始时间2017-08-20 结束时间2017-08-20 选择性别：女性查询符合条件的所有用户

名词解释

用户访问session

用户session指的是：从用户第一次进入页面开始，到用户关闭浏览器（长时间没有操作）结束。在这段时间范围内，所有的操作（可能做了几十次、甚至上百次操作），都称为是一个用户行为。

在一个Session过程中SessionId是不变的，由多个id相同的Session组成用户的一条操作行为

一个用户一天可以有多个Session

数据结构

数据结构 user_visit_action（Hive表）

date：日期，代表这个用户点击行为是在哪一天发生的 user_id：代表这个点击行为是哪一个用户执行的 session_id ：唯一标识了某个用户的一个访问session page_id ：点击了某些商品/品类，也可能是搜索了某个关键词，然后进入了某个页面，页面的id action_time ：这个点击行为发生的时间点 search_keyword ：如果用户执行的是一个搜索行为，比如说在网站/app中，搜索了某个关键词，然后会跳转到商品列表页面；搜索的关键词 click_category_id ：可能是在网站首页，点击了某个品类（美食、电子设备、电脑） click_product_id ：可能是在网站首页，或者是在商品列表页，点击了某个商品（比如呷哺呷哺火锅XX路店3人套餐、iphone 6s） order_category_ids ：代表了可能将某些商品加入了购物车，然后一次性对购物车中的商品下了一个订单，这就代表了某次下单的行为中，有哪些商品品类，可能有6个商品，但是就对应了2个品类，比如有3根火腿肠（食品品类），3个电池（日用品品类） order_product_ids ：某次下单，具体对哪些商品下的订单 pay_category_ids ：代表的是，对某个订单，或者某几个订单，进行了一次支付的行为，对应了哪些品类 pay_product_ids：代表的，支付行为下，对应的哪些具体的商品

数据结构 user_info（Hive表）

user_id：其实就是每一个用户的唯一标识，通常是自增长的Long类型，BigInt类型 username：是每个用户的登录名 name：每个用户自己的昵称、或者是真实姓名 age：用户的年龄 professional：用户的职业 city：用户所在的城市

数据结构 task（MySQL表）

task_id：表的主键 task_name：任务名称 create_time：创建时间 start_time：开始运行的时间 finish_time：结束运行的时间 task_type：任务类型，就是说，在一套大数据平台中，肯定会有各种不同类型的统计分析任务，比如说用户访问session分析任务，页面单跳转化率统计任务；所以这个字段就标识了每个任务的类型 task_status：任务状态，任务对应的就是一次Spark作业的运行，这里就标识了，Spark作业是新建，还没运行，还是正在运行，还是已经运行完毕 task_param：最最重要，用来使用JSON的格式，来封装用户提交的任务对应的特殊的筛选参数

数据Session聚合

将多条id相同的记录聚合成一条记录：意思是说将多个Action组成一个动作序列 User_visit_action数据量庞大 1000万日活用户，就能产生5到10亿条用户行为数据如果我们做一次Session的聚合，数据量将大大下降

我们将单个操作，比如点击、搜索等，组成一个行为序列，用时间顺序排序，表明用户都做了哪些操作，前后操作顺序是什么样？

下面开始搭建开发环境

mysql脚本

CREATE DATABASE spark_project
USE spark_project
/*
SQLyog Ultimate v12.09 (64 bit)
MySQL - 5.7.17-log 
*********************************************************************
*/
/*!40101 SET NAMES utf8 */;

create table `task` (
    `task_id` int (11),
    `task_name` varchar (765),
    `create_time` varchar (765),
    `start_time` varchar (765),
    `finish_time` varchar (765),
    `task_type` varchar (765),
    `task_status` varchar (765),
    `task_param` text 
); 
insert into `task` (`task_id`, `task_name`, `create_time`, `start_time`, `finish_time`, `task_type`, `task_status`, `task_param`) values('1','测试任务',NULL,NULL,NULL,NULL,NULL,'{\"startAge\":[\"10\"],\"endAge\":[\"50\"],\"startDate\":[\"2017-07-26\"],\"endDate\":[\"2017-07-26\"],\"sex\":[\"male\"]}');

注意Task表中最后一个列task_param中，Json的StartDate和EndDate需要设置成今天，因为mock数据的时候，只有今天的数据

加载main方法第 60多行

System.out.println (sessionid2actionRDD.count ());
        for (Tuple2<String,Row> tuple: sessionid2actionRDD.take ( 10 )){

            System.out.println (tuple._2 ());
        }

程序的主入口

SessionAnalysis

main方法

main方法

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2017.07.26 ，如有侵权请联系 cloudcommunity@tencent.com 删除

spark

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

spark

登录后参与评论

0 条评论

热度