项目介绍
电商网站的各种用户行为进行分析
访问首页 → 点击商品 → 添加购物车 → 结算 访问首页 → 输入关键词 → 点击商品列表 → 点击商品→ 关闭网页 访问详情页 → 查看推荐商品 → 点击商品列表 → 点击商品→ 购买 广告页 → 商品页 → 购物车
为产品部门、运营部门、决策部门
提供决策数据支持 提供优化指导思路
需求分析 → 方案设计 → 数据设计 → 编码实现 → 功能测试 → 解决技术问题(数据倾斜等)→ 性能调优
可以根据使用者指定的某些条件,筛选出指定的一些用户(有特定年龄、职业、城市); 例如: 选择年龄: 10 到 50周岁 选择时间: 开始时间2017-08-20 结束时间2017-08-20 选择性别:女性 查询符合条件的所有用户
用户session指的是: 从用户第一次进入页面开始,到用户关闭浏览器(长时间没有操作)结束。 在这段时间范围内,所有的操作(可能做了几十次、甚至上百次操作),都称为是一个用户行为。
在一个Session过程中SessionId是不变的,由多个id相同的Session组成用户的一条操作行为
一个用户一天可以有多个Session
date:日期,代表这个用户点击行为是在哪一天发生的 user_id:代表这个点击行为是哪一个用户执行的 session_id :唯一标识了某个用户的一个访问session page_id :点击了某些商品/品类,也可能是搜索了某个关键词,然后进入了某个页面,页面的id action_time :这个点击行为发生的时间点 search_keyword :如果用户执行的是一个搜索行为,比如说在网站/app中,搜索了某个关键词,然后会跳转到商品列表页面;搜索的关键词 click_category_id :可能是在网站首页,点击了某个品类(美食、电子设备、电脑) click_product_id :可能是在网站首页,或者是在商品列表页,点击了某个商品(比如呷哺呷哺火锅XX路店3人套餐、iphone 6s) order_category_ids :代表了可能将某些商品加入了购物车,然后一次性对购物车中的商品下了一个订单,这就代表了某次下单的行为中,有哪些 商品品类,可能有6个商品,但是就对应了2个品类,比如有3根火腿肠(食品品类),3个电池(日用品品类) order_product_ids :某次下单,具体对哪些商品下的订单 pay_category_ids :代表的是,对某个订单,或者某几个订单,进行了一次支付的行为,对应了哪些品类 pay_product_ids:代表的,支付行为下,对应的哪些具体的商品
user_id:其实就是每一个用户的唯一标识,通常是自增长的Long类型,BigInt类型 username:是每个用户的登录名 name:每个用户自己的昵称、或者是真实姓名 age:用户的年龄 professional:用户的职业 city:用户所在的城市
task_id:表的主键 task_name:任务名称 create_time:创建时间 start_time:开始运行的时间 finish_time:结束运行的时间 task_type:任务类型,就是说,在一套大数据平台中,肯定会有各种不同类型的统计分析任务,比如说用户访问session分析任务,页面单跳转化率统计任务;所以这个字段就标识了每个任务的类型 task_status:任务状态,任务对应的就是一次Spark作业的运行,这里就标识了,Spark作业是新建,还没运行,还是正在运行,还是已经运行完毕 task_param:最最重要,用来使用JSON的格式,来封装用户提交的任务对应的特殊的筛选参数
将多条id相同的记录聚合成一条记录:意思是说将多个Action组成一个动作序列 User_visit_action数据量庞大 1000万日活用户,就能产生5到10亿条用户行为数据 如果我们做一次Session的聚合,数据量将大大下降
我们将单个操作,比如 点击、搜索等,组成一个行为序列,用时间顺序排序,表明用户都做了哪些操作,前后操作顺序是什么样?
https://github.com/xy83918/ECLA
https://www.jetbrains.com/idea/download/#section=windows
http://www.oracle.com/technetwork/java/javase/archive-139210.html
https://www.mysql.com/downloads/
MySQL windows版 http://sw.bos.baidu.com/sw-search-sp/software/d59738042c504/mysql-5.7.17.msi
mysql脚本
CREATE DATABASE spark_project
USE spark_project
/*
SQLyog Ultimate v12.09 (64 bit)
MySQL - 5.7.17-log
*********************************************************************
*/
/*!40101 SET NAMES utf8 */;
create table `task` (
`task_id` int (11),
`task_name` varchar (765),
`create_time` varchar (765),
`start_time` varchar (765),
`finish_time` varchar (765),
`task_type` varchar (765),
`task_status` varchar (765),
`task_param` text
);
insert into `task` (`task_id`, `task_name`, `create_time`, `start_time`, `finish_time`, `task_type`, `task_status`, `task_param`) values('1','测试任务',NULL,NULL,NULL,NULL,NULL,'{\"startAge\":[\"10\"],\"endAge\":[\"50\"],\"startDate\":[\"2017-07-26\"],\"endDate\":[\"2017-07-26\"],\"sex\":[\"male\"]}');
加载main方法 第 60多行
System.out.println (sessionid2actionRDD.count ());
for (Tuple2<String,Row> tuple: sessionid2actionRDD.take ( 10 )){
System.out.println (tuple._2 ());
}
SessionAnalysis
main方法