本系统以Spark + Hadoop为核心,搭建了基于WIFI探针的大数据分析系统。
获取项目:
关注微信公众号 datayx 然后回复 wifi 即可获取。
AI项目体验地址 https://loveai.tech
项目演示地址
http://v.youku.com/v_show/id_XMjg1OTYxNzg1Ng==.html?spm=a2hzp.8244740.0.0
模拟发送探针数据的python脚本,使用多线程来模拟大量探针的发包
关系型数据库,负责存储一些不会经常读取的数据,比如分析程序的参数配置、商场信息等
分布式非关系型数据库,用于永久性存储原始数据,供离线分析程序使用
非关系型数据库,适用于存储快速读写的数据,用于存储分析结果,存储格式为json