首页
学习
活动
专区
工具
TVP
发布

黑泽君的专栏

专栏成员
708
文章
1750849
阅读量
103
订阅数
大数据技术之_27_电商平台数据分析项目_01_大数据的框架回顾 + 大数据的企业应用
Hadoop job 提交简图 或 YARN 架构 或 YARN 工作机制 或 job 提交流程 0、job 提交简图
黑泽君
2019-05-30
1.1K0
大数据技术之_18_大数据离线平台_05_离线平台项目模块小结
1、将项目软件工具包导入 2、项目思路: 2.1、读取 HDFS 数据进行 ETL 清洗操作,并将最终结果写入到 HBase 中。 2.2、从 HBase 中读取数据,进行新增用户统计分析操作,并将结果写入到 Mysql。 3、细节实现 数据清洗: 3.1、LoggerUtil.java 3.1.1、主要作用:将字符串数据解析成 HashMap 键值对集合。 3.1.2、重要细节: 字符串的截取 不合法数据的过滤 字符串的解码(就是将%相关的字符串编码转换成可读类型的数据) 错误数据的 Logger
黑泽君
2019-05-07
5950
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档