2017年6月,开始数据分析的职业生涯,作为架构师,建立起一套基于.Net/.Net Core的小数据实时处理计算平台,这里记录学习过程中的点点滴滴!
数据分析的核心,可以理解为:Select xxx From table Where yyy Group By zzz
小数据计算平台的定位:
题外:其实大家平时借助消息队列(Kafaka/RocketMQ)异步处理的统计,本身就属于实时计算数据分析的一种!
该平台的目标并非替代Hadoop,而是对中小型数据分析提供一种轻量级选择。
实际上我们大部门就有完整的Hadoop大数据平台,我们的许多模块,都跟Hive、HBase、Kafka等有大量的数据交互
未来的日子里,会根据后面的小数据平台配套,把相关技术慢慢写下来。
文章目录:
小数据计算平台配套:
实际使用根据需要进行调整,如果数据分析项目不多,后面的辅助性配套可以不要。
关于博客,10多年来断断续续也写了不少博文,我写的博客有个特点,都是经过深思熟虑并且在网络上很少能找到相关内容的知识点。
关于工作,公司财报提到2018年第二季度包裹量21.16亿件,公司名和具体工作内容不方便讨论,还请大家见谅和监督!
本文答疑:QQ群1600800,2018-08-12 20:00:00
End.