大数据该从何学起,又要学习哪些内容。
大数据涉及到的组件技术非常的多,需要我们逐一学习。各个组件之间相互配合,熟练运用,还是需要下苦功夫的。
那么对于各个组件之间,在处理大数据项目流程中,是该怎么分配的呢,是如何整合完成整个项目的呢?可以看下下面的图帮咱咱们解答疑惑。
大数据目前发展更新迭代比较快,从Hadoop,spark,storm到最新的flink,太多的东西需要去学习,需要追随IT技术的发展,可能会让我们产生一种挫败感,刚刚学会Hadoop,又有新的技术产生,还需要去学习。其实不断地学习肯定是需要的!但是工作中我觉得无需纠结谁会替代谁,要有大局观和生态意识,一切一应用场景出发,以公司项目出发。只要能够完成,就是好的,无可替代的。
想要在大数据这个领域汲取养分,让自己壮大成长。分享方向,行动以前先分享下一个大数据交流分享资源群870097548,欢迎想学习,想转行的,进阶中你加入学习。
大数据背景
1)何为大数据?与传统数据的区别?
何为大数据(BIG DATA),是可以被记录、采集和开发利用的海量、实时、多样化的数据集、数据流和数据体。大数据的特点(4V)
容量大: 数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、 E(100万个T)或Z(10亿个T)
多样性 种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求
速度快 数据增长速度快,处理速度也快,时效性要求高。比如个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征
价值密度低 随着互联网以及物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代最需要解决的问题
2)大数据技术的软件栈现状
进展1:分布式计算已逐渐成为主流计算方式
进展2:交互式分析技术和工程化套件日益成熟
进展3:数据分析算法逐渐丰富,工具普及化
进展4:大数据正驱动AI引领新一代机器智能革命
大数据面临挑战
1)大数据时代企业面临的挑战:深度分析、机器学习和人工智能
2)企业建设大数据体系面临诸多挑战
数据管理
计算优化
分析演进
领取专属 10元无门槛券
私享最新 技术干货