学习大数据,该从何学起呢?

大数据该从何学起,又要学习哪些内容。

大数据涉及到的组件技术非常的多,需要我们逐一学习。各个组件之间相互配合,熟练运用,还是需要下苦功夫的。

那么对于各个组件之间,在处理大数据项目流程中,是该怎么分配的呢,是如何整合完成整个项目的呢?可以看下下面的图帮咱咱们解答疑惑。

大数据目前发展更新迭代比较快,从Hadoop,spark,storm到最新的flink,太多的东西需要去学习,需要追随IT技术的发展,可能会让我们产生一种挫败感,刚刚学会Hadoop,又有新的技术产生,还需要去学习。其实不断地学习肯定是需要的!但是工作中我觉得无需纠结谁会替代谁,要有大局观和生态意识,一切一应用场景出发,以公司项目出发。只要能够完成,就是好的,无可替代的。

想要在大数据这个领域汲取养分,让自己壮大成长。分享方向,行动以前先分享下一个大数据交流分享资源群870097548,欢迎想学习,想转行的,进阶中你加入学习。

大数据背景

1)何为大数据?与传统数据的区别?

何为大数据(BIG DATA),是可以被记录、采集和开发利用的海量、实时、多样化的数据集、数据流和数据体。大数据的特点(4V)

容量大: 数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、 E(100万个T)或Z(10亿个T)

多样性 种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求

速度快 数据增长速度快,处理速度也快,时效性要求高。比如个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征

价值密度低 随着互联网以及物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代最需要解决的问题

2)大数据技术的软件栈现状

进展1:分布式计算已逐渐成为主流计算方式

进展2:交互式分析技术和工程化套件日益成熟

进展3:数据分析算法逐渐丰富,工具普及化

进展4:大数据正驱动AI引领新一代机器智能革命

大数据面临挑战

1)大数据时代企业面临的挑战:深度分析、机器学习和人工智能

2)企业建设大数据体系面临诸多挑战

数据管理

计算优化

分析演进

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190813A0FC2L00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券