从普通JAVA程序员到BAT架构师，他用了这套学习方法！

近年来，中国互联网三巨头BAT(百度、阿里、腾讯)均耗费巨资投入大数据发展，纷纷建立大数据研究院、大数据实验室等，提供大数据专业服务，一批大数据专业分析公司也应运而生。各家公司都在搭建大数据平台，或者已经在生产环境实践大数据，有些公司已经做了足够的了解，开发准备就绪。

1.国家对大数据发展的支持

国务院以及各级地方政府从2012年开始，颁布了大量政策来扶持大数据产业，下图就是部分政策的合集。

从上图可以看出，大数据发展已被列入国家发展战略了，大数据发展前景毋庸置疑。

2.人才需求巨大

大数据人才有多大的缺口?全球最顶尖管理咨询公司麦肯锡(McKinsey)出具的一份详细分析报告显示，预计到2018年，大数据或者数据工作者的岗位需求将激增，其中大数据科学家的缺口在24万到35万之间，对于懂得如何利用大数据做决策的分析师和经理的岗位缺口则将达到150万!

根据职友集显示，目前全国大数据人才的平均工资为18800,月薪在10k~15k的占15.1%。月薪20k-30k的占34.3%。

伴随着大数据技术的成熟，大数据应用的普及和发展才刚刚开始，预计未来10年，甚至更长一段时间都是大数据黄金发展阶段，相关的行业将引来巨大的发展机遇。错过安卓、错过HTML5，难道你还要错过大数据吗?

薪资如此高的大数据该怎么学？

有问题就找百度，有问题查书。这两种方式都是很落后的学习方式。

大多数的大数据开发工程师都没有系统的学习

下面三层偏运维，上面三层偏研发。大数据开发工程师，而非是大数据运维工程师。

技术框架是理论的框架。

大数据：开源；技术交流非常重要。软件更新速度很快，所以有问题查百度是有问题的，博客中，已经书中的信息都已经过时了。而且开源公司进一步加剧了开源软件的速度。开源软件学习最好的方式就是学习源代码。多读源代码，不需要细看。其次，官方文档也是很重要的。而不是百度搜索出来资料。

跟着项目来学习才是较好的学习方式。

大数据技术框架：六层

spark仅仅是计算引擎。

数据的可视化难度是不一样的

大数据要求样样精通，并不像往日那样只学

保持好奇心，不能只是混口饭吃，非常强烈的好奇心。

hive是如何把SQL转换成MapReduce的?

什么情况MapReduce比spark快？

主动解决问题，而不是等待问题的解决。

做hadoop的贡献者而非只是使用者。

主动探索问题

定期梳理自己的知识点，专注某一个领域开始。

找到一个切入点，并以此扩展周边知识。重要的是：项目驱动，或者问题驱动，通过问题深入了解细节。问题驱动很重要。

把离散的知识点连成线面。（需要3~5年的时间积淀）Flume->Kafka->Storm->Redis->可视化。

12.如何学习Hadoop与spark?

参考资料：多看官方文档，Google，源代码

构建技术圈子。利用虚拟网络社区等！一定不能闭塞！

寻找一个优秀的大数据团队！跟对人！才能快速成长！

基本技能

互联网日志分析系统

数据分析变化才快。但是低三层并不会很快的变化。

lamda架构，批处理和流处理同时解决问题。框架Spark，Flink等非常重要。

存储和计算相结合

大数据工程师的分类

hadoop，hive一定要会，特别重要！

再次强调：

1、把数据分析作为一种能力培养，让自己在现在的团队中展现出良好的数据分析能力，为你以后内部转岗做好准备。

2、扎实学好一、两门数据挖掘软件，基于你已有得编程基础，可以学SAS或者R，基本能够满足很大部分企业的需求。

3、多看多想多观察，学习业务职能是这样，细水长流，还需要不断工作积累和广泛的阅读。

最后，希望你能够成为你想成为的人！