大数据生涯感悟

　　不知不觉，毕业一年半了，从实习开始接触大数据技术。那时懵懂的我，不对，应该说懵逼的我在想，卧槽，这是啥这么牛逼，我都不会啊。。。啥都不会完蛋了。。即便现在也是这样认为= =

　　今年还是有很多变故的，不过丝毫无法阻挡我对技术的热情，这种热情犹如滔滔江水连绵不绝，哗啦啦啦啦啦啦~上图，让我们看下大数据工程师要掌握的技能有哪些呢？

　　乍一看吓尿了。。等我洗个澡先。。。

　　如果你愿意牺牲自己的所有时间去学习，研究，实践。我相信能够完全掌握里面的所有东西，只不过这是个漫长的过程。我觉得这张图还是很形象的，左边代表工程开发，右边代表算法开发。大公司基本分工非常明确。但在这个多元化的社会上，倘若你能掌握别人没有掌握，或者需要很高学习成本才能掌握的知识，那么你将会闪闪发光，犹如黑暗中的萤火虫，稻田里的金龟子~犹如太阳的光晕，犹如早起照射窗台的第一缕阳光，犹如~~好了好了。。我们回归正题。

　　很多人说，这么多我勒个去，我不知道怎么学啊，从哪里开始啊。。那么我说下到现在为止，个人的学习之旅（仅个人）：

　　1、从2014年开始接触hadoop。。这是啥？买了本书（Hadoop Yarn权威指南）。。完全懵逼看不懂，但是坚持下来把它看完，然后开始搭建环境，单节点，当运行起来的一瞬间简直爽死我了~（注意，你要有Linux基础）

　　2、开始看编程模型,MapReduce,MapReduce是啥。。好高大上啊，人总是对于未知的事物比较恐惧，可是恐惧也要看啊~看不懂也要看啊~搭开发环境，各种坑，我还没毕业好么，那么多工具，我怎么知道怎么用。。这报的啥错啊。。开始各种折腾。。

　　3、产品经理说，我们要用spark！那是在2014年年底了，但其实最初调研的时候选用shark，因为那时候spark还没有商用，但最终还是用了spark，在决定之时突然spark1.3开始商用，加入DataFrame(当然那时候我是完全懵逼，这是啥？）。。受经理培养，我开始Spark之旅。那时对hadoop已经有了基本认知。

　　4、进入2015年，项目已经开始进行spark开发，当然对于应用开发而言，完全从0开始，于是我们开始各种不要脸的去请教传说中的橘云分布式团队，我每次出差都买点东西孝敬他们老人家哈哈哈哈~~一点一点的学理论，一点一点的尝试，一点一点的问。这里要说下，做技术的，特别怕对方看不起自己，不敢问，怕被嘲笑。 其实真正热爱技术的，会对技术极度的热情，你要记住，丢人没有什么，再简单的学会了就是自己的了~于是开始买关于Spark的书，开始总结各种知识点，尝试，总结，尝试。

　　5、2015年毕业前夕，第一次去湖北项目上线，将传统的应用系统改造为支持spark的大数据项目。对于我这种初出茅庐的小菜比而言，我勒个擦，真实集群，数据中心180多台的集群，批处理，流处理，看得我眼花缭乱，好害怕啊~~怕毛啊~直接就上了~部署各种调参数，出问题了甚至弄到晚上2点~北京的同事远程支持，各种前台后台的问题应接不暇，最终成功的上线~（这里有一点，搞技术的喜欢知根问底，在现场环境中，尤其是这种完全大数据环境，你要的就是不要脸的去问，一点不明白就问，这样收获的便是对整个大数据体系的流程与过程的熟知）

　　6、2015年底，项目已经正常运行了一段时间了，在工作中不忘补习各种知识，完善知识体系，然后突然一个点，我似乎全通了。虽然这只是皮毛~慢慢的。。各个省市的上线，让我开始觉得就那些东西（这是危险的预兆）

　　7、2016年初，由于某些原因，来到了上海某银行，这里是完全的大数据环境，当时其实有点害怕，为什么呢，因为虽然建立了大数据知识体系，但是实战经验还是不足而我更多的是做spark，二话不说直接上手操练，各种折磨的每天12点以后还亮着灯。学习hbase,redis,storm,kafka以及更深入hadoop。。有时甚至有放弃的想法，在巨大的压力下，每天顶着红牛，学，练习，学，练习。

　　8、如今，某个时刻，突然又一次觉得，貌似我全都会了！仿佛脑海中能够感受到数据在各个组件中的传输，网络中的传输，什么时候会OOM，JVM占用，网络通信。。。也再一次开始应用spark,这一次，让我激动地每天激情四射，为什么呢？因为我发现曾经很多不懂的知识点，貌似全通了。。在寂静的夜晚，想着身边离开的人，默默地留下了眼泪，你怎么不等我。

　　总结：技术，是在不断地更新迭代，但是一定要有一套自己的知识体系，自己的理解，千万不要认为啊~我会写这个MapReduce了，我会写spark后台代码了，我会用hbase了，我会storm了，就沾沾自喜，看的更远一点更深一点，你会发现，原来我啥都不会，学无止境！ 坚持！坚持！坚持！坚持！再坚持！用你坚韧的毅力与激情，感染身边的人，影响身边的人。