大数据生涯感悟

  不知不觉,毕业一年半了,从实习开始接触大数据技术。那时懵懂的我,不对,应该说懵逼的我在想,卧槽,这是啥这么牛逼,我都不会啊。。。啥都不会完蛋了。。即便现在也是这样认为= =

  今年还是有很多变故的,不过丝毫无法阻挡我对技术的热情,这种热情犹如滔滔江水连绵不绝,哗啦啦啦啦啦啦~上图,让我们看下大数据工程师要掌握的技能有哪些呢?

  乍一看吓尿了。。等我洗个澡先。。。

  如果你愿意牺牲自己的所有时间去学习,研究,实践。我相信能够完全掌握里面的所有东西,只不过这是个漫长的过程。我觉得这张图还是很形象的,左边代表工程开发,右边代表算法开发。大公司基本分工非常明确。但在这个多元化的社会上,倘若你能掌握别人没有掌握,或者需要很高学习成本才能掌握的知识,那么你将会闪闪发光,犹如黑暗中的萤火虫,稻田里的金龟子~犹如太阳的光晕,犹如早起照射窗台的第一缕阳光,犹如~~好了好了。。我们回归正题。

  很多人说,这么多我勒个去,我不知道怎么学啊,从哪里开始啊。。那么我说下到现在为止,个人的学习之旅(仅个人):

  1、从2014年开始接触hadoop。。这是啥?买了本书(Hadoop Yarn权威指南)。。完全懵逼看不懂,但是坚持下来把它看完,然后开始搭建环境,单节点,当运行起来的一瞬间简直爽死我了~(注意,你要有Linux基础)

  2、开始看编程模型,MapReduce,MapReduce是啥。。好高大上啊,人总是对于未知的事物比较恐惧,可是恐惧也要看啊~看不懂也要看啊~搭开发环境,各种坑,我还没毕业好么,那么多工具,我怎么知道怎么用。。这报的啥错啊。。开始各种折腾。。

  3、产品经理说,我们要用spark!那是在2014年年底了,但其实最初调研的时候选用shark,因为那时候spark还没有商用,但最终还是用了spark,在决定之时突然spark1.3开始商用,加入DataFrame(当然那时候我是完全懵逼,这是啥?)。。受经理培养,我开始Spark之旅。那时对hadoop已经有了基本认知。

  4、进入2015年,项目已经开始进行spark开发,当然对于应用开发而言,完全从0开始,于是我们开始各种不要脸的去请教传说中的橘云分布式团队,我每次出差都买点东西孝敬他们老人家哈哈哈哈~~一点一点的学理论,一点一点的尝试,一点一点的问。这里要说下,做技术的,特别怕对方看不起自己,不敢问,怕被嘲笑。 其实真正热爱技术的,会对技术极度的热情,你要记住,丢人没有什么,再简单的学会了就是自己的了~于是开始买关于Spark的书,开始总结各种知识点,尝试,总结,尝试。

  5、2015年毕业前夕,第一次去湖北项目上线,将传统的应用系统改造为支持spark的大数据项目。对于我这种初出茅庐的小菜比而言,我勒个擦,真实集群,数据中心180多台的集群,批处理,流处理,看得我眼花缭乱,好害怕啊~~怕毛啊~直接就上了~部署各种调参数,出问题了甚至弄到晚上2点~北京的同事远程支持,各种前台后台的问题应接不暇,最终成功的上线~(这里有一点,搞技术的喜欢知根问底,在现场环境中,尤其是这种完全大数据环境,你要的就是不要脸的去问,一点不明白就问,这样收获的便是对整个大数据体系的流程与过程的熟知)

  6、2015年底,项目已经正常运行了一段时间了,在工作中不忘补习各种知识,完善知识体系,然后突然一个点,我似乎全通了。虽然这只是皮毛~慢慢的。。各个省市的上线,让我开始觉得就那些东西(这是危险的预兆)

  7、2016年初,由于某些原因,来到了上海某银行,这里是完全的大数据环境,当时其实有点害怕,为什么呢,因为虽然建立了大数据知识体系,但是实战经验还是不足而我更多的是做spark,二话不说直接上手操练,各种折磨的每天12点以后还亮着灯。学习hbase,redis,storm,kafka以及更深入hadoop。。有时甚至有放弃的想法,在巨大的压力下,每天顶着红牛,学,练习,学,练习。

  8、如今,某个时刻,突然又一次觉得,貌似我全都会了!仿佛脑海中能够感受到数据在各个组件中的传输,网络中的传输,什么时候会OOM,JVM占用,网络通信。。。也再一次开始应用spark,这一次,让我激动地每天激情四射,为什么呢?因为我发现曾经很多不懂的知识点,貌似全通了。。在寂静的夜晚,想着身边离开的人,默默地留下了眼泪,你怎么不等我。

  总结:技术,是在不断地更新迭代,但是一定要有一套自己的知识体系,自己的理解,千万不要认为啊~我会写这个MapReduce了,我会写spark后台代码了,我会用hbase了,我会storm了,就沾沾自喜,看的更远一点更深一点,你会发现,原来我啥都不会,学无止境! 坚持!坚持!坚持!坚持!再坚持!用你坚韧的毅力与激情,感染身边的人,影响身边的人。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏逍遥剑客的游戏开发

走进VR游戏开发的世界

92410
来自专栏ATYUN订阅号

The Crafty Robot推出基于AI的纸板机器人工具包Smartibot

孩子们对玩具的品味会一代一代地变化,但有一件事永远不会过时:纸板。这种想法是The Crafty Robot的Smartibot背后的推动力,Smartibot...

1265
来自专栏互联网杂技

每次不能把工作干好的时候,就看看

软件蚕食一切。未来属于程序员。所以人人都想当程序员。但是并不是每个人都能当好程序员。在你做出决定前还是先看看自己能不能当好程序员吧。可是什么样的人不适合当程序员...

3394
来自专栏编程一生

为什么要持续重构

1281
来自专栏智能算法

数学是成就卓越开发人员的必备技能

英文:Alan Skorkin 译者:伯乐在线 - 黄利民 网址:http://blog.jobbole.com/444/ 点击“阅读原文”,可查看本文网页版 ...

36513
来自专栏华章科技

爬取QQ空间3000万用户,玩玩大数据分析

一位程序猿使用C#写的一个QQ空间蜘蛛网爬虫程序。程序断断续续的运行了两周,总共爬了3000万QQ数据,这些大数据背后隐藏了哪些信息?做大数据分析的同学收好,不...

1491
来自专栏java工会

Java程序员如何高效学习

3745
来自专栏安全领域

物联网中的认知科学与网络监督

“物联网(IoT,Internet of Things)” 这个词已经流行了好一段时间,并且当前人们都在讨论如何将它应用于各种领域。但是,没有任何关于将其应用于...

44513
来自专栏机器人网

我是如何走上电气工程师这条路的?

最近经常在微博上和一些刚刚学习的PLC同学交流,经常被问道这样几个问题,学PLC干嘛,问我是怎么做电气工程师的?今天我就来说说我是如何走上电气工程师这条路的? ...

31713
来自专栏杨建荣的学习笔记

有些事,不是技术能够解决的 (r8笔记第14天)

自从入了数据库这条路,什么都喜欢用这种技术思路来思考问题。不知不觉融入了生活之中,有时候我却全然不知。 记得有一次在泰国出差,有一个男同事生病了,但是生...

36813

扫码关注云+社区

领取腾讯云代金券