获得大数据顶尖职位必备的9项技能,你会多少?

导读

这是一个大数据时代,从IT到DT时代的变化赋予我们探索未知世界的力量,而数据在这个时代即代表着财富,被比喻为黄金。如何挖掘到黄金,是从事数据分析工作的人的一个技能。以下是近年最为常用的大数据分析工具,请各位看官根据自身要求和兴趣进行了解和学习。

本文来源:NLPJob翻译小组

作者:@善良的右行

在大数据商品化之前, 利用大数据分析工具和技术来取得竞争优势已不再是秘密。2015年, 如果你还在职场上寻找大数据的相关工作, 那么, 这里介绍的9种技能,将帮助你得到一个工作机会。

1. Apache Hadoop

Hadoop现在已经进入第二个10年发展期了, 但不可否认的是, Hadoop在2014年出现了井喷式发展, 由于Hadoop从测试集群向生产和软件供应商方向不断转移, 其越来越接近于分布式存储和处理机架构, 因此, 这一势头在2015年会更加猛烈。由于大数据平台的强大, Hadoop可能是一个挑剔的怪兽, 它需要熟悉的技术人员细心的照顾和喂养。掌握Hadoop最核心技术 (例如, HDFS, MapReduce, Flume, Oozie, Hive, Pig, HBase, and YARN) 的技术人员在职场上的需求将越来越大。

2. Apache Spark

如果说Hadoop在大数据世界中已广为人知, 那么Spark就是一匹黑马, 它所蕴含的原始潜力使Hadoop黯然失色。无论是否是Hadoop架构, 快速崛起的内存计算技术被认为是MapReduce风格分析框架更快和更简洁的替代方案。Spark最佳的定位应当是大数据技术族中重要的一个成员。Spark仍然需要专业技术进行编程和运行, 这为知晓该技术的工程师提供了不错的工作机会。

3. NoSQL

在大数据的操作层面, 诸如 MongoDB 和 Couchbase 等分布式、可扩展的 NoSQL 数据库正在接管市场份额极为庞大的的 SQL 数据库, 例如 Oracle 和 IBM DB2。在 WEB 和移动 app 层面, NoSQL数据库常常被做为Hadoop分析的数据源。在大数据领域, Hadoop 和 NoSQL 分别成为良性循环的两个端点。

4. Machine Learning and Data Mining(机器学习和数据挖掘)

人们习惯于对收集的数据进行挖掘,但是, 在当今大数据的世界里, 数据挖掘已经达到了一个全新的高度。机器学习成为去年大数据技术最热门的领域之一, 2015年顺理成章地成为它的突破之年。大数据将会使那些能够利用机器学习技术去构建和训练像分类、推荐和个性化系统等预测分析应用程序的人成为职场宠儿, 取得就业市 场上的顶级薪金。

5. Statistical and Quantitative Analysis(统计和定量分析)

这就是大数据。如果你有定量推理背景和数学或统计学等方面的学位,那么你就成功了一半。此外,再加上一些使用统计工具经验,例如 R, SAS, Matlab, SPSS, 或者是 Stata, 你就能够锁定这些工作岗位啦。在过去,许多量化工程师都会选择在华尔街工作, 但由于大数据的快速发展, 现在各行各样都需要大量的具有定量分析背景的极客。

6. SQL

以数据为中心的语言已有超过40年的历史了, 但是这种祖父级的语言在当前的大数据时代仍然具有生命力。尽管它难以应对大数据的挑战 (见上文NoSQL部分), 但是, 简化了的结构化语言使其在许多方面变得十分容易。同时应该感谢来自于Cloudera所发布的Impala等开源项目, SQL获得了新生, 成为下一代Hadoop规模的数据仓库的通用语言。

7. Data Visualization(数据可视化)

大数据可能不是那么容易理解, 但在某些情况下, 通过鲜活的数据吸引眼球仍然是不可替代的方法。你可以一直用多元或逻辑回归分析方法解析数据, 但是, 有时候使用类似 Tableau 或 Qlikview 这样的可视化工具探索数据样本能够直观的告诉你所拥有的数据的形态, 甚至是发现那些能够改变你处理数据方法的一些隐蔽细节。当然,如果你长大后想成为数据艺术家, 那么, 精通一个甚至是更多的可视化工具就是必不可少的了。

8. General Purpose Programming Languages

在类似 Java, C, Python, 或 Scala 等通用语言中拥有编程应用经验能够使你相对于那些局限于分析技术的人更具有优势。根据 Wanted Analytics的统计, 招聘具有数据分析背景的“计算机编程”职位的数量增长了 337%。具有传统应用程序开发和新兴数据分析能力的人将会有极大的就业选择空间, 能够自由的在终端用户企业和大数据创业公司之间进行流动。

9. Creativity and Problem Solving(创造力和问题解决能力

无论你在高级分析工具和技术方面有多大优势,自主思考能力仍然是无可替代 的。大数据处理工具会不可避免的进行演化发展,新技术会不断涌现并替代这里所列 出的技术。但是,如果你能出于本能的渴求新的知识,并且能够像猎犬一样发现问题 的解决方案,就会有大量的工作机会在等着你。

END

版权声明: 转载文章均来自公开网络,仅供学习使用,不会用于任何商业用途,如果出处有误或侵犯到原作者权益,请与我们联系删除或授权事宜,联系邮箱:holly0801@163.com。转载大数据公众号文章请注明原文链接和作者,否则产生的任何版权纠纷与大数据无关。

原文发布于微信公众号 - 大数据(hzdashuju)

原文发表时间:2016-04-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

警惕大数据中的“陷阱”

18530
来自专栏平凡文摘

那些工作2年 就月薪2.5W的Java程序员,都有这1个共同点

19140
来自专栏鸿的学习笔记

大数据概览系列(一)

就像互联网一样,大数据是我们今天生活的一部分。从搜索,在线购物,视频点播,到网上约会,大数据总是幕后的重要角色。有些人声称,物联网(IoT)将会接管大数据作为最...

11410
来自专栏PPV课数据科学社区

【职场】你是真正的大数据“圈内人”吗

? 只有搞大数据技术开发的,才是真正“圈内人”?你觉得呢? 笔者曾经参加过若干会议,70%是偏技术的,在场的都是国内各个数据相关项目经理和技术带头人,大家讨论...

27050
来自专栏华章科技

2017年大数据的十大发展趋势

研究人员称,会有越来越多的公司加速采用大数据技术。互联网数据中心(IDC)预测,到2020年大数据和分析技术市场,将从今年的1301亿美元增加至2030亿美元。...

6300
来自专栏PPV课数据科学社区

【学习】十种程序语言帮你读懂大数据的“秘密”

随着大数据的热潮不断升温,几乎各个领域都有洪水倾泻般的信息涌来,面对用户成千上万的浏览记录、记录行为数据,如果就单纯的Excel来进行数据处理是远远不能满足的。...

25240
来自专栏灯塔大数据

观点|大数据工具 在数据科学家眼中是怎样的存在?

但随着大数据工具数量的增长和计算能力的飞跃,数据科学家越来越多地发现,如果他们想从自己的模型中获得最佳性能,那就必须考虑所使用的数据管道。 数据科学工具的功能通...

30370
来自专栏CSDN技术头条

大数据的10个常见误解,带你走出思维误区

如果数据有一点点就不错了,那么数据是海量的话就一定棒极了,对不对?这就好比说, 如果一个炎日夏日里的微风让你感觉凉爽,那么你会为一阵一阵的凉风感到欣喜若狂。 也...

23790
来自专栏数据科学与人工智能

大数据人才职业规划

作为IT类职业中的“大熊猫”,大数据人才(数据工程师,数据分析师,数据挖掘师,算法工程师等)、在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段,这个领域...

58550
来自专栏吉浦迅科技

黄石超级计算机帮助预测空气污染

黄石超级计算机有一个峰值为1.5-petaflops I-data plex系统。凭借72288个处理器核心,该系统名列Top500第13位。目前已经承担了1...

36070

扫码关注云+社区

领取腾讯云代金券