腾讯大楼
数据统计
一个优秀的大数据工程师要具备一定的逻辑分析能力,并能迅速定位某个商业问题的关键属性和决定因素。学习能力能帮助大数据工程师快速适应不同的项目,并在短时间内成为这个领域的数据专家;沟通能力则能让他们的工作开展地更顺利,因为大数据工程师的工作主要分为两种方式:由市场部驱动和由数据分析部门驱动,前者需要常常向产品经理了解开发需求,后者则需要找运营部了解数据模型实际转化的情况。
女程序
大数据相关的技能,从数据本身来说,大概需要从数据获取、数据处理、数据分析、数据存储和数据挖掘来说,具体如下:
1.数据获取:日志收集Scribe、Flume和爬虫等
2.数据处理:流式计算的storm,sparkstreaming、Hadoop、消息队列相关的如Kafka等
3.数据分析:HIVE、SPARK、基本算法、数据结构等
4.数据存储:HDFS等
5.数据挖掘:机器学习相关算法,聚类、时间序列、推荐系统、回归分析、文本挖掘、贝叶斯分类 、神经网络等
大数据分类
领取专属 10元无门槛券
私享最新 技术干货