StuQ 大数据工程师技能图谱

https://github.com/TeamStuQ/skill-map

StuQ 程序员技能图谱 官网 Web 页面地址：http://skill-map.stuq.org/，也可扫描页面下方二维码，以赞助形式获赠技能图谱纸质版。

大数据工程师技能图谱

大数据通用处理平台

Spark Flink Hadoop

分布式存储

HDFS

资源调度

Yarn Mesos

机器学习工具

Mahout Spark Mlib TensorFlow (Google 系) Amazon Machine Learning DMTK (微软分布式机器学习工具)

数据分析/数据仓库(SQL类)

Pig Hive kylin Spark SQL, Spark DataFrame Impala Phoenix

ELK

ElasticSearch Logstash Kibana

消息队列

Kafka(纯日志类，大吞吐量) RocketMQ ZeroMQ ActiveMQ RabbitMQ

流式计算

Storm/JStorm Spark Streaming

日志收集

• Scribe
• Flume

编程语言

Java Python R Ruby

数据分析挖掘

MATLAB SPSS SAS

数据可视化

R D3.js ECharts Excle

机器学习

机器学习基础

聚类 时间序列 推荐系统 回归分析 文本挖掘 决策树 支持向量机 贝叶斯分类 神经网络

机器学习工具

Mahout Spark Mlib TensorFlow (Google 系) Amazon Machine Learning DMTK (微软分布式机器学习工具)

算法

一致性

paxos raft gossip

数据结构

栈，队列，链表 散列表 二叉树，红黑树，B树 图

常用算法

排序插入排序 桶排序 堆排序 快速排序

最大子数组 最长公共子序列 最小生成树 最短路径 矩阵的存储和运算

云计算

云服务SaaS PaaS IaaS

Openstack Docker