大数据架构师知识图谱

一、大数据计算组件

1. Spark
2. Flink
3. Hive
4. DataSphere

二、分布式存储

1. HDFS
2. Hbase
3. Doris

三、资源调度

1. Yarn
2. Dolphin

四、数据仓库常用工具

1. Pig
2. Hive
3. kylin
4. Spark SQL
5. Impala
6. Phoenix
7. ElasticSearch
8. Logstash
9. Datax

五、消息队列

1. Kafka
2. RocketMQ
3. ZeroMQ
4. ActiveMQ
5. RabbitMQ

六、流式计算

1. Spark Streaming(准实时)
2. Flink（实时）

七、日志收集

1. Scribe
2. Flume

八、编程语言

1. Java
2. Python
3. Scala

九、数据分析挖掘

1. MATLAB
2. SPSS
3. SAS

十、数据可视化

1. R
2. D3.js
3. ECharts
4. Excle
5. Python

十一、机器学习

1. 机器学习基础
   1. 聚类
   2. 时间序列
   3. 推荐系统
   4. 回归分析
   5. 文本挖掘
   6. 决策树
   7. 支持向量机
   8. 贝叶斯分类
   9. 神经网络
2. 机器学习工具
   1. Mahout
   2. Spark Mlib
   3. TensorFlow
   4. Amazon Machine Learning
   5. DMTK

十二、算法

1. 一致性
   1. paxos
   2. raft
   3. gossip
2. 数据结构
   1. 栈，队列，链表
   2. 散列表
   3. 二叉树
   4. 图

十三、常用算法

1. 1.排序
   1. 插入排序
   2. 桶排序
   3. 堆排序
2. 快速排序
3. 最大子数组
4. 最长公共子序列
5. 最小生成树
   1. 最短路径
6. 矩阵的存储和运算

十四、云计算服务模式

1. SaaS
2. PaaS
3. IaaS
4. Openstack
5. Docker