人工智能知识树

AI 路线图

研究领域

统计机器学习

基础知识

线性回归/逻辑回归/softmax 回归

决策树/随机森林

GDBT/XGBoost

朴素贝叶斯

支持向量机

K 近邻

KMeans

均值移动

层次聚类

DBSCAN

高斯混合

Boosting/Bagging/Blending

AdaBoost

PCA

LDA

流形学习

异常检测

Apriori/FP-growth

深度学习

基础知识

MLP

CNN

RNN

时间序列

机器视觉

图嵌入/图的表示学习

自然语言处理

强化学习

推荐系统

预处理/特征工程

模型评估/模型调优

最优化

梯度下降

其它

ApacheCN 人工智能知识树

大纲

随着深度学习算法的崛起，人工智能在部分任务上取得了类人甚至超人的智力水平， 如围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项项实 用的技术已经进入到人们的日常生活中。现在我们的生活处处被人工智能所环绕，尽管目 前能达到的智能水平离通用人工智能(Artificial General Intelligence，简称 AGI)还有一段距 离，我们仍坚定地相信人工智能时代已经来临。

机器学习可以分为有监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)和强化学习(Reinforcement Learning，简称 RL)

AI 路线图

预处理

ANOVA

信息增益/信息增益率

最小最大 min-max

z-score

l2 标准化

归一化

等值分箱

等量分箱

独热 one-hot

离散化

标准化

特征选择

模型验证

K 折

回归

分类

聚类

MSE

R 方

准确率

精确率

召回率

F1 得分

宏平均 F1

微平均 F1

互信息

轮廓距离

评价指标

交叉验证

网格搜索

最优化方法

梯度下降

随机梯度下降 SGD

牛顿法/拟牛顿法

动量法

RMSProp

Adam

传统机器学习

PCA/SVD

T-SNE

朴素贝叶斯

隐马尔科夫 HMM

KMenas

层次聚类

DBSCAN

谱聚类

高斯混合模型 GMM

凝聚聚类

分裂聚类

Bagging

Boosting

Blending/Stacking

Adaboost

决策树

随机森林

GDBT/XGBoost

LightGBM

拉格朗日对偶

软边界支持向量机

核方法

线性回归

Lasso/岭回归

逻辑回归

softmax 回归

正则化

欠拟合/过拟合

距离

损失函数

汉明距离

曼哈顿距离

欧几里得距离

切比雪夫距离

余弦相似度

pearson 相似度

MSE

交叉熵

Hinge

基本概念

线性模型

支持向量机

树和森林

集成学习

KNN

聚类

概率图

降维

深度学习

DCGAN

栈式自编码器

稀疏自编码器

去噪自编码器

变分自编码器

循环层

经典结构

LSTM

GRU

BiLSTM

注意力

Seq2Seq

层

经典结构

卷积层

池化层

全连接层

LeNet

AlexNet

ZFNet

GoogLeNet

VGG

ResNet

DenseNet

输入层

隐层

输出层

正向传播

反向传播

激活函数

丢弃 Dropout

微调 Fine-Tune

批量归一化 BatchNorm

sigmoid

softmax

tanh

ReLU

ELU

Leaky ReLU

基本概念

前馈神经网络 DNN/多层感知机 MLP

卷积神经网络 CNN

循环神经网络 RNN

自编码器

生成对抗网络 GAN

应用领域（待扩展）

推荐系统

机器视觉 CV

自然语言处理 NLP

生物信息

常用工具

Keras

TensorFlow

PyTorch

scikit-learn/sklearn

XGBoost

LightGBM

Matplotlib

Seaborn

SciPy

NumPy

Pandas

数据分析

科学计算

可视化

机器学习

深度学习

研究领域

人工智能是指研究用于模拟、延伸、扩展人的智能理论、方法、技术以及应用系统的一门技术科学。

8b851727b291c935c85b0c53472f95c1.png

6d1128ead104990c180c4b538473ed0b.png

5984fd5b8026e0c7ae17a72384af1844.png

参考文件：人工智能领域关键技术挖掘分析

机器学习算法和应用

强化学习算法

近似及优化算法

规划问题

自然语言处理技术

自动问答技术

图像处理技术

视频处理技术

图像匹配技术

视觉跟踪技术

对象检测技术

机器人技术

智能多代理系统

其他

统计机器学习

基础知识

AILearning 第1章_基础知识

CS229 中文笔记 一、引言

CS229 中文笔记 三、线性代数回顾

机器学习基石 1 -- The Learning Problem

机器学习基石 2 -- Learning to Answer Yes/No

机器学习基石 3 -- Types of Learning

机器学习基石 4 -- Feasibility of Learning

机器学习基石 6 -- Theory of Generalization

机器学习基石 7 -- The VC Dimension

机器学习基石 8 -- Noise and Error

机器学习基石 16 -- Three Learning Principles

写给人类的机器学习 一、为什么机器学习重要

SciPyCon 2018 sklearn 教程 一、Python 机器学习简介

SciPyCon 2018 sklearn 教程 二、Python 中的科学计算工具

SciPyCon 2018 sklearn 教程 九、sklearn 估计器接口回顾

SciPyCon 2018 sklearn 教程 十五、估计器流水线

数据科学和人工智能技术笔记 一、向量、矩阵和数组

Sklearn 学习指南 第一章：机器学习 - 温和的介绍

线性回归/逻辑回归/softmax 回归

AILearning 第5章_逻辑回归

AILearning 第8章_回归

CS229 中文笔记 二、单变量线性回归

CS229 中文笔记 四、多变量线性回归

CS229 中文笔记 六、逻辑回归

DLAI 深度学习笔记 第一门课 第二周：神经网络的编程基础

机器学习基石 9 -- Linear Regression

机器学习基石 10 -- Logistic Regression

机器学习基石 11 -- Linear Models for Classification

机器学习基石 12 -- Nonlinear Transformation

机器学习技法 5 -- Kernel Logistic Regression

Scikit-learn 秘籍 第二章 处理线性模型

Scikit-learn 秘籍 第四章 使用 scikit-learn 对数据分类

PythonProgramming.net 系列教程 第一部分 回归

写给人类的机器学习 2.1 监督学习

写给人类的机器学习 2.2 监督学习 II

Python 数据分析与挖掘实战 第5章　挖掘建模

Python 数据分析与挖掘实战 第13章　财政收入影响因素分析及预测模型

与 TensorFlow 的初次接触 2. TensorFlow 中的线性回归

SciPyCon 2018 sklearn 教程 五、监督学习第一部分：分类

SciPyCon 2018 sklearn 教程 六、监督学习第二部分：回归分析

SciPyCon 2018 sklearn 教程 十七、深入：线性模型

数据科学和人工智能技术笔记 十一、线性回归

数据科学和人工智能技术笔记 十二、逻辑回归

Sklearn 学习指南 第二章：监督学习

决策树/随机森林

AILearning 第3章_决策树算法

AILearning 第9章_树回归

机器学习技法 9 -- Decision Tree

机器学习技法 10 -- Random Forest

Scikit-learn 秘籍 第四章 使用 scikit-learn 对数据分类

写给人类的机器学习 2.3 监督学习 III

Python 数据分析与挖掘实战 第5章　挖掘建模

Python 数据分析与挖掘实战 第6章　电力窃漏电用户自动识别

SciPyCon 2018 sklearn 教程 十八、深入：决策树与森林

数据科学和人工智能技术笔记 十三、树和森林

Sklearn 学习指南 第二章：监督学习

GDBT/XGBoost

机器学习技法 11 -- Gradient Boosted Decision Tree

朴素贝叶斯

AILearning 第4章_朴素贝叶斯

Scikit-learn 秘籍 第四章 使用 scikit-learn 对数据分类

数据科学和人工智能技术笔记 十六、朴素贝叶斯

Sklearn 学习指南 第二章：监督学习

支持向量机

AILearning 第6章_支持向量机

AILearning 支持向量机的几个通俗理解

CS229 中文笔记 十二、支持向量机

机器学习技法 1 -- Linear Support Vector Machine

机器学习技法 2 -- Dual Support Vector Machine

机器学习技法 3 -- Kernel Support Vector Machine

机器学习技法 4 -- Soft-Margin Support Vector Machine

机器学习技法 6 -- Support Vector Regression

Scikit-learn 秘籍 第四章 使用 scikit-learn 对数据分类

PythonProgramming.net 系列教程 第二部分 分类

写给人类的机器学习 2.2 监督学习 II

Python 数据分析与挖掘实战 第9章　基于水色图像的水质评价

数据科学和人工智能技术笔记 十五、支持向量机

Sklearn 学习指南 第二章：监督学习

K 近邻

AILearning 第2章_K近邻算法

Scikit-learn 秘籍 第三章 使用距离向量构建模型

PythonProgramming.net 系列教程 第二部分 分类

写给人类的机器学习 2.3 监督学习 III

SciPyCon 2018 sklearn 教程 五、监督学习第一部分：分类

SciPyCon 2018 sklearn 教程 六、监督学习第二部分：回归分析

数据科学和人工智能技术笔记 十四、K 最近邻

KMeans

AILearning 第10章_KMeans聚类

CS229 中文笔记 十三、聚类

Scikit-learn 秘籍 第三章 使用距离向量构建模型

PythonProgramming.net 系列教程 第三部分 聚类

写给人类的机器学习 三、无监督学习

Python 数据分析与挖掘实战 第5章　挖掘建模

Python 数据分析与挖掘实战 第7章　航空公司客户价值分析

Python 数据分析与挖掘实战 第8章　中医证型关联规则挖掘

与 TensorFlow 的初次接触 3. TensorFlow 中的聚类

SciPyCon 2018 sklearn 教程 八、无监督学习第二部分：聚类

TensorFlow 学习指南 三、学习

数据科学和人工智能技术笔记 十七、聚类

Sklearn 学习指南 第三章：无监督学习

均值移动

PythonProgramming.net 系列教程 第三部分 聚类

数据科学和人工智能技术笔记 十七、聚类

Sklearn 学习指南 第三章：无监督学习

层次聚类

写给人类的机器学习 三、无监督学习

Python 数据分析与挖掘实战 第14章　基于基站定位数据的商圈分析

SciPyCon 2018 sklearn 教程 二十、无监督学习：层次和基于密度的聚类算法

数据科学和人工智能技术笔记 十七、聚类

Sklearn 学习指南 第三章：无监督学习

DBSCAN

SciPyCon 2018 sklearn 教程 二十、无监督学习：层次和基于密度的聚类算法

数据科学和人工智能技术笔记 十七、聚类

高斯混合

Scikit-learn 秘籍 第三章 使用距离向量构建模型

Sklearn 学习指南 第三章：无监督学习

Boosting/Bagging/Blending

机器学习技法 7 -- Blending and Bagging

AdaBoost

AILearning 第7章_集成方法

机器学习技法 8 -- Adaptive Boosting

PCA

AILearning 第13章_PCA降维

AILearning 第14章_SVD简化数据

CS229 中文笔记 十四、降维

写给人类的机器学习 三、无监督学习

SciPyCon 2018 sklearn 教程 七、无监督学习第一部分：变换

Sklearn 学习指南 第三章：无监督学习

LDA

Scikit-learn 秘籍 第四章 使用 scikit-learn 对数据分类

流形学习

SciPyCon 2018 sklearn 教程 二十一、无监督学习：非线性降维

异常检测

CS229 中文笔记 十五、异常检测

SciPyCon 2018 sklearn 教程 二十二、无监督学习：异常检测

Apriori/FP-growth

AILearning 第11章_Apriori算法

AILearning 第12章_FP-growth算法

Python 数据分析与挖掘实战 第5章　挖掘建模

Python 数据分析与挖掘实战 第8章　中医证型关联规则挖掘

深度学习

基础知识

DLAI 深度学习笔记 第一门课 第一周：深度学习引言

与 TensorFlow 的初次接触 1. TensorFlow 基础知识

TensorFlow 学习指南 一、基础

MLP

CS229 中文笔记 八、神经网络：表述

CS229 中文笔记 九、神经网络的学习

DLAI 深度学习笔记 第一门课 第三周：浅层神经网络

DLAI 深度学习笔记 第一门课 第四周：深层神经网络

机器学习技法 12 -- Neural Network

机器学习技法 13 -- Deep Learning

机器学习技法 14 -- Radial Basis Function Network

PythonProgramming.net 系列教程 第四部分 神经网络

写给人类的机器学习 四、神经网络和深度学习

Python 数据分析与挖掘实战 第5章　挖掘建模

Python 数据分析与挖掘实战 第6章　电力窃漏电用户自动识别

Python 数据分析与挖掘实战 第10章　家用电器用户行为分析与事件识别

Python 数据分析与挖掘实战 第13章　财政收入影响因素分析及预测模型

与 TensorFlow 的初次接触 4. TensorFlow 中的单层神经网络

与 TensorFlow 的初次接触 5. TensorFlow 中的多层神经网络

TensorFlow Rager 教程 一、如何使用 TensorFlow Eager 构建简单的神经网络

数据科学和人工智能技术笔记 十八、Keras

CNN

DLAI 深度学习笔记 第四门课 第一周 卷积神经网络

DLAI 深度学习笔记 第四门课 第二周 深度卷积网络：实例探究

TensorFlow Rager 教程 七、使用 TensorFlow Eager 构建用于情感识别的卷积神经网络（CNN）

RNN

DLAI 深度学习笔记 第五门课 第一周 循环序列模型

DLAI 深度学习笔记 第五门课 第三周 序列模型和注意力机制

TensorFlow Rager 教程 八、用于 TensorFlow Eager 序列分类的动态循坏神经网络

TensorFlow Rager 教程 九、用于 TensorFlow Eager 时间序列回归的递归神经网络

时间序列

第5章　挖掘建模

Python 数据分析与挖掘实战 第11章　应用系统负载分析与磁盘容量预测

TensorFlow Rager 教程 九、用于 TensorFlow Eager 时间序列回归的递归神经网络

机器视觉

CS229 中文笔记 十八、应用实例：图片文字识别

DLAI 深度学习笔记 第四门课 第三周 目标检测

DLAI 深度学习笔记 第四门课 第四周 特殊应用：人脸识别和神经风格转换

PythonProgramming.net 系列教程 图像和视频分析

PythonProgramming.net 系列教程 TensorFlow 目标检测

数据科学和人工智能技术笔记 四、图像预处理

图嵌入/图的表示学习

图嵌入综述：问题，技术与应用 第一、二章

图嵌入综述：问题，技术与应用 第三章

图嵌入综述：问题，技术与应用 4.1 ~ 4.2

图嵌入综述：问题，技术与应用 4.3 ~ 4.7

图嵌入综述：问题，技术与应用 第五、六、七章

自然语言处理

DLAI 深度学习笔记 第五门课 第二周 自然语言处理与词嵌入

PythonProgramming.net 系列教程 自然语言处理教程

PythonProgramming.net 系列教程 TensorFlow 聊天机器人

Python 数据分析与挖掘实战 第15章　电商产品评论数据情感分析

TensorFlow Rager 教程 七、使用 TensorFlow Eager 构建用于情感识别的卷积神经网络（CNN）

TensorFlow Rager 教程 八、用于 TensorFlow Eager 序列分类的动态循坏神经网络

SciPyCon 2018 sklearn 教程 十一、文本特征提取

SciPyCon 2018 sklearn 教程 十二、案例学习：用于 SMS 垃圾检测的文本分类

SciPyCon 2018 sklearn 教程 二十三、核外学习 - 用于语义分析的大规模文本分类

数据科学和人工智能技术笔记 五、文本预处理

强化学习

写给人类的机器学习 五、强化学习

推荐系统

AILearning 第16章_推荐系统

CS229 中文笔记 十六、推荐系统

机器学习技法 15 -- Matrix Factorization

Python 数据分析与挖掘实战 第12章　电子商务网站用户行为分析及服务推荐

基于深度学习的推荐系统：综述和新视角 第一、二章

基于深度学习的推荐系统：综述和新视角 3.1 ~ 3.3

基于深度学习的推荐系统：综述和新视角 3.4 ~ 3.11

预处理/特征工程

Scikit-learn 秘籍 第一章 模型预处理

Python 数据分析与挖掘实战 第3章　数据探索

Python 数据分析与挖掘实战 第4章　数据预处理

TensorFlow Rager 教程 四、文本序列到 TFRecords

TensorFlow Rager 教程 五、如何将原始图片数据转换为 TFRecords

TensorFlow Rager 教程 六、如何使用 TensorFlow Eager 从 TFRecords 批量读取数据

SciPyCon 2018 sklearn 教程 三、数据表示和可视化

SciPyCon 2018 sklearn 教程 七、无监督学习第一部分：变换

SciPyCon 2018 sklearn 教程 十、案例学习：泰坦尼克幸存者

SciPyCon 2018 sklearn 教程 十一、文本特征提取

SciPyCon 2018 sklearn 教程 十九、自动特征选择

数据科学和人工智能技术笔记 二、数据准备

数据科学和人工智能技术笔记 三、数据预处理

数据科学和人工智能技术笔记 四、图像预处理

数据科学和人工智能技术笔记 五、文本预处理

数据科学和人工智能技术笔记 六、日期时间预处理

数据科学和人工智能技术笔记 七、特征工程

数据科学和人工智能技术笔记 八、特征选择

数据科学和人工智能技术笔记 十九、数据整理（上）

数据科学和人工智能技术笔记 十九、数据整理（下）

数据科学和人工智能技术笔记 二十、数据可视化

Sklearn 学习指南 第四章：高级功能

模型评估/模型调优

CS229 中文笔记 七、正则化

CS229 中文笔记 十、应用机器学习的建议

CS229 中文笔记 十一、机器学习系统的设计

DLAI 深度学习笔记 第二门课 第一周：深度学习的实用层面

DLAI 深度学习笔记 第二门课 第三周超参数调试，batch正则化和程序框架

DLAI 深度学习笔记 第三门课 第一周：机器学习策略（1）

DLAI 深度学习笔记 第三门课 第二周：机器学习策略（2）

机器学习基石 5 -- Training versus Testing

机器学习基石 13 -- Hazard of Overfitting

机器学习基石 14 -- Regularization

机器学习基石 15 -- Validation

Scikit-learn 秘籍 第二章 处理线性模型

Scikit-learn 秘籍 第五章 模型后处理

TensorFlow Rager 教程 二、在 Eager 模式中使用指标

SciPyCon 2018 sklearn 教程 四、训练和测试数据

SciPyCon 2018 sklearn 教程 十三、交叉验证和得分方法

SciPyCon 2018 sklearn 教程 十四、参数选择、验证和测试

SciPyCon 2018 sklearn 教程 十六、模型评估、得分指标和处理不平衡类别

TensorFlow 学习指南 二、线性模型

数据科学和人工智能技术笔记 九、模型验证

数据科学和人工智能技术笔记 十、模型选择

Sklearn 学习指南 第四章：高级功能

最优化

梯度下降

CS229 中文笔记 十七、大规模机器学习

DLAI 深度学习笔记 第一门课 第二周：优化算法

其它

机器学习技法 16（完结） -- Finale

CS229 中文笔记 十九、总结

写给人类的机器学习 六、最好的机器学习资源

与 TensorFlow 的初次接触 6. 并行

TensorFlow Rager 教程 三、如何保存和恢复训练模型

TensorFlow 学习指南 四、分布式

数据科学和人工智能技术笔记 二十一、统计学