读书｜《Mastering Machine Learning with Python in Six Steps》
读书｜《Mastering Machine Learning with Python in Six Steps》
蜗牛最近精力真是有限，很快就要大考了，不过读书不能停。
接下来几天读一读 《Mastering Machine Learning with Python in Six Steps》这本书。
更完整的思维导图 在整本书结束后，在我的公众号后台回复 MLb01 即可下载。
本文目的为速读，一些重要的知识点有相关历史博文链接，还没有写到的后续也会陆续推出。如书名 in Six Steps，本书结构也是 6 部分。
step 1: 主要讲了 python 的安装和一些基础。
step 2: 讲了机器学习的发展史，分为 监督式，非监督式，解决问题的基本流程，核心 package 的主要组件。
发展史
常用中间的CRISP－DM流程。
step 3: 机器学习基础，包括 数据的类型，特征工程，数据探索方法，以及回归
／分类／聚类等基础算法。
step 4: 调优，讲了如何选择合适的模型参数，超参数，Bagging／Boosting／Stacking 等模型融合方法。
step 5: 讲了在文本挖掘方面的应用，包括 数据预处理的常用几种方法，以及如何做 情感分析和推荐系统。
step 6: 深度学习，简单介绍几种神经网络，FNN，CNN，RNN。
step 3:
3.1 数据的类型
对于不同类型的数据，可以通过相应的描述性统计方法来观察数据:
3.2 特征工程
讲了几种基本方法，例如
对缺失数据，
- < 5% 时可以删除，2. 用 mean/average or mode or median 等值进行代替，3. 用随机数替代， 4. 或者用简单的回归／分类模型预测。
对类别数据，
- 可以用 One Hot Encoder 转化，2. 可以用 LabelEncoder() 转化成 0 到 n_classes-1 的数字
对数据进行规范化，
- Normalizing：将数据范围缩到 0 to 1， 2. standardization：将数据转化成标准正态分布的
3.3 数据探索
单变量的可以用 value_counts()， hist()， boxplot() 等方法，
多变量的可以用 Correlation Matrix 看相关关系，
也可以用 matrix of scatter plots 看各对变量间的关系和分布，
通过这些可视化的观察，可以得到一些基本的发现，例如 missing values，各变量的range，变量间相关性等。
3.4 回归
这一部分先讲了几种回归的模型，然后讲了几种诊断。
几种回归的模型
1. Linear regression
在评估模型好坏时，常用指标
- R-squared：在 0～1 之间，越接近 1 模型越好
- RMSE
- MAE
2. Polynomial Regression
可以通过 from sklearn.preprocessing import PolynomialFeatures 实现，用 R-squared 看哪个degree好一些。
3. Multivariate Regression
例如房价就会由 Bedrooms，Bathrms 等多个因素决定。
此处会涉及到 Multicollinearity 多重共线性问题，即多个自变量彼此强相关这时应该只使用其中一个自变量。
可以用 VIF 来检查多重共线性：
方法就是：
- 1.plot correlation matrix
- 2.Remove multicollinearity
Pseudo code：
vif = [variance_inflation_factor(X[independent_variables].values, ix)
if max(vif) > thresh:
del independent_variables[maxloc]- 3.Build the multivariate linear regression model
lm = sm.OLS(y_train, X_train).fit()
几种诊断：
1. outliers
通过执行 Bonferroni outlier test，得到 p value < 0.05 为影响精度的异常值。
2. Homoscedasticity and Normality
误差方差应该是常数，且误差应该是正态分布的。
3. Over-fitting and Under-fitting
随着变量数的增加，模型的复杂性增加，过拟合的概率也会增加。
Regularization
是其中一种可以缓解过拟合问题的方法，常用 Ridge 和 LASSO 回归通过惩罚系数的大小来处理这个问题。
持续更新