机器学习系列 线性回归

导语

本系列教程将尝试介绍线性回归、逻辑回归、决策树、支持向量机、朴素贝叶斯、k均值、k近邻、随机森林、Adaboost等常用的机器学习算法。

对于每一种算法，本系列教程都将利用纯python代码对其进行一般性的实现(即不使用sklearn等现成的机器学习库)，并将其应用于一个具体实例中来做进一步的说明。

题外话

本系列教程不定期更新，介绍顺序看心情，详细讲解算法原理，提供但不讲解如何利用纯python复现算法，不过写代码的时候我会尽量注释清楚的。

原理介绍

应用实例

一. 任务简介

利用纯python代码实现最基本的线性回归模型，并利用该模型为一组随机产生的数据找到一条最佳拟合直线。

二. 任务实现

实现流程：

生成数据特征x、特征标签y；

验证x^Tx矩阵是否可逆；

使用最小二乘法求得回归系数w的最佳估计。

具体实现：

具体实现过程详见相关文件中的源代码。

LR.py：

基本线性回归模型的实现；

example.py：

为一组随机生成的数据找到一条最佳拟合直线。

结果展示：

参考文献

1.Peter Harrington,Machine Learning in Action

2.https://en.wikipedia.org/wiki/Linear_regression

3.http://www.analyticsvidhya.com/blog/2015/08/common-machine-learning-algorithms/