如果直接使用线性回归的MSE会让逻辑回归的代价函数变成非凸函数，这样就会导致有非常多的局部最优值，导致梯度下降法失效。所以引入了交叉熵损失函数来替代线性回归的MSE(均方误差)
在机器学习中，样本一般分成独立的三部分训练集(train set)，验证集(validation set)和测试集(test set)。其中，训练集用于建立模型。
a）我们向学习算法提供训练集 b）学习算法的任务是输出一个函数（通常用小写h表示），h代表假设函数 c）假设函数的作用是，把房子的大小作为输入变量（x），而它试着输出相应房子的预测y值 h：是一个引导从x得到y的函数
到目前为止，我们已经将机器学习模型和他们的训练算法大部分视为黑盒子。 如果你经历了前面系列的一些操作，如回归系统、数字图像分类器，甚至从头开始建立一个垃圾邮件分类器，这时候你可能会发现我们只是将机器学习模型和它们的训练算法视为黑盒子，所有这些都不知道它们是如何工作的。 但是，了解事情的工作方式可以帮助我们快速找到合适的模型，以及如何使用正确的机器学习算法，为您的任务提供一套完美的超参数。 在本篇文章中，揭开它们的面纱，一睹芳容，我们将讨论以下内容： 线性回归参数模型的求解 多项式回归和学习曲线 正则化的线性
梯度下降算法是很常用的算法，可以将代价函数J最小化。它不仅被用在线性回归上，也被广泛应用于机器学习领域中的众多领域。
To establish notation for future use, we’ll use
我们的第一个学习算法是线性回归算法。在这段视频中，你会看到这个算法的概况，更 重要的是你将会了解监督学习过程完整的流程。 模型表示（Model Representation） 让我们通过一个例子来开始：这个例子是预测住房价格的，我们要使用一个数据集，数 据集包含俄勒冈州波特兰市的住房价格。比方说，如果你朋友的房子是 1250 平方尺大小，你要告诉他们这房子能卖多少钱。 它被称作监督学习是因为对于每个数据来说，我们给出了“正确的答案”，即告诉我们： 根据我们的数据来说，房子实际的价格是多少，而且，更具体来说
蓝色：加入新的训练集后，之前拟合的线性函数，显然适用于新的数据集。但是，此时我们因为新的数据集的加入，拟合出一个新的线性函数（蓝色），此时，若还用 0.5 作为阈值，那么分类结果就不那么理想了。
在之前的单变量线性回归问题中，我们是通过房屋的大小来作为预测房屋价格。但是我们知道了很多其他的变量，例如卧室的数量，楼层的数量，房子的年龄等。
1. 为了得到训练逻辑回归模型的参数，需要一个代码函数，通过训练代价函数来得到参数。
n ：特征量的数目 x^(i) ：第 i 个训练样本的输入特性值 x^(i)_j ：第 i 个训练样本中第 j 个特征量的值
http://www.cnblogs.com/fydeblog/p/7364598.html
机器学习是一门研究如何让计算机从数据中学习和推理的科学。机器学习算法是实现机器学习的具体方法，它们可以根据不同的目标、数据类型和应用场景进行分类和比较。本文将介绍机器学习算法的基本概念、分类和评价标准，以及一些常用的机器学习算法的原理和特点。
如图表示一个房价预测的数据集，x轴表示房子的面积，y轴表示对应的房价，现在需要做的就是用一条直线拟合这些数据，使得给出一个新的房子面积，可以预测出它的房价。当然，可以用曲线来拟合数据使得预测更加准确，但是目前只先讨论单变量的线性回归，即用直线来拟合数据。
前面我们学习了线性回归，它通过输入一个样本的所有特征，然后和参数计算得到了自己的预测值，再通过梯度下降完成代价函数的最小化。
学习率alpha是一个人为控制的超参数，有时也叫learning rate(lr)， 学习率的范围，通常是(0, 1]， 学习率通常用在神经元权重更新上，公式为：w = w - alpha * D ， 学习率的用途是控制权重更新的步幅，一个合适lr可以帮助模型找到最优权重，从而快速收敛。
机器学习是目前信息技术中最激动人心的方向之一。本文以吴恩达老师的机器学习课程为主线，使用 Process On 在线绘图构建机器学习的思维导图。
1. 引言(Introduction) 1.1 Welcome 1.2 什么是机器学习(What is Machine Learning) 1.3 监督学习(Supervised Learning) 1.4 无监督学习(Unsupervised Learning) 2 单变量线性回归(Linear Regression with One Variable) 2.1 模型表示(Model Representation) 2.2 代价函数(Cost Function) 2.3 代价函数 - 直观理解1(Cost Function - Intuition I) 2.4 代价函数 - 直观理解2(Cost Function - Intuition II) 2.5 梯度下降(Gradient Descent) 2.6 梯度下降直观理解(Gradient Descent Intuition) 2.7 线性回归中的梯度下降(Gradient Descent For Linear Regression) 3 Linear Algebra Review 3.1 Matrices and Vectors 3.2 Addition and Scalar Multiplication 3.3 Matrix Vector Multiplication 3.4 Matrix Matrix Multiplication 3.5 Matrix Multiplication Properties 3.6 Inverse and Transpose
x(1) 指的是 第一个训练集里值为2104的输入值， 这个就是第一行里的x x(2) 等于1416。这是第二个x y(1) 等于460，这是第一个训练集样本的y值， 这就是(1)所代表的含义。
在监督学习中，我们给学习算法一个数据集，比如一系列房子的数据，给定数据集中每个样本的正确价格，即它们实际的售价然后运用学习算法，算出更多的答案，我们需要估算一个连续值的结果，这属于回归问题
线性回归(Linear regression)是利用 回归方程对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。
对于给定的训练集（Training Set），我们希望利用学习算法（Learning Algorithm）找到一条直线，以最大地近似所有的数据，然后通过这条直线所表示的函数（h），来推测新的输入（x）的输出值（y），该模型表示如下：
表示第 i 个数据的第 j 个属性，它是一个实数，yi 是第 i 个数据的标签值，也是实数。f是我们学习到的模型，
上一部分我们通过努力得到了一个不错的基本神经元，今天我们将会得到一个不同的线性模型！
吴恩达（Andrew Ng），毫无疑问，是全球人工智能（AI）领域的大 IP！然而，吴恩达从最早的 CS229，到后来的 deeplearning.ai 深度学习专项课程，还有其它 AI 资源，大神发布的 AI 知名课程和资料非常多。
机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。 监督机器学习问题无非就是"minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！ 因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很小。但训练误差小并不是我们的最终
代价函数有助于将最可能的线性函数与我们的数据相拟合。在线性回归中，我们有一个这样的数据集，m表示训练集样本数，而我们的假设函数，也就是我们用来进行预测的函数，是图中所示的线性函数形式。
传送门：https://github.com/lawlite19/MachineLearning_Python/tree/master/LogisticRegression
TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。
在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。
本文尽可能的不涉及到繁杂的数学公式，把面试中常问的模型核心点，用比较通俗易懂但又不是专业性的语言进行描述。希望可以帮助大家在找工作时提纲挈领的复习最核心的内容，或是在准备的过程中抓住每个模型的重点。
到现在为止，我们已经学习了几种不同的学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差。
前面三天推送机器学习线性回归算法之最小二乘法，从假设到原理，详细分析了直接求解和梯度下降两种算法，接下来手动编写python代码实现线性回归的算法吧。 01 数据预处理 在拿到一个数据集后，往往需要经
找不同：激活函数用阶跃函数换成了连续型函数，用一个Quantizer函数进行类别预测
线性回归的函数如下： 逻辑回归则是通过对线性回归做次转换，来达到目的。其公式如下： 1、转换函数 为什么需要转换函数？ 转换函数的主要作用是提供一种非线性的建模能力。如果没有转换函数，那么Log
4 多变量线性回归(Linear Regression with Multiple Variables) 4.1 多特征(Multiple Features) 4.2 多变量梯度下降(Gradient Descent for Multiple Variables) 4.3 梯度下降实践1-特征值缩放(Gradient Descent in Practice I - Feature Scaling) 4.4 梯度下降实践2-学习速率(Gradient Descent in Practice II - Learning Rate) 4.5 特征和多项式回归(Features and Polynomial Regression) 4.6 正规方程(Normal Equation) 4.7 不可逆性正规方程(Normal Equation Noninvertibility) 5 Octave/Matlab Tutorial 5.1 Basic Operations 5.2 Moving Data Around 5.3 Computing on Data 5.4 Plotting Data 5.5 Control Statements: for, while, if statement 5.6 向量化(Vectorization) 5.x 常用函数整理
决策树:判别模型，多分类与回归，正则化的极大似然估计 特点： 适用于小数据集，在进行逐步应答过程中，典型的决策树分析会使用分层变量或决策节点，例如，可将一个给定用户分类成信用可靠或不可靠。 场景举例：基于规则的信用评估、赛马结果预测 优点： 计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征； 擅长对人、地点、事物的一系列不同特征、品质、特性进行评估 缺点： 容易过拟合（后续出现了随机森林，减小了过拟合现象）,使用剪枝来避免过拟合； 适用数据范围： 数值型和标称型 CART分类
决策树分类方法，采用基于最小距离的基尼指数估计函数，用来决定由该子数据集生成的决策树的拓展形。决策树回归方法，采用切分点与切分变量来计算的损失来估计函数。如果目标变量是标称的，称为分类树;如果目标变量是连续的，称为回归树。分类树是使用树结构算法将数据分成离散类的方法。
本内容涉及模型核心数学公式，把本人面试中常被问到问题以及模型知识点的总结，起到提纲挈领作用，在准备的过程中抓住每个模型的重点。
XOR函数("异或"逻辑)是两个二进制值 和 的运算。当这些二进制值中恰好有一个为1时，XOR函数提供了我们想要学习的目标函数 。我们的模型给出了一个函数 ，并且我们的学习算法会不断调整参数 来使得f尽可能接近 。
在本文中，我将使用一个简单的线性回归模型来解释一些机器学习(ML)的基本原理。线性回归虽然不是机器学习中最强大的模型，但由于容易熟悉并且可解释性好，所以仍然被广泛使用。简单地说，线性回归用于估计连续或
写在前面：该篇文章的内容以及相关代码（代码在最后），都是我亲自手敲出来的，相关结论分析也是花了挺长时间做出来的，如需转载该文章，请务必先联系我，在后台留言即可。
基于均方误差最小化来进行模型求解的方法称为“最小二乘法(least square method)它的主要思想就是选择未知参数，(a5，b5)(a3，b3)(a1，b1)(a4，b4)(a2，b2)使得理论值与观测值之差的平方和达到最小。
简单来说， 逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。
1、有冗余特征： 有两个特征之间存在着一定联系，比如一个单位x1是米，另一个x2单位是千米，但表示的是同一个特征，这时候这两个特征之间存在着关系x2=x1。 根据线性代数的知识， 线形相关的矩阵不可逆的。
6 逻辑回归(Logistic Regression) 6.1 分类(Classification) 6.2 假设函数表示(Hypothesis Representation) 6.3 决策边界(Decision Boundary) 6.4 代价函数(Cost Function) 6.5 简化的成本函数和梯度下降(Simplified Cost Function and Gradient Descent) 6.6 进阶优化(Advanced Optimization) 6.7 多类别分类: 一对多(Multiclass Classification: One-vs-all) 7 正则化(Regularization) 7.1 过拟合问题(The Problem of Overfitting) 7.2 代价函数(Cost Function) 7.3 线性回归正则化(Regularized Linear Regression) 7.4 逻辑回归正则化(Regularized Logistic Regression)
在说逻辑回归前，还是得提一提他的兄弟，线性回归。在某些地方，逻辑回归算法和线性回归算法是类似的。但它和线性回归最大的不同在于，逻辑回归是作用是分类的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
