机器学习中的决策边界是怎么一回事？—ML Note 35

01

—

标题内容1

上一个视频讲了逻辑回归的分类问题中表达方程的问题，本次视频讲解的是决策边界（Decision boundary）问题，这个概念能帮助我们更好地理解上一个视频的假设函数到底是在干什么。

逻辑回归是如何做预测的

上次视频，我们构建了函数h(*)和g(*)，将给定的输入x和参数\theta然后用一个s函数映射到[0,1]上。如下图：

问题来了，我们在假设函数取的值是一个连续的，而我们要分类的结果y是离散的，0或者1。

那我们什么时候将y取为1，什么时候取为0呢？

当然，可以这样：

很简单，很直接！我们以0.5为界限，当sigmoid函数取值大于等于0.5的时候y取1，否则取0.

更进一步，从上面图中的 和 的表达式可知，当sigmoid函数取大于等于0.5意味着 , 否则小于0.

就是这样，我们在x和y之间就搭建了一个桥梁，一旦确定了参数\theta和0.5，我们就能通过x预测y的取值了。

一个例子

假设在一个二维平面上有这样一堆点，其实平面上的一个点是由横坐标、纵坐标两个自变量确定的。如下图：

我们可以给上式中的每个\theta赋一个值[-3; 1; 1]，那就会有这样一个式子，

而且上面的式子，中只要取值大于等于0了，y就是1了。而上图中右边那个-3+x_1+x_2=0会在直角坐标系中确定一条直线，如下图。在这条线的左下方y为0，右上方为1。

换句话说，我们通过一条直线将上面的一堆点给分成了两类。

这就是分类问题，而那条直线就是决策边界，就是通过决策边界进行分类的。

更进一步，这条作为决策边界的直线是通过一堆点训练出来的，而训练的目的就是找到合适的参数。

非线性决策边界

假设有这样一堆点：

已知的上图这样的一堆点，不能用一条直线来作为决策边界对它们进行分类了，那怎么办呢？我们需要更复杂的方程，如下：

给定了参数后，很显然上面的式子变成了一个圆，圆外的为1，圆内的为0。

总结

通过这两个例子，我们可以看出来，我们的决策边界由两个东西决定的：（1）方程的形式；（2）方程的参数。

换句话说，我们分别确定了方程的形式和方程的参数之后才能得到决策边界，有了决策边界才能得到一个分类器。

那怎样通过训练集得到方程形式和方程参数呢？继续期待后面的教程。