感知机(Perceptron)为什么不能表示异或(XOR)

大家好，又见面了，我是你们的朋友全栈君。

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star，留言，一起学习进步

1.感知机不能表示异或

在很早之前学Pattern Recognition相关课程的时候，老师在课堂上就说过感知机遇到的一个大问题就是无法表示异或问题(XOR）。后来接触深度学习相关的内容，开头部分肯定会提到感知机，提到感知机也必会提到不能表示异或的问题。正好抽出点时间，稍微搞明白一下为什么感知机不能表示异或。

2.感知机的数学定义

感知机到底是什么呢？首先来看一下他的数学定义： 假设输入空间(即样本的特征空间)为 X ⊆ R n X \subseteq R ^ n X⊆Rn，输出空间为 y = { + 1 , − 1 } y = \{+1, -1\} y={ +1,−1}。输入位 x ⊂ X x \subset X x⊂X表示样本的特征向量，对应于输入空间(特征空间)的点；输出 y ⊂ Y y \subset Y y⊂Y表示样本类别。由输入空间到输出空间对应的函数关系如下： f ( x ) = s i g n ( w ⋅ x + b ) f(x) = sign(w\cdot x + b) f(x)=sign(w⋅x+b)

此函数被称为感知机。其中， w w w与 b b b为感知机的模型参数， w ⊂ R n w \subset R^n w⊂Rn为权重(weight)或权值向量(weight vector)， b ⊂ R b \subset R b⊂R为偏置(bias)， w ⋅ x w \cdot x w⋅x表示 w w w与 x x x的内积，而 s i g n sign sign是符合函数，即： KaTeX parse error: No such environment: equation at position 7: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ sign(x) = \… 感知机是一种线性分类模型，属于判别模型。

3.异或是线性不可分

异或之所以重要，是因为它相对于其他逻辑关系，例如与（AND）, 或（OR）等，异或是线性不可分的。

这里写图片描述

由这幅简单的示意图可以看出来，and(与)、or(或)、not and(与非)等运算很容易用一条直线分开，但是异或运算中，图示的1,2,3条许仙都无法分开，异或运算就是典型的非线性问题！

具体的数学证明过程可以看后面的参考内容

参考文献：

1.https://zh.wikipedia.org/wiki/%E6%84%9F%E7%9F%A5%E5%99%A8 2.https://www.zybuluo.com/ArrowLLL/note/827264 有数学证明过程 3.https://zhuanlan.zhihu.com/p/30155870

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/160193.html原文链接：https://javaforall.cn