机器学习（7）Logistic Regression逻辑回归

逻辑回归，又称逻辑斯蒂回归，其英文名称为Logistic Regression，取这个中文名字的人应该拖出去打一顿，逻辑这个词的误导性太大，还让人很迷惑。

logistic = log + istic

后缀-istic = 属于…的,有…性质的,关于…的,…主 同缀词： 1.atomistic [atom n. 原子 + -istic 形容词后缀 → ] adj. 原子论的 2.theistic [the 神 + -istic 形容词后缀 → ] adj. 有神论的 3.idealistic [ideal n. 理想，主义 + -istic 形容词后缀 → ] adj.唯心论的 4.simplistic [simpl = simple n.& adj. 笨蛋；愚蠢的行为;简单 + -istic 形容词后缀 → ] adj.过分简单的 5.artistic [art 艺术 + -istic 形容词后缀 → ] adj. 艺术的 6.antagonistic [ant- 反对 + agon 斗争 + -istic 形容词后缀 → ] adj. 敌对的 7.humanistic [human n. 人类 + -istic 形容词后缀 → ] adj.人道主义的（human人类） 8.moralistic [moral n.道德 + -istic 形容词后缀 → ] adj.道学的 9.hedoniatic [hedon 愉快 + -istic 形容词后缀 → ] adj.享乐主义的

逻辑回归从数学上讲，就是在线性回归的基础上，外层套了一个sigmoid函数，sigmoid函数如下所示，它的特点就是无论x怎么范围，能够把f(x)限制到[0, 1]之间，这样方便于做0-1二分类。

另外，sigmoid函数还有很好的数学特性，其导数很特别，s'(x) = s(x)*(1-s(x))，后面再细说。

sigmoid函数非凸，需要做对数变换。

具体的，逻辑回归的代价函数的推导如下所示：

所以，逻辑回归还不如取名叫：对数化回归，反而更确切！！！