资料推荐：Spark-mllib 源码分析之逻辑回归

Spark-mllib 源码分析之逻辑回归(Logistic Regression)

这篇博客详细的列出了逻辑回归用Spark计算时的原理：

https://blog.csdn.net/u011724402/article/details/79089257

Spark能够对Logistic Regression进行并行化，因此通过对Spark1.6.1源码的分析，文章解决下述问题：

问

Spark在哪里对LR算法进行了并行化？

问

如何并行化？

我们可以先猜测一下可能的并行化的部分是在哪里？ 我们知道，如果使用一阶方法，通常使用SGD方法进行求解，涉及到梯度的计算，如果使用二阶方法，通常使用Newton方法进行求解，涉及到梯度和Hessian矩阵的计算，二阶的计算量较大，如果使用近似二阶的方法，通常是LBFGS，也涉及到梯度的计算。

因此，LR算法的计算量都在梯度的计算上。而梯度计算通常是可以分开同时计算的，因此我们大胆猜测一下Spark可能是在这里对LR进行并行计算的。

上述提到的二阶优化算法：Newton, L-BFGS等属于机器学习算法中经常碰到非线性优化问题。还有： Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。可以参考以下博客了解这个算法的数学机理，

原文：https://blog.csdn.net/itplus/article/details/21897715

☆