机器学习是大数据技术的制高点,是大数据技术人员核心竞争力之所在,是企业大数据使用的灵魂,是每个想在大数据领域的有卓越价值的技术人员都必须掌握的内容!
Spark 在机器学习方面有着无与伦比的优势,特别适合需要多次迭代计算的算法。
同时 Spark 的拥有非常出色的容错和调度机制,确保系统的高效稳定运行,Spark 目前的发展理念是通过一个计算框架集合 SQL、Machine Learning、Graph Computing、Streaming Computing 等多种功能于一个项目中,其中的机器学习部分也是 Spark 从 2015 年开始开发的重心,在已有的算法的基础上会有越来越多算法存在MLLib 中,同时 Spark 本身会对自定义机器学习算法实现也提供了越来越强的支持,是目前分布式机器 学习领域最具有潜力的平台。
本课程讲解了 Machine Learning on Spark 方方面面的内容,从算法解析与实现、到算法的使用、再 到算法的源码解析,以及算法的性能优化等问题,具体如下:
掌握上述内容,可以助您和企业轻松驾驭 Spark 机器学习,笑傲大数据时代!
1, Spark 编程工程师; 2, 大数据算法工程师;
RDD transformation action persist&checkpoint lineage 宽依赖与窄依赖
Spark 集群 任务调度 DAGScheduler TaskScheduler Master 内部揭秘 Task 内部揭秘
逻辑回归 线性回归 SVM LASSO 岭回归 广义线性模型代码及示例
ALS 算法 奇异值分解 Mahout 与 MLlib 的对比分析 推荐系统的搭建示例
k-means LDA 高斯混合模型 Power Iteration 聚类 聚类算法应用示例
Lambda 架构 参数服务器 from Freeman labs 提供的流式算法 应用示例
Scikit-learn 的流水线(包括 Pandas 等对比) Spark 的流水线(如 DataFrame 以及 ML 组件) 特征提取与变换 应用示例及对比
矩阵计算中的注意事项 矩阵计算的组件(in C/Fortran and Java) MLlib 中的矩阵计算 MLlib 中的统计方法
MLlib 中的决策树 随机森林算法 Gradient-Boosted Trees 实践中的组合学习
评测方法 Cross validation 与 Grid Search MLlib 中的实现 在线、离线测评方法
常用的优化算法 优化算法的串行基因 计算模型:从 BSP 到 BSP+再到 SSP
机器学习/数据分析的一般步骤 实践机器学习的再思考 Mahout、Oryx、VM 以及一些 python 的包,SparkR,PySpark等的对比 机器学习个人最佳学习路径 企业使用机器学习最佳实践