专栏首页企鹅号快讯浅谈机器学习业务方面使用R+Hadoop 是否可靠

浅谈机器学习业务方面使用R+Hadoop 是否可靠

众所周知,R 在解决统计学问题方面无与伦比。但是 R 在数据量达到 2G 以上速度就很慢了,于是就催生出了与 hadoop 相结合跑分布式算法这种解决方案,但是,python+Hadoop 这样的解决方案有没有团队在使用?R 这样起源于统计学的计算机包与 Hadoop 相结合会不会出问题?因为他们在不懂R和Hadoop的特征应用场景的情况下,恰好抓到了一根免费,开源的稻草。

R:

R的应用场景不在于无与伦比的统计学习能力,而在于 结构化数据 下无与伦比的单位代码产出量。神经网络,决策树等基于结构化数据的 算法一行代码搞定,预测又只是一行代码。这样,商业数据库(如包括Oracle,Netezza,Teradata,SAP HANA等)提供了R接口供统计分析人员进行高效实施。同样的,SAS和IBM SPSS也做到了一部分高效实施能力,他们没有的是R独有的庞大cran packages群。但相似的一点是,R的package群也把它的用户惯坏了,惯坏到这些人只是觉得这是一个SAS或者SPSS的免费版,而不是去通过 代码学习如何做机器学习哪怕一点点核心原理。你要做的,就是高效的最新结构化数据算法的实施。

最重要的是,从Hadoop上的数据加载到这些库,不仅保证了数据本身的正确性和结构化,也已经保证了数据模型的第二、第三范式化(CAErwin 的第一课),想做任何一个分析,你手边的数据库简单的join就形成了你需要的分析宽表。想想SQL里sum over的设计含义:为什么它要制造数据的冗余?那一定是为了BI或者分析存在的。

Hadoop:

Hadoop的应用场景不在于给统计分析软件提供强力的支持,而只是提供了一个分布式数据的泛用免费框架,基于键值对 (key value pair)高效的对原始 非结构化数据 进行存储。

结构化和非结构化数据库结合的R+Hadoop看起来很美,实则困难重重。我的看法是,任何一家在数据分析领域(Text Mining暂时除外,见后)决定以一个稳健的态度涉足的企业,都无一例外的基于数据强一致性的考虑,选择传统的结构化数据库作为后续结构化分析的依托 —— 哪怕他们是收费的。如果习惯代码开发,Hadoop+python自己做初步的数据处理,而后使用基于java的Mahout是一个很自然的选择。

R+Hadoop的幻觉:

不管什么和Hadoop结合,都喜欢以word count这种典型的键值对开始。事实上R可以做这件事,但是觉得R做的无与伦比,就有点进入误区。还是那句R的美在于结构化数据 下无与伦比的单位代码产出量。一旦你发现你作为专注于数据的分析师,同时也是一个并不骨灰的代码开发者,开始用R操作列表和数据结构,开始用R重写Mapper和Reducer,你就会产生一个疑问:

为嘛不学Java、Python?这种分析“不传统”,就算你不想学吧,为嘛不找懂它们的人来干?

Python基于键值对存储,也具有相当高的单位代码产出量,也有很多科学计算包。从这个意义上你可以做出一个白箱,单机缩水版的mahout,而且适合处理有增量算法的大数据学习(看看NumPy,SciPy,)。一样免费。

数据挖掘的幻觉:

数据挖掘是什么,很难吗?

广义的数据挖掘,包括数据分析和机器学习,只说最核心的数学概念的话,估计就几句话;恰好R的简洁性也是能用几句话做完这几句话的:

0 数据清洗,标准化。和1-4,理解真实世界是相辅相成的

1 最先学的数学技巧是空间分解:LL’,PCA,SVD,回归以及L2/L0惩罚变种

2 再学最优化算法:L1惩罚回归,SVM

3 数据结构:决策树(列表类),词频统计(键值对或者字典类),FP-growth(一个树的加强版)。学到这,所谓“贝叶斯”根本就不能叫算法,只能叫一个指导思想。

4 模型集成:Adaboost,神经网络,bootstrap。对方法,对模型参数都能集成(大杂烩!)

任何一个听起来很装逼的算法,逃不过被解析成这4类方法组合的命运。

可以看到,大数据分析的瓶颈在哪?

第0步,和曾经的大Boss讨论过,传统行业数据仓库实施起码还能打10年,而”实体-关系”概念和”键-值”概念这两种抽象起码还能打30年,数据的组织,过滤,元数据维护都是数据产生价值的必经之路,这方面的工作很枯燥但是很基础,大数据和传统数据都需要;

第1步是最基本最重要的分析手段,也最容易在大数据语境下导致单机无法分析的亿阶稀疏大矩阵产生:例1,用户User对商品SKU的购买记录,;例 2,在特定的经纬度,特定的时间,特定的用户发生了动作;这两个例子是典型的“汇总还不如不汇总”的情况,必须要有分布式稀疏矩阵处理技术;

第2步,序贯MCMC的串行性可以通过并行集成方法模拟,但是收敛性还仍然较低,需要暴力并行堆FLOPS;对应的,因为SVM/Lasso都有增 量算法、分布式算法方案,核心思想在于“世界的真实,模型的本质,都是稀疏的”,锁少量资源,分布式地更新模型系数或者是梯度,这些算法在理论上得到突破 后,往往依赖分析型数据库或者大数据平台 灵活的并发调度,灵活的行列混合存储模式 ,这一点是单机、小集群、传统数据库难以企及的;

第3、4步,这里虽然举了很简单的例子,但这些是在数学模型和数据模型上是最没有开发压力的,需要关心的只是资深程序员的功底了。举例说明,文本挖 掘(NLP)统计完词频你还是得会空间里做PCA(或者其他形式的大矩阵加工);如果不然,只引入HMM模型和基础字典树的话,学习成本就只有学习贝叶斯 理论了,并且仍然可以高效并行的解决NLP问题,有兴趣的可以参考Viterbi算法和CRF算法。

本文来自企鹅号 - 科技大咖汇媒体

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python&机器学习之项目实践

    文章节选自《机器学习——Python实践》 文末评论赠送本书,欢迎留言! 机器学习是一项经验技能,经验越多越好。在项目建立的过程中,实践是掌握机器学习的最佳手段...

    企鹅号小编
  • TOP 10:初学者需要掌握的10大机器学习算法

    来源:kdnuggets 编译:Bot ? 编者按:2016年知名数据科学专业平台KDnuggets在网站上列出了10大开发者必备的机器学习算法排名,受到众多读...

    企鹅号小编
  • 机器学习:算法及工具

    算法及工具 ? 说明 编程语言:Python 机器环境:Windows 参考书籍:《Python机器学习实践指南》《机器学习实战》 为什么使用Python 1....

    企鹅号小编
  • 视频中的深度学习

    视频分级介绍 视频分析是计算机视觉领域中的一项重要研究内容。它借助计算机和视频采集设备,在无人监督的情况下,自动完成人类视觉的部分功能。对人类视觉皮层机理的研...

    计算机视觉研究院
  • 仪表盘图表

    很抱歉最近几天骨折忙考试,连着四天都没有自己写教程了,不过为了不辜负大家对小魔方的期待,我也是精挑细选从哪些活跃的PPT达人那里转载了几篇关于PPT图文排版的帖...

    数据小磨坊
  • Spring Boot 注解大全,真是太全了!

    @SpringBootApplication:包含了@ComponentScan、@Configuration和@EnableAutoConfiguration...

    Java技术栈
  • AdaBoost--从原理到实现

    对于Adaboost,可以说是久闻大名,据说在Deep Learning出来之前,SVM和Adaboost是效果最好的 两个算法,而Adaboost是提升树(...

    bear_fish
  • 基于NiFi+Spark Streaming的流式采集

    在实际生产中,我们经常会遇到类似kafka这种流式数据,并且原始数据并不是我们想要的,需要经过一定的逻辑处理转换为我们需要的数据。鉴于这种需求,本文采用NiFi...

    jemuelmiao
  • AdaBoost--从原理到实现

    一.引入 对于Adaboost,可以说是久闻大名,据说在Deep Learning出来之前,SVM和Adaboost是效果最好的 两个算法,而...

    机器学习AI算法工程
  • JavaWeb三层结构---课设02

    收获总结 1三层架构模式 区分层次的目的即为了“高内聚,低耦合”的思想 ? 分层介绍: Javaweb设计分为三层:数据访问层,业务逻辑层和表示层。 数据访问层...

    用户1631856

扫码关注云+社区

领取腾讯云代金券