为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案?

作者:王威扬 文思海辉技术有限公司数据挖掘解决方案经理

知乎 https://www.zhihu.com/question/22145076/answer/20695402

众所周知,R 在解决统计学问题方面无与伦比。但是 R 在数据量达到 2G 以上速度就很慢了,于是就催生出了与 Hadoop 相结合跑分布式算法这种解决方案,但是,python+Hadoop 这样的解决方案有没有团队在使用?R 这样起源于统计学的计算机包与 Hadoop 相结合会不会出问题?

因为他们在不懂R和Hadoop的特征应用场景的情况下,恰好抓到了一根免费,开源的稻草。 R: R的应用场景不在于无与伦比的统计学习能力,而在于结构化数据下无与伦比的单位代码产出量。神经网络,决策树等基于结构化数据的算法一行代码搞定,预测又只是一行代码。这样,商业数据库(如包括Oracle,Netezza,Teradata,SAP HANA等)提供了R接口供统计分析人员进行高效实施。 同样的,SAS和IBM SPSS也做到了一部分高效实施能力,他们没有的是R独有的庞大cran packages群。但相似的一点是,R的package群也把它的用户惯坏了,惯坏到这些人只是觉得这是一个SAS或者SPSS的免费版,而不是去通过代码学习如何做机器学习哪怕一点点核心原理。你要做的,就是高效的最新结构化数据算法的实施。 最重要的是,从Hadoop上的数据加载到这些库,不仅保证了数据本身的正确性和结构化,也已经保证了数据模型的第二、第三范式化(CAErwin的第一课),想做任何一个分析,你手边的数据库简单的join就形成了你需要的分析宽表。想想SQL里sum over的设计含义:为什么它要制造数据的冗余?那一定是为了BI或者分析存在的。 Hadoop: Hadoop的应用场景不在于给统计分析软件提供强力的支持,而只是提供了一个分布式数据的泛用免费框架,基于键值对(key value pair)高效的对原始非结构化数据进行存储。

传统方式下目测可以做到对连续型数值、离散型数值、字符串、大型字符串BLOB、地理信息(二维点,多边形)的存储,Hadoop相当于直接把很多功能扩展:比如Hive作为一个基本工具,直接提供了更广泛的数据类型存储方案:数组(array),结构体(struct),键值对(map)等。 业务场景:我存储一篇文章不再需要一坨文字灌进去,先做NLP解析,然后形成 (词,词性)的元组,再组成长数组(Array)即可方便的存储、分析,以及利用内置UDF、自写UDF对复杂结构行转列,提取信息。(当然,将NLP解析本身整合在UDF甚至算法中都是可行的,如PySpark) 如果你至今觉得非结构化数据,键值对是一种卖弄概念,我就换一个至简的说法:一个只有两列的数据表。两列的mn*2和多列m*n数据表是可以在一定加工代价下互转的。这种数据结构被大量应用于Java,C++,Python甚至JavaScript中,当你看见类似Hashmap,Hashtable,dict,map等字眼,那就是这货没跑了:经过设计,用于存储的(key)被散列后决定了它能够被均匀地分布式存储,值(value)是键的跟班,随着键被存储。

对于非结构化数据而言,元数据和数据不像方表,极其容易抽象出来(无非就是列名和方表的内容)。初看一个半结构化的Json/XML,元数据出现在(key)中,数据出现在(value)中,容易理解。但在解析其他类型数据,(如网络日志Url),里的所谓元数据才是要分析的对象(一个用户反复的使用price=xxx做查询条件,说明价格敏感,有可能xxx取了好多值甚至所有可能值,key却很少,可能只有price和brand;此时用户行为模式出现在key里了。) 结构化和非结构化数据库结合的R+Hadoop看起来很美,实则困难重重。我的看法是,任何一家在数据分析领域(文本挖掘暂时除外,理由在业务场景里描述过)决定以一个稳健的态度涉足的企业,都无一例外的基于数据强一致性的考虑,选择传统的结构化数据库作为后续结构化分析的依托—— 哪怕他们是收费的。如果习惯代码开发,Hadoop+python自己做初步的数据处理,而后使用基于java的Mahout是一个很自然的选择:其提供的矩阵计算(SVD),迭代式聚类算法(如Kmeans),基于图的迭代模型(一个例子是PageRank算法,值中存的也是Key),以及集成决策树等模型,在分布式场景下是顺理成章完成的,而R则会像一个跟班,很难找到它的应用场景。一样具有较高编码效率的Python可以更加灵活、优美(缩进的意义上)的继承mrjob类完成相应功能,在数据尝试性探索这一步,matplotlib产出报告恐怕是不如R+knitr+ggplot2更能取悦老板,但一旦需要阶段性的测试,Python这种胶水语言或者一步到位的使用Java开发显得更接地气,更容易落地。 (关于落地性,再小小吐槽一下R在Windows和Linux两个平台下能够使用的包范围是不同的,尤其是使用Rcpp或者并行包的时候。Python和Java则不常见到这种问题) R+Hadoop的幻觉: 不管什么和Hadoop结合,都喜欢以word count这种典型的键值对开始。事实上R可以做这件事,但是觉得R做的无与伦比,就有点进入误区。还是那句R的美在于结构化数据下无与伦比的单位代码产出量。一旦你发现你作为专注于数据的分析师,同时也是一个并不骨灰的代码开发者,开始用R操作列表和数据结构,开始用R重写Mapper和Reducer,你就会产生一个疑问: 为嘛不学Java、Python?这种分析“不传统”,就算你不想学吧,为嘛不找懂它们的人来干? Python基于键值对存储,也具有相当高的单位代码产出量,也有很多科学计算包。从这个意义上你可以做出一个白箱,单机缩水版的mahout,而且适合处理有增量算法的大数据学习(看看NumPy,SciPy,)。一样免费。 数据挖掘的幻觉: 数据挖掘是什么,很难吗? 广义的数据挖掘,包括数据分析和机器学习,只说最核心的数学概念的话,估计就几句话;恰好R的简洁性也是能用几句话做完这几句话的: 0 、 数据清洗,标准化。和1-4,理解真实世界是相辅相成的

1 、最先学的数学技巧是空间分解:LL',PCA,SVD,一般回归以及L2/L0惩罚变种;从信息论角度讲信息流压缩(有名如LZ及变种LZO);SVM用到的RBF也算基提取技巧。

2 、再学最优化算法:L1惩罚回归,SVM(使用的Newton-Raphson/Gauss-Newton/Levenberg-Marquadt(还是1的内容!);MonteCarlo Markov Chain

3 、数据结构:决策树(列表类),词频统计(键值对或者字典类),FP-growth(一个树的加强版)。学到这,所谓“贝叶斯”根本就不能叫算法,只能叫一个无处不在的指导思想。

4 、模型集成:Adaboost,神经网络,bootstrap。集成时,权重技巧和惩罚技巧我的理解是不可割裂。但这个思想对方法,对模型参数都能集成,大杂烩。1个超级精妙的模型不如200个良好理解了问题性质的土鳖模型更实用。 任何一个听起来很装逼的算法,逃不过被解析成这4类方法组合的命运。参数调优这种不提纲挈领的问题,确实需要结合时间成本人力成本看(研究者,学生,码农的成本和投入量完全不一样) 可以看到,大数据分析的瓶颈在哪?

第0步,和曾经的大Boss讨论过,传统行业数据仓库实施起码还能打10年,而"实体-关系"概念和"键-值"概念这两种抽象起码还能打30年,数据的组织,过滤,元数据维护都是数据产生价值的必经之路,这方面的工作很枯燥但是很基础,大数据和传统数据都需要;

第1步是最基本最重要的分析手段,也最容易在大数据语境下导致单机无法分析的亿阶稀疏大矩阵产生:例1,用户User对商品SKU的购买记录;例2,在特定的经纬度,特定的时间,特定的用户发生了动作;这两个例子是典型的“查询简单分析难,汇总还不如不汇总”的情况,必须要有分布式稀疏矩阵处理技术; 第2步,序贯MCMC的串行性可以通过并行集成方法模拟,但是收敛性还仍然较低,需要暴力并行堆FLOPS;对应的,因为SVM/Lasso都有增量算法、分布式算法方案,核心思想在于“世界的真实,模型的本质,都是稀疏的”,锁少量资源,分布式地更新模型系数或者是梯度,这些算法在理论上得到突破后,往往依赖分析型数据库或者大数据平台灵活的并发调度,灵活的行列混合存储模式,这一点是单机、小集群、传统数据库难以企及的;

第3、4步,这里虽然举了很简单的例子,但这些是在数学模型和数据模型上是最没有开发压力的,需要关心的只是资深程序员的功底了。举例说明,文本挖掘(NLP)统计完词频你还是得会空间里做PCA(或者其他形式的大矩阵加工);如果不然,只引入HMM模型和基础字典树的话,学习成本就只有学习贝叶斯理论了,并且仍然可以高效并行的解决NLP问题,有兴趣的可以参考Viterbi算法和CRF算法。 大数据的幻觉:存储和计算的冲突 大数据处理,多大算大?像我说的,在3,4步出来的数据,原始数据很大,加工汇总完了很小,或者处理起来是高度独立的。分布式存储不影响分析,说是大数据,其实和小数据处理没差别。 需要随时交换资源的聚类,回归,SVD,PCA,QR,LU等关系到矩阵分解的计算甚至是高效访问,更进一步还有热数据在内存上而不是物理存储上的多次迭代,这才是大数据真正的挑战。

那些有监督的分类树,把数据集切成1000份并且有冗余的给500台机器每台3-5份数据最后得到集成的分类结果,我很难称其为“大数据计算技术”,它的本质和挖矿机每秒能做无数个高度同质化的hash计算一样,不需要资源交换,不需要大量通信,它只是“小数据+独立运算后直接能够整合结果”的范围内打转。 数据在物理存储、内存、甚至显存的原地迭代会带来数据重分布;在传统数仓领域数据,重分布其实是对未来效率提高预期的妥协,且里面含有比较多对传统业务稳定数据架构的理解。 大数据时代明显不存在什么数据仓库ER模型稳定性,不知道大家有没有这种体验:一个新需求,一个全新的不着边际的研究性问题的场景下,就能建个新库来进行探索与数据加工整理,数据挖掘。各自为政,实验容易,落地与整合困难。—— 这个情况下如果要频繁走物理存储的话,基于key的重新分布会让数据像煮沸的一锅粥大量占用网络与IO写入带宽,与传统数据库性能的巨大鸿沟是无法回避的问题。因此在这个场景下,Spark、Storm、GPU计算火起来,如Scala、Clojure、Python等含有FP概念的语言走得越来越靠近开发工程师的视线,较高级的封装工具如图模型计算的GraphSQL等组件也浮出水面。而且说句实话,Map(映射)和Reduce(规约)在这些语言中,已经是老的掉了好多年牙的概念了。

(FP:Functional Programming我反对翻译成函数式编程,这明明是泛函编程) 大数据概念引入这件事儿是大炮打蚊子——内存内的分析和数据探索,展现(单节点): *从数据记录条数讲: 百万级,R的上限; 千万级-亿级,SAS的上限; 千万级,Python的上限; *我的使用经验,从数据占用内存的效率讲:加载400M数据会使得 Python(Numpy列存)占用内存500M R(我谨慎猜测是行存列存和二维表三样都存一份)加载占内存2G SAS(行存)占用600M,经过表级压缩(依然是行存)150M *后续的原始处理 尤其是字符串操作这种数据清洗,R几乎不能做,精通shell及regexp的人又做的太容易。 若想用R,这就需要你输入到R的数据几乎就能直接开始跑分析了。若不信邪,我推荐你用readLines加上strsplit来操作读入R的文件,看看他数据清洗的效率和read.delim,和SAS proc import 以及 Python的with as语法相差多少。 *展现方案: 只要数据量低于刚才提到的限度,R又提供了最好的展现方案,因为“展现方案是专用而非泛用”的:

a. Hadley最著名的R包之一ggplot2未来会引入SVG等可交互元素。一个具有d3.js可视化特性的绘图包还不让你震惊吗?

b. 百度echarts团队项目被taiyun包装成recharts放在了github上

c. 已经加入RStudio的R统计达人Yihui Xie的作品knitr,能够使用markdown语法动态将数据挖掘结果,图片,视频生成打包放进html或者pdf文档。 说说对手: a. R要比Python现有的可视化包(以matplotlib和pygame为主)更友好,更易于操作。 b. 虽然让从来没接触过前端的人沉浸在用Chrome即可调试的JavaScript里面不太科学,但我爱不释手,而且其核心的展现方式确实未来会加入R。 c. Java风格的Processing,无缝调用java库,封装大量java图形函数、视频相关API、鼠标响应API,可以导出java applet或port成js代码;搞大数据的人必然熟悉java开发,可以几乎0成本又高效快速的使用它。 这几种工具确实各有所长,我个人无法取舍,但平心而论,R是学习门槛、编码效率和产出效果同时最出色的(个人经历原因无法对SAS VA,Tableau,Flex或更一般的BI展现工具置评,其受众因为软件成本,落地性不够等原因,我缺乏使用它们的经验,它们也缺乏对我的吸引力) 归纳下我的理解,R的产出报告类似html+javascript+CSS一样,是适合轻量分析,轻量展现的。 大数据干这件事儿是正道——非结构化大数据批量或者迭代处理: 你的算法已经走到了“万事俱备,只差跑全量” 这样一个对手中的数据很了解的地步了。Wiki 对Revolution Analytics的介绍讲:R didn't natively handle datasets larger than main memory,这么灵活小巧的工具做个抽样数据分析明明是很好的。 非结构化大数据应用的场景只能是: -你很懂数据分布的细节(也许是项目经验,也许是R上已经做过抽样探索) -问题适合的算法你了然于胸;增量算法存在;暴力并行计算(矩阵计算,图迭代)没问题 -你觉得把类似Mahout计算的步骤经过代码包装交付给R来做没问题 -你完全不care交互式探索 这是你需要的R应用场景么?或者换一种说法,这种应用场景R有什么优势?调用编译好的cpp库,fortran库是R发挥优势的地方吗?要知道算法效率排名上R<java<C++。算法月内要上线,自己看着办。 说下鄙team(一个不是专业做数据挖掘的数据部门)的经验: 讲了半天R+Hadoop,不上Mahout,随便搞搞RSnow,准备买SAS。 因为我会SAS(少量用Macro,没用过矩阵,因为没必要)和R(没有学习成本),Python的并行包pp使用中,考虑mahout。 更新:当大数据平台用户不满足于存储,简单加工以及成型算法实施,也开始关注最小查询、交互式探索效率了,诸如Spark的内存解决方案将会更合适。 现team是一个同事至少是硕士(统计/金融/计算机),专做金融行业数据挖掘的小团队。能力和业务场景可以供参考。 * SAS能力覆盖面95%(具备核心价值的数据在服务器上能够处理的量很少超过上亿,主推SAS) * Python和R覆盖面都在70%+ * Hadoop/大数据概念淡:客户有足够的Teradata、Oracle、SAS服务器 * Hive/Spark:Hive做辅助、灵活仓储,PySpark作为一个可以预期、稳定的数据挖掘平台的接点 结束语: 顺便也给数学系、统计系的数据分析师,以及他们的领导们提醒一句:如果员工A有员工B没有的代码开发能力,R又完全替员工B把数学的事情做完了,形成了依赖,那员工B存在的意义是什么?强调数学理论这么一点点优势也都不复存在了。 机器学习算法在不同的阶段适合使用不同的工具,研究和使用接不上也就算了,千万别连工具适合的环境都不懂,作为互联网从业者,这就太盲从了。 精英的研究者是自己做开发的——这话也可以这么说,精英的开发者们自己做研究。每一个模型都不完美,何况新问题涌现的越来越快,现存的模型很可能不满足你的分析需要。所以才要一边扎实理论,以最少的尝试嗅到最适合问题的算法,一边以开放的心态接纳和理解新技术的应用场景,深入发展数据挖掘研究,从代码优化改造(山寨)走向技术原创。 一个不好的消息是,不管是从http://indeed.com职位Post、搜索还是行业生命周期研究看,大数据这几个字正在迅速退掉金色,其名字的价值泡沫正在逐步被挤出。抓住技术的重点与技术适合的场景,对个人以及对行业都是磨刀不误砍柴工的事情。 2年左右的时间里并没有新技术的涌现,但是有成熟技术的沉淀以及轮子化。我之前认为的Spark只管分发数据,启动Python跑脚本(跑CUDA C程序或者别的什么东西方法大同小异)的这种我一开始认为其实有些不伦不类,追求速度的尝试模式,现在竟然已经绕过了Hadoop自成一种模式了。而且,Spark的功能进一步从分发数据退化到了分发算法参数?!(有个例外,Spark跑图模型算法无法仅仅分发参数) PySpark机制:https://cwiki.apache.org/confluence/display/SPARK/PySpark+Internals 这几乎已经说明了数据科学只要快。几乎无法容忍I/O,勉强容忍大量的分布式内存数据交换,要是拿到GPU上去,数据频繁的通过PCIE交换,早晚也是要被否。 伴随着我个人在数据科学上的认知逐渐脱离浅薄、Follow很多深度学习大神(我认为DL已经形成了新的框架了,本文所述的机器学习就当作基础入门来讨论吧)的工作以及对架构设计更有兴趣之后,我觉得现在大家可以直接看Continuum Analytics这家公司Anaconda的平台产品布局了。自行观看 Learn more about Anaconda 这个链接中的Platform Data Sheet。 反过来看我这篇回答其实很可笑,2年的时间就能够让当时不少我认为存在迷雾的东西变得清晰很多。 R现在的定位是什么?科学计算领域好玩的玩具Julia,Lua满地都是,愿意砸时间的人随时随地都能用轮子搞出东西来。—— 但你别忘了很多提供轮子的大神是写着C++给你们造玩具的。 玩具对技术模式变革的作用就是拉动性的,能不能拉动那要看老板玩心重不重。 脱离好玩上升到企业战略发展层面,大量草根初创的CTO带着最守旧的方案和最守旧的那一批开发者受到动荡的新业务冲击,旧有模式其不经济性逐渐被发现,并且有了模块化的替代方案。身边有很多并不大神,但接地气儿的开发者。这里面,很难有人Python/JavaScript/GoLang 三者都一窍不通。 追求经济性对技术模式变革的作用是推动性的。大家都在沉淀,玩票都在失去空间。不推就死。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2016-02-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏about云

大数据术语入门整理

问题导读 我们在学习的过程中经常听到一些术语,那么这些都是什么含义? 1.什么是大数据? 2.什么是数据分析? 3.什么是数据挖掘? 4.什么是数据可视化? 这...

3857
来自专栏企鹅号快讯

2017年Dataversity 最受欢迎文章 Top 20 榜单

引言 本文是 TalkingData 艺敏翻译自 DATAVERSITY 的一篇文章,总结了 DATAVERSITY 2017 年最受欢迎的 20 篇文章。 ?...

2178
来自专栏大数据文摘

手把手:R语言文本挖掘和词云可视化实践

2043
来自专栏逍遥剑客的游戏开发

VRDC2017: Eagle Flight Technical Postmortem

3946
来自专栏ATYUN订阅号

机器学习可以通过风格确定代码背后的程序员

自动化工具现在可以准确地识别论坛帖子的作者,只要他们有足够的训练数据可供使用。但是较新的研究表明,这也可以应用于人工语言样本,如代码。事实证明,软件开发人员也留...

1212
来自专栏钱塘大数据

【钱塘号】用R语言爬取美国总统的twitte进行数据分析

Twitter是一个流行的社交网络,这里有大量的数据等着我们分析。Twitter R包是对twitter数据进行文本挖掘的好工具。 本文是关于如何使用Twitt...

4097
来自专栏tkokof 的技术,小趣及杂念

音乐游戏&音频解析 ABC(下)

  首先我们应该先确定一下我们到底需要解析歌曲的哪些信息?歌名?作者?呵呵,都不是,我们要解析的应该是歌曲的“信号”属性(譬如歌曲的BPM)。然而歌曲的这些属性...

1031
来自专栏大前端开发

开源翻译中文版《深度学习(Deep Learning)》

深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。

685
来自专栏PPV课数据科学社区

【学习】大数据相关术语500例解释及中英文对照①

本文由36大数据编辑“陌上花”收集整理,转载必须标明来源36大数据和作者。 一、大数据 英文:big data,mega data 大数据,或称巨量资料,指的是...

3918
来自专栏PPV课数据科学社区

【工具】为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案?

引言:众所周知,R在解决统计学问题方面无与伦比。但是R在数据量达到2G以上速度就很慢了,于是就催生出了与Hadoop相结合跑分布式算法这种解决方案,但是,pyt...

2797

扫码关注云+社区