为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案?

作者:王威扬 文思海辉技术有限公司数据挖掘解决方案经理

知乎 https://www.zhihu.com/question/22145076/answer/20695402

众所周知,R 在解决统计学问题方面无与伦比。但是 R 在数据量达到 2G 以上速度就很慢了,于是就催生出了与 Hadoop 相结合跑分布式算法这种解决方案,但是,python+Hadoop 这样的解决方案有没有团队在使用?R 这样起源于统计学的计算机包与 Hadoop 相结合会不会出问题?

因为他们在不懂R和Hadoop的特征应用场景的情况下,恰好抓到了一根免费,开源的稻草。 R: R的应用场景不在于无与伦比的统计学习能力,而在于结构化数据下无与伦比的单位代码产出量。神经网络,决策树等基于结构化数据的算法一行代码搞定,预测又只是一行代码。这样,商业数据库(如包括Oracle,Netezza,Teradata,SAP HANA等)提供了R接口供统计分析人员进行高效实施。 同样的,SAS和IBM SPSS也做到了一部分高效实施能力,他们没有的是R独有的庞大cran packages群。但相似的一点是,R的package群也把它的用户惯坏了,惯坏到这些人只是觉得这是一个SAS或者SPSS的免费版,而不是去通过代码学习如何做机器学习哪怕一点点核心原理。你要做的,就是高效的最新结构化数据算法的实施。 最重要的是,从Hadoop上的数据加载到这些库,不仅保证了数据本身的正确性和结构化,也已经保证了数据模型的第二、第三范式化(CAErwin的第一课),想做任何一个分析,你手边的数据库简单的join就形成了你需要的分析宽表。想想SQL里sum over的设计含义:为什么它要制造数据的冗余?那一定是为了BI或者分析存在的。 Hadoop: Hadoop的应用场景不在于给统计分析软件提供强力的支持,而只是提供了一个分布式数据的泛用免费框架,基于键值对(key value pair)高效的对原始非结构化数据进行存储。

传统方式下目测可以做到对连续型数值、离散型数值、字符串、大型字符串BLOB、地理信息(二维点,多边形)的存储,Hadoop相当于直接把很多功能扩展:比如Hive作为一个基本工具,直接提供了更广泛的数据类型存储方案:数组(array),结构体(struct),键值对(map)等。 业务场景:我存储一篇文章不再需要一坨文字灌进去,先做NLP解析,然后形成 (词,词性)的元组,再组成长数组(Array)即可方便的存储、分析,以及利用内置UDF、自写UDF对复杂结构行转列,提取信息。(当然,将NLP解析本身整合在UDF甚至算法中都是可行的,如PySpark) 如果你至今觉得非结构化数据,键值对是一种卖弄概念,我就换一个至简的说法:一个只有两列的数据表。两列的mn*2和多列m*n数据表是可以在一定加工代价下互转的。这种数据结构被大量应用于Java,C++,Python甚至JavaScript中,当你看见类似Hashmap,Hashtable,dict,map等字眼,那就是这货没跑了:经过设计,用于存储的(key)被散列后决定了它能够被均匀地分布式存储,值(value)是键的跟班,随着键被存储。

对于非结构化数据而言,元数据和数据不像方表,极其容易抽象出来(无非就是列名和方表的内容)。初看一个半结构化的Json/XML,元数据出现在(key)中,数据出现在(value)中,容易理解。但在解析其他类型数据,(如网络日志Url),里的所谓元数据才是要分析的对象(一个用户反复的使用price=xxx做查询条件,说明价格敏感,有可能xxx取了好多值甚至所有可能值,key却很少,可能只有price和brand;此时用户行为模式出现在key里了。) 结构化和非结构化数据库结合的R+Hadoop看起来很美,实则困难重重。我的看法是,任何一家在数据分析领域(文本挖掘暂时除外,理由在业务场景里描述过)决定以一个稳健的态度涉足的企业,都无一例外的基于数据强一致性的考虑,选择传统的结构化数据库作为后续结构化分析的依托—— 哪怕他们是收费的。如果习惯代码开发,Hadoop+python自己做初步的数据处理,而后使用基于java的Mahout是一个很自然的选择:其提供的矩阵计算(SVD),迭代式聚类算法(如Kmeans),基于图的迭代模型(一个例子是PageRank算法,值中存的也是Key),以及集成决策树等模型,在分布式场景下是顺理成章完成的,而R则会像一个跟班,很难找到它的应用场景。一样具有较高编码效率的Python可以更加灵活、优美(缩进的意义上)的继承mrjob类完成相应功能,在数据尝试性探索这一步,matplotlib产出报告恐怕是不如R+knitr+ggplot2更能取悦老板,但一旦需要阶段性的测试,Python这种胶水语言或者一步到位的使用Java开发显得更接地气,更容易落地。 (关于落地性,再小小吐槽一下R在Windows和Linux两个平台下能够使用的包范围是不同的,尤其是使用Rcpp或者并行包的时候。Python和Java则不常见到这种问题) R+Hadoop的幻觉: 不管什么和Hadoop结合,都喜欢以word count这种典型的键值对开始。事实上R可以做这件事,但是觉得R做的无与伦比,就有点进入误区。还是那句R的美在于结构化数据下无与伦比的单位代码产出量。一旦你发现你作为专注于数据的分析师,同时也是一个并不骨灰的代码开发者,开始用R操作列表和数据结构,开始用R重写Mapper和Reducer,你就会产生一个疑问: 为嘛不学Java、Python?这种分析“不传统”,就算你不想学吧,为嘛不找懂它们的人来干? Python基于键值对存储,也具有相当高的单位代码产出量,也有很多科学计算包。从这个意义上你可以做出一个白箱,单机缩水版的mahout,而且适合处理有增量算法的大数据学习(看看NumPy,SciPy,)。一样免费。 数据挖掘的幻觉: 数据挖掘是什么,很难吗? 广义的数据挖掘,包括数据分析和机器学习,只说最核心的数学概念的话,估计就几句话;恰好R的简洁性也是能用几句话做完这几句话的: 0 、 数据清洗,标准化。和1-4,理解真实世界是相辅相成的

1 、最先学的数学技巧是空间分解:LL',PCA,SVD,一般回归以及L2/L0惩罚变种;从信息论角度讲信息流压缩(有名如LZ及变种LZO);SVM用到的RBF也算基提取技巧。

2 、再学最优化算法:L1惩罚回归,SVM(使用的Newton-Raphson/Gauss-Newton/Levenberg-Marquadt(还是1的内容!);MonteCarlo Markov Chain

3 、数据结构:决策树(列表类),词频统计(键值对或者字典类),FP-growth(一个树的加强版)。学到这,所谓“贝叶斯”根本就不能叫算法,只能叫一个无处不在的指导思想。

4 、模型集成:Adaboost,神经网络,bootstrap。集成时,权重技巧和惩罚技巧我的理解是不可割裂。但这个思想对方法,对模型参数都能集成,大杂烩。1个超级精妙的模型不如200个良好理解了问题性质的土鳖模型更实用。 任何一个听起来很装逼的算法,逃不过被解析成这4类方法组合的命运。参数调优这种不提纲挈领的问题,确实需要结合时间成本人力成本看(研究者,学生,码农的成本和投入量完全不一样) 可以看到,大数据分析的瓶颈在哪?

第0步,和曾经的大Boss讨论过,传统行业数据仓库实施起码还能打10年,而"实体-关系"概念和"键-值"概念这两种抽象起码还能打30年,数据的组织,过滤,元数据维护都是数据产生价值的必经之路,这方面的工作很枯燥但是很基础,大数据和传统数据都需要;

第1步是最基本最重要的分析手段,也最容易在大数据语境下导致单机无法分析的亿阶稀疏大矩阵产生:例1,用户User对商品SKU的购买记录;例2,在特定的经纬度,特定的时间,特定的用户发生了动作;这两个例子是典型的“查询简单分析难,汇总还不如不汇总”的情况,必须要有分布式稀疏矩阵处理技术; 第2步,序贯MCMC的串行性可以通过并行集成方法模拟,但是收敛性还仍然较低,需要暴力并行堆FLOPS;对应的,因为SVM/Lasso都有增量算法、分布式算法方案,核心思想在于“世界的真实,模型的本质,都是稀疏的”,锁少量资源,分布式地更新模型系数或者是梯度,这些算法在理论上得到突破后,往往依赖分析型数据库或者大数据平台灵活的并发调度,灵活的行列混合存储模式,这一点是单机、小集群、传统数据库难以企及的;

第3、4步,这里虽然举了很简单的例子,但这些是在数学模型和数据模型上是最没有开发压力的,需要关心的只是资深程序员的功底了。举例说明,文本挖掘(NLP)统计完词频你还是得会空间里做PCA(或者其他形式的大矩阵加工);如果不然,只引入HMM模型和基础字典树的话,学习成本就只有学习贝叶斯理论了,并且仍然可以高效并行的解决NLP问题,有兴趣的可以参考Viterbi算法和CRF算法。 大数据的幻觉:存储和计算的冲突 大数据处理,多大算大?像我说的,在3,4步出来的数据,原始数据很大,加工汇总完了很小,或者处理起来是高度独立的。分布式存储不影响分析,说是大数据,其实和小数据处理没差别。 需要随时交换资源的聚类,回归,SVD,PCA,QR,LU等关系到矩阵分解的计算甚至是高效访问,更进一步还有热数据在内存上而不是物理存储上的多次迭代,这才是大数据真正的挑战。

那些有监督的分类树,把数据集切成1000份并且有冗余的给500台机器每台3-5份数据最后得到集成的分类结果,我很难称其为“大数据计算技术”,它的本质和挖矿机每秒能做无数个高度同质化的hash计算一样,不需要资源交换,不需要大量通信,它只是“小数据+独立运算后直接能够整合结果”的范围内打转。 数据在物理存储、内存、甚至显存的原地迭代会带来数据重分布;在传统数仓领域数据,重分布其实是对未来效率提高预期的妥协,且里面含有比较多对传统业务稳定数据架构的理解。 大数据时代明显不存在什么数据仓库ER模型稳定性,不知道大家有没有这种体验:一个新需求,一个全新的不着边际的研究性问题的场景下,就能建个新库来进行探索与数据加工整理,数据挖掘。各自为政,实验容易,落地与整合困难。—— 这个情况下如果要频繁走物理存储的话,基于key的重新分布会让数据像煮沸的一锅粥大量占用网络与IO写入带宽,与传统数据库性能的巨大鸿沟是无法回避的问题。因此在这个场景下,Spark、Storm、GPU计算火起来,如Scala、Clojure、Python等含有FP概念的语言走得越来越靠近开发工程师的视线,较高级的封装工具如图模型计算的GraphSQL等组件也浮出水面。而且说句实话,Map(映射)和Reduce(规约)在这些语言中,已经是老的掉了好多年牙的概念了。

(FP:Functional Programming我反对翻译成函数式编程,这明明是泛函编程) 大数据概念引入这件事儿是大炮打蚊子——内存内的分析和数据探索,展现(单节点): *从数据记录条数讲: 百万级,R的上限; 千万级-亿级,SAS的上限; 千万级,Python的上限; *我的使用经验,从数据占用内存的效率讲:加载400M数据会使得 Python(Numpy列存)占用内存500M R(我谨慎猜测是行存列存和二维表三样都存一份)加载占内存2G SAS(行存)占用600M,经过表级压缩(依然是行存)150M *后续的原始处理 尤其是字符串操作这种数据清洗,R几乎不能做,精通shell及regexp的人又做的太容易。 若想用R,这就需要你输入到R的数据几乎就能直接开始跑分析了。若不信邪,我推荐你用readLines加上strsplit来操作读入R的文件,看看他数据清洗的效率和read.delim,和SAS proc import 以及 Python的with as语法相差多少。 *展现方案: 只要数据量低于刚才提到的限度,R又提供了最好的展现方案,因为“展现方案是专用而非泛用”的:

a. Hadley最著名的R包之一ggplot2未来会引入SVG等可交互元素。一个具有d3.js可视化特性的绘图包还不让你震惊吗?

b. 百度echarts团队项目被taiyun包装成recharts放在了github上

c. 已经加入RStudio的R统计达人Yihui Xie的作品knitr,能够使用markdown语法动态将数据挖掘结果,图片,视频生成打包放进html或者pdf文档。 说说对手: a. R要比Python现有的可视化包(以matplotlib和pygame为主)更友好,更易于操作。 b. 虽然让从来没接触过前端的人沉浸在用Chrome即可调试的JavaScript里面不太科学,但我爱不释手,而且其核心的展现方式确实未来会加入R。 c. Java风格的Processing,无缝调用java库,封装大量java图形函数、视频相关API、鼠标响应API,可以导出java applet或port成js代码;搞大数据的人必然熟悉java开发,可以几乎0成本又高效快速的使用它。 这几种工具确实各有所长,我个人无法取舍,但平心而论,R是学习门槛、编码效率和产出效果同时最出色的(个人经历原因无法对SAS VA,Tableau,Flex或更一般的BI展现工具置评,其受众因为软件成本,落地性不够等原因,我缺乏使用它们的经验,它们也缺乏对我的吸引力) 归纳下我的理解,R的产出报告类似html+javascript+CSS一样,是适合轻量分析,轻量展现的。 大数据干这件事儿是正道——非结构化大数据批量或者迭代处理: 你的算法已经走到了“万事俱备,只差跑全量” 这样一个对手中的数据很了解的地步了。Wiki 对Revolution Analytics的介绍讲:R didn't natively handle datasets larger than main memory,这么灵活小巧的工具做个抽样数据分析明明是很好的。 非结构化大数据应用的场景只能是: -你很懂数据分布的细节(也许是项目经验,也许是R上已经做过抽样探索) -问题适合的算法你了然于胸;增量算法存在;暴力并行计算(矩阵计算,图迭代)没问题 -你觉得把类似Mahout计算的步骤经过代码包装交付给R来做没问题 -你完全不care交互式探索 这是你需要的R应用场景么?或者换一种说法,这种应用场景R有什么优势?调用编译好的cpp库,fortran库是R发挥优势的地方吗?要知道算法效率排名上R<java<C++。算法月内要上线,自己看着办。 说下鄙team(一个不是专业做数据挖掘的数据部门)的经验: 讲了半天R+Hadoop,不上Mahout,随便搞搞RSnow,准备买SAS。 因为我会SAS(少量用Macro,没用过矩阵,因为没必要)和R(没有学习成本),Python的并行包pp使用中,考虑mahout。 更新:当大数据平台用户不满足于存储,简单加工以及成型算法实施,也开始关注最小查询、交互式探索效率了,诸如Spark的内存解决方案将会更合适。 现team是一个同事至少是硕士(统计/金融/计算机),专做金融行业数据挖掘的小团队。能力和业务场景可以供参考。 * SAS能力覆盖面95%(具备核心价值的数据在服务器上能够处理的量很少超过上亿,主推SAS) * Python和R覆盖面都在70%+ * Hadoop/大数据概念淡:客户有足够的Teradata、Oracle、SAS服务器 * Hive/Spark:Hive做辅助、灵活仓储,PySpark作为一个可以预期、稳定的数据挖掘平台的接点 结束语: 顺便也给数学系、统计系的数据分析师,以及他们的领导们提醒一句:如果员工A有员工B没有的代码开发能力,R又完全替员工B把数学的事情做完了,形成了依赖,那员工B存在的意义是什么?强调数学理论这么一点点优势也都不复存在了。 机器学习算法在不同的阶段适合使用不同的工具,研究和使用接不上也就算了,千万别连工具适合的环境都不懂,作为互联网从业者,这就太盲从了。 精英的研究者是自己做开发的——这话也可以这么说,精英的开发者们自己做研究。每一个模型都不完美,何况新问题涌现的越来越快,现存的模型很可能不满足你的分析需要。所以才要一边扎实理论,以最少的尝试嗅到最适合问题的算法,一边以开放的心态接纳和理解新技术的应用场景,深入发展数据挖掘研究,从代码优化改造(山寨)走向技术原创。 一个不好的消息是,不管是从http://indeed.com职位Post、搜索还是行业生命周期研究看,大数据这几个字正在迅速退掉金色,其名字的价值泡沫正在逐步被挤出。抓住技术的重点与技术适合的场景,对个人以及对行业都是磨刀不误砍柴工的事情。 2年左右的时间里并没有新技术的涌现,但是有成熟技术的沉淀以及轮子化。我之前认为的Spark只管分发数据,启动Python跑脚本(跑CUDA C程序或者别的什么东西方法大同小异)的这种我一开始认为其实有些不伦不类,追求速度的尝试模式,现在竟然已经绕过了Hadoop自成一种模式了。而且,Spark的功能进一步从分发数据退化到了分发算法参数?!(有个例外,Spark跑图模型算法无法仅仅分发参数) PySpark机制:https://cwiki.apache.org/confluence/display/SPARK/PySpark+Internals 这几乎已经说明了数据科学只要快。几乎无法容忍I/O,勉强容忍大量的分布式内存数据交换,要是拿到GPU上去,数据频繁的通过PCIE交换,早晚也是要被否。 伴随着我个人在数据科学上的认知逐渐脱离浅薄、Follow很多深度学习大神(我认为DL已经形成了新的框架了,本文所述的机器学习就当作基础入门来讨论吧)的工作以及对架构设计更有兴趣之后,我觉得现在大家可以直接看Continuum Analytics这家公司Anaconda的平台产品布局了。自行观看 Learn more about Anaconda 这个链接中的Platform Data Sheet。 反过来看我这篇回答其实很可笑,2年的时间就能够让当时不少我认为存在迷雾的东西变得清晰很多。 R现在的定位是什么?科学计算领域好玩的玩具Julia,Lua满地都是,愿意砸时间的人随时随地都能用轮子搞出东西来。—— 但你别忘了很多提供轮子的大神是写着C++给你们造玩具的。 玩具对技术模式变革的作用就是拉动性的,能不能拉动那要看老板玩心重不重。 脱离好玩上升到企业战略发展层面,大量草根初创的CTO带着最守旧的方案和最守旧的那一批开发者受到动荡的新业务冲击,旧有模式其不经济性逐渐被发现,并且有了模块化的替代方案。身边有很多并不大神,但接地气儿的开发者。这里面,很难有人Python/JavaScript/GoLang 三者都一窍不通。 追求经济性对技术模式变革的作用是推动性的。大家都在沉淀,玩票都在失去空间。不推就死。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2016-02-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏吉浦迅科技

GOAI发布用于 GPU分析的Python 数据框架

一支由数据分析供应商组成的团体今天在GPU技术大会上共同提出了GPU开源分析倡议(GOAI),旨在培育以GPU来进行数据科学和深度学习方面工作的社群。该团体...

3109
来自专栏CDA数据分析师

驾驭机器学习的13种框架

想大胆尝试机器学习?这些工具可以为你处理繁重的任务。 驾驭机器学习的13种框架 ? 在去年,机器学习以前所未有的势头进入主流。对这股潮流起到推波助澜的不单单是成...

18010
来自专栏吉浦迅科技

NVIDIA NVLink 崭新连接方式 较 PCIe 界面更具效率

本周美国能源署宣布计划打造两部搭载 NVIDIA GPU 加速器的超级计算机,每秒运算速度将可达 100 petaflops , NVIDIA 并正为超级计算...

2758
来自专栏PPV课数据科学社区

不懂这25个名词,好意思说你懂大数据?

如果你刚接触大数据,你可能会觉得这个领域很难以理解,无从下手。近日,Ramesh Dontha在DataConomy上连发两篇文章,扼要而全面地介绍了关于大数据...

2597
来自专栏华章科技

不懂这25个名词,好意思说你懂大数据?

算法可以理解成一种数学公式或用于进行数据分析的统计学过程。那么,「算法」又是何以与大数据扯上关系的呢?要知道,尽管算法这个词是一个统称,但是在这个流行大数据分析...

553
来自专栏大数据文摘

日处理数亿次请求的工作推荐引擎是如何演化的?

1546
来自专栏AI研习社

【头条】谷歌发布全新TensorFlow 库tf.Transform;百度将Ring Allreduce算法引入深度学习

谷歌发布全新 TensorFlow 库“tf.Transform” 谷歌表示,tf.Transform 将改善 TensorFlow 的数据预处理和格式转化难题...

3114
来自专栏数据派THU

【干货】完结篇:英特尔中国研究院院长吴甘沙演讲全文

本文共17500字,建议阅读时间20分钟 本文为清华大数据产业联合会"技术•前沿"系列讲座的第一讲,主讲人为英特尔(中国)研究院院长吴甘沙。 内容摘要 1、领先...

1859
来自专栏华章科技

在机器学习方面使用 R + Hadoop 方案真的有那么好?

因为他们在不懂R和Hadoop的特征应用场景的情况下,恰好抓到了一根免费,开源的稻草。

843
来自专栏钱塘大数据

不懂这25个名词,好意思说你懂大数据?

作者:机器之心 如果你刚接触大数据,你可能会觉得这个领域很难以理解,无从下手。近日,Ramesh Dontha在DataConomy上连发两篇文章,扼要而全面地...

35611

扫描关注云+社区