当深度学习遇见大数据:一文概览BDL学习框架

【导读】深度学习的出现让许多机器学习从业者将目光从Spark等大数据计算框架转移到了TensorFlow、PyTorch等深度学习框架上。然而,大数据框架与深度学习框架并不是相互排斥的关系,它们之间有很好的结合。本文介绍一些大数据框架与深度学习框架的结合体。

TensorFlowOnSpark


简介:Yahoo的TensorFlowOnSpark可以让你在Spark集群上使用TensorFlow,也就是说,你可以利用Spark充分利用集群中大量机器的资源,同时可以利用TensorFlow使用节点中GPU超强的计算能力。

项目地址:

https://github.com/yahoo/TensorFlowOnSpark

文档地址:

https://github.com/yahoo/TensorFlowOnSpark/wiki

CaffeOnSpark


简介:同样也是Yahoo出品的开源软件,与TensorFlowOnSpark类似,只不过使用的深度学习框架是Caffe。

项目地址:

https://github.com/yahoo/CaffeOnSpark

文档地址:

https://github.com/yahoo/CaffeOnSpark/wiki

elephas


简介:在Spark上使用Keras。相对于TensorFlow、PyTorch,Keras具有相对简单易用的接口和各种工具类,更适合开发人员使用。elephas使得大数据工程师可以方便地在自己熟悉的Spark中使用容易上手深度学习框架Keras。

项目地址:

https://github.com/maxpumperla/elephas

文档地址:

http://maxpumperla.com/elephas/

Deeplearning4j


简介:Deeplearning4j由一个叫Skymind的小公司发起,后被加入Eclipse开源软件。虽然它难用、不灵活、不适合做模型迭代,但是Deeplearning4j是深度学习生态圈中屈指可数的几个用Java编写的框架之一,另外,它原生支持在Spark中运行。对于数据量大、模型相对固定且不需要复杂科学计算流程的任务,Deeplearning4j是一个不错的选择。

项目地址:

https://github.com/deeplearning4j/deeplearning4j

文档地址:

https://deeplearning4j.org/documentation

BigDL


简介:BigDL是另一个Java生态圈中的深度学习框架,原生就有Spark支持。相对于Deeplearning4j,BigDL具有更为强大的开发团队支持,它是由Intel发起的开源项目。BigDL的目标之一就是充分利用大规模集群中的Intel CPU,这也是它的弱点之一:没有GPU支持。

项目地址:

https://github.com/intel-analytics/BigDL

文档地址:

https://github.com/intel-analytics/BigDL/wiki

-END-

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-07-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

基于Spark的异构分布式深度学习平台

39380
来自专栏Y大宽

Cytoscape插件2:CytoHubba

CytoHubba:发现复杂网络的关键目标和子网络 网络对呈现包括PPI,基因调控,细胞路径和信号转导等多种类型生物数据非常有用。我们//+重要性,并且这也能...

1.2K10
来自专栏计算机视觉life

Facebook Surround360 学习笔记--(4)色彩/视差不一致问题

surround360的开源资料地址: 下载好代码和测试数据集,配置好环境,关于环境配置可以参考这篇博客,写的挺详细: 运行代码的说明可以参考这篇博客...

23950
来自专栏前端儿

无线网络覆盖

我们的乐乐同学对于网络可算得上是情有独钟,他有一个计划,那就是用无线网覆盖郑州大学。

16010
来自专栏数据结构与算法

各种读入方式速度比较

以前写过一篇比较scanf与cin的博客,但是那篇博客存在很多bug,测速也很不规范。 今天我收集了一下众大佬的读入优化,来做个比较 特别鸣谢:my,zyh,h...

33340
来自专栏张红林的专栏

大规模机器学习框架的四重境界

如何利用相对廉价的机器搭建分布式超大规模机器学习集群是一件非常复杂的事情,本文尝试梳理一下这方面的历史和现行的最佳实践。

1.5K20
来自专栏量子位

谷歌终于推出TensorFlow Lite,实现在移动设备端部署AI

安妮 编译整理 量子位 出品 | 公众号 QbitAI 还得从半年前说起。 今年5月的谷歌I/O大会上,安卓工程副总裁Dave Burke宣布将推出一个专门为移...

32690
来自专栏挖掘大数据

如何利用已有的大数据技术,搭建机器学习平台

人脑具备不断积累经验的能力,依赖经验我们便具备了分析处理的能力,比如我们要去菜场挑一个西瓜,别人或者自己的经验告诉我们色泽青绿、根蒂蜷缩、纹路清晰、敲声浑响的西...

66100
来自专栏AI科技评论

深度| OpenAI 教你如何构建深度学习研究的基础设施

编者按:OpenAI研究工程师Vicki Cheung, Jonas Schneider , Ilya Sutskever, and Greg Brockman...

38760
来自专栏人工智能头条

用机器学习怎样鉴别不可描述的网站

前两天教师节,人工智能头条的某个精神股东粉群里,大家纷纷向当年为我们启蒙、给我们带来快乐的老师们表达感激之情。

16520

扫码关注云+社区

领取腾讯云代金券