专栏首页量子位大数据与深度学习在一起:雅虎开源TensorFlowOnSpark

大数据与深度学习在一起:雅虎开源TensorFlowOnSpark

量子位 李林 | 编译

雅虎宣布开源一个名为TensorFlowOnSpark的项目,支持对Apache Spark集群进行分布式TensorFlow训练和推断。TensorFlowOnSpark的开源代码已经在GitHub上发布。

Apache Spark是一个用于处理大数据的开源框架,旨在提高并行计算的效率。Netflix就是用它来处理大量的用户数据,以提供个性化推荐。Spark它和机器学习密不可分,目前流行的深度学习算法更是特别依赖于庞大的数据量。

雅虎可以说是Spark社区的模范成员,去年,他们开源了CaffeOnSpark,刚刚开源的TensorFlowOnSpark原理几乎和它完全相同,只是换了个更流行的深度学习框架。

在开发TensorFlowOnSpark之前,雅虎的工程师们为了吧TensorFlow和Spark结合起来,尝试了SparkNet、TensorFrame等现有的工具,但最终还是决定自己做一个。

这个开源项目的介绍中为它列出了如下优点:

很容易将现有的TensorFlow项目迁移过来,只需要不到10行的代码;

支持所有TensorFlow功能:同步/异步训练,模型/数据并行,推理和TensorBoard;;

在能实现服务器到服务器的直接通信是,可以更快的学习;

允许由Spark推送或由TensorFlow拉取分布式文件系统(HDFS)和其他源上的数据集;

轻松和你现有的数据处理通道和机器学习算法(如MLlib,CaffeOnSpark)整合在一起;

轻松在云上或内部部署:支持CPU和GPU,以太网和Infiniband。

本文分享自微信公众号 - 量子位(QbitAI)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-02-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 腾讯把微信正在用的图计算框架开源了,十亿级节点图计算时间从天级缩短到分钟级

    与其他图计算框架相比,将算法计算时间从天级缩短到分钟级,而且性能也全面领先,原本动辄需要数百台服务器的计算,现在最少只需要十台服务器。

    量子位
  • 秘籍:如何用廉价硬件玩转深度学习,成本不到1000美元

    作者Lukas Biewald,是CrowdFlower创始人。 量子位编译整理。 问:搭建一个深度学习系统拢共要花多少钱? 答:在树莓派上运行TensorFl...

    量子位
  • 从RedHat到MongoDB,开源商业软件是如何占领世界的

    如今开源软件已经遍地开花,其中独角兽就有估值65亿美元的Mulesoft、估值40亿美元的MongoDB等。IBM去年也以320亿美元收购了Redhat。

    量子位
  • Spark总结篇(一)

    1.Spark可以基于内存处理数据,MR每次要落地磁盘 2.Spark有DAG有向无环图优化 3.Spark是粗粒度资源申请,MR是细粒度资源申请 4.S...

    solve
  • 数据库MySQL-选择合适的数据类型

    1、使用可以存下你的数据的最小的数据类型。(时间类型数据:可以使用varchar类型,可以使用int类型,也可以使用时间戳类型) 2、使用简单的数据类型,in...

    cwl_java
  • Nginx配置正向代理和反向代理,实现HTTPS通信的案例

    客户端直接通过HTTP访问内部服务是不安全的,如果在不改造客户端和内部服务的情况下实现HTTPS的安全信息传输?这里使用了nginx的正向代理和反向代理,如上图...

    飞狗
  • 【DB笔试面试700】在Oracle中,如何彻底杀掉会话?V$SESSION的STATUS为KILLED如何找到后台OS进程?

    在Oracle中,如何彻底杀掉会话?V$SESSION的STATUS为KILLED的情况下如何找到相关的后台OS进程?

    小麦苗DBA宝典
  • Windows下使用pyinstaller制作exe(py2exe)

    配置python环境变量,一般从http://www.python.org/下载完python的编译解释器,只要正常安装成功,会自动配好。

    雷大亨
  • storm spout的速度抑制问题

    转发请注明原文地址:http://www.cnblogs.com/dongxiao-yang/p/6031398.html

    sanmutongzi
  • ABAP如何调用OCX

    网上有很多的open OCX控件,down下来之后可以集成到ABAP后台,借助OCX实现很多强大的功能.

    Jerry Wang

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动