专栏首页AI科技评论开发丨TensorFlow 与 Apache Spark 结合:雅虎开源“TensorFlowOnSpark”

开发丨TensorFlow 与 Apache Spark 结合:雅虎开源“TensorFlowOnSpark”

雅虎昨日宣布开源 TensorFlowOnSpark。

它使得深度学习框架 TensorFlow 能与 Apache Spark 中的数据集兼容。对于使用 Spark 来处理不同类型数据的机构和开发者来说,这无疑是一个好消息。TensorFlowOnSpark 的开源代码,已基于 Apache 2.0 协议在 GitHub 上发布。

链接:https://github.com/yahoo/TensorFlowOnSpark

众所周知,深度学习有海量数据需求。AI 科技评论了解到,许多业内公司利用 Spark 对超大规模的数据集进行管理。让深度学习框架直接、方便地获取这部分数据,将为 ML 开发提供极大助力。

雅虎在官方博客中宣布了这一消息,并解释了此前雅虎 Big ML 开发团队遇到的问题:

“现有的深度学习框架,往往需要设立单独的深度学习数据组。这强迫我们为同一个机器学习流水线创建多个程序。维护多个独立的数据组,要求我们在它们之间传输海量数据集——这导致不必要的系统复杂性和端到端的学习延迟。”

为解决这一问题,雅虎此前开发了 CaffeOnSpark。它使得基于 Caffe 机器学习框架开发的程序,能与 Apache Spark 兼容。AI 科技评论了解到,雅虎已将基于 CaffeOnSpark 的程序,用于鉴别搜索中的不恰当搜索结果,以及自动探测电子竞技游戏直播视频中的关键看点。

雅虎去年开源了 CaffeOnSpark。如今它对 TensorFlow 做了同样的工作。两者的原理几乎相同,只是把机器学习框架换成了 TensorFlow。

雅虎表示,把 TensorFlow 程序移植到 TensorFlowOnSpark 相对方便,并经过反公司内部的反复验证。

“这通常只需要修改十行以内的 Python 代码。许多使用 TensorFlow 的雅虎开发者已轻松地把 TensorFlow 程序,移植到 TensorFlowOnSpark 执行。”

AI 科技评论获知,雅虎会持续为 TensorFlowOnSpark 和 CaffeOnSpark 提供支持,并欢迎开源社区对两者进行改进。对于 TensorFlowOnSpark 工作原理的详细解释,请参考雅虎博客。

链接:http://yahoohadoop.tumblr.com/post/157196317141/open-sourcing-tensorflowonspark-distributed-deep

via yahoo,siliconangle,venturebeat

本文分享自微信公众号 - AI科技评论(aitechtalk),作者:三川

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-02-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 开发 | Facebook开源 PyTorch版 fairseq,准确性最高、速度比循环神经网络快9倍

    AI科技评论按:今年5月,FacebookAI研究院(FAIR)发表了他们的研究成果fairseq,在fairseq中,他们使用了一种新型的卷积神经网络来做语言...

    AI科技评论
  • DeepMind 综述深度强化学习:智能体和人类相似度竟然如此高!

    AI科技评论按:近年来,深度强化学习(Deep reinforcement learning)方法在人工智能方面取得了瞩目的成就,从 Atari 游戏、到围棋、...

    AI科技评论
  • 开发 | 紧跟未来深度学习框架需求,TensorFlow推出Eager Execution

    AI科技评论按:Google的TensorFlow是AI学习者中使用率最高、名气也最大的深度学习框架,但由于TensorFlow最早是基于Google的需求开发...

    AI科技评论
  • Python开源项目介绍:网站日志分析工具

    日志分析在web系统中故障排查、性能分析方面有着非常重要的作用。该工具的侧重点不是通常的PV,UV等展示,而是在指定时间段内提供细粒度(最小分钟级别,即一分钟内...

    Python中文社区
  • Python开源项目介绍:网站日志分析工具

    日志分析在web系统中故障排查、性能分析方面有着非常重要的作用。该工具的侧重点不是通常的PV,UV等展示,而是在指定时间段内提供细粒度(最小分钟级别,即一分钟内...

    小小科
  • Python老司机带你快速搞定日志分析工具

    转载自:Python中文社区 ID:python-china 日志分析在web系统中故障排查、性能分析方面有着非常重要的作用。该工具的侧重点不是通常的P...

    小小科
  • Dockerfile 构建Python

    在~/python/myapp目录下创建一个 helloworld.py 文件,代码如下:

    py3study
  • PCL 1.7.2(vtk6.2) + VS2013 + win10_x64 配置及常见问题

    1.1 点击path添加(4个bin路径即包含dll,exe文件夹): (win10直接一行一行添加,win7;隔开)

    点云PCL博主
  • python的安装

    python 支持在多平台上安装与运行,我们一般从 python 的官方网站下载其安装包,比如 Windows 下是 exe 文件,Linux 下则是二进制文件...

    py3study
  • Linux下安装Python3.x.x

    linux一般都自带了python,然而2014年以前的linux自带的python都是2.x.x甚至更早的版本。

    py3study

扫码关注云+社区

领取腾讯云代金券