开发丨TensorFlow 与 Apache Spark 结合:雅虎开源“TensorFlowOnSpark”

雅虎昨日宣布开源 TensorFlowOnSpark。

它使得深度学习框架 TensorFlow 能与 Apache Spark 中的数据集兼容。对于使用 Spark 来处理不同类型数据的机构和开发者来说,这无疑是一个好消息。TensorFlowOnSpark 的开源代码,已基于 Apache 2.0 协议在 GitHub 上发布。

链接:https://github.com/yahoo/TensorFlowOnSpark

众所周知,深度学习有海量数据需求。AI 科技评论了解到,许多业内公司利用 Spark 对超大规模的数据集进行管理。让深度学习框架直接、方便地获取这部分数据,将为 ML 开发提供极大助力。

雅虎在官方博客中宣布了这一消息,并解释了此前雅虎 Big ML 开发团队遇到的问题:

“现有的深度学习框架,往往需要设立单独的深度学习数据组。这强迫我们为同一个机器学习流水线创建多个程序。维护多个独立的数据组,要求我们在它们之间传输海量数据集——这导致不必要的系统复杂性和端到端的学习延迟。”

为解决这一问题,雅虎此前开发了 CaffeOnSpark。它使得基于 Caffe 机器学习框架开发的程序,能与 Apache Spark 兼容。AI 科技评论了解到,雅虎已将基于 CaffeOnSpark 的程序,用于鉴别搜索中的不恰当搜索结果,以及自动探测电子竞技游戏直播视频中的关键看点。

雅虎去年开源了 CaffeOnSpark。如今它对 TensorFlow 做了同样的工作。两者的原理几乎相同,只是把机器学习框架换成了 TensorFlow。

雅虎表示,把 TensorFlow 程序移植到 TensorFlowOnSpark 相对方便,并经过反公司内部的反复验证。

“这通常只需要修改十行以内的 Python 代码。许多使用 TensorFlow 的雅虎开发者已轻松地把 TensorFlow 程序,移植到 TensorFlowOnSpark 执行。”

AI 科技评论获知,雅虎会持续为 TensorFlowOnSpark 和 CaffeOnSpark 提供支持,并欢迎开源社区对两者进行改进。对于 TensorFlowOnSpark 工作原理的详细解释,请参考雅虎博客。

链接:http://yahoohadoop.tumblr.com/post/157196317141/open-sourcing-tensorflowonspark-distributed-deep

via yahoo,siliconangle,venturebeat

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-02-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏钱曙光的专栏

一周极客热文:关于编程一些鲜为人知的真相

《关于编程一些鲜为人知的真相》一文讲了一些编程的真相:如果把所有项目的生命周期平均一下,那么一个程序员大概10-20%的时间用来写代码,并且大多数程序员可能每天...

1885
来自专栏数据小魔方

思维导图——让你的灵感思如泉涌!!!

今天想跟大家聊聊思维导图! ▼▼▼▼▼ ▌思维导图是日常写作、案例分析、商务汇报等场合常用的逻辑梳理工具,它可以更加高效的展现我们思维方式、整理分散的创意、想法...

3327
来自专栏Java架构

毕业3年同样是java程序员,为何技术能力相差越来越大?

导读:毕业三年,每个人在技术能力跑道上,有了或大或小的差距。有些人永远在重复的劳动,有些人却能从中总结和解决问题。今天我们来探讨下,如何避免让战术上的勤奋掩盖战...

815
来自专栏程序员互动联盟

如何学好一门新技术?

IT界存在这样一种典型的情况。一个大学刚毕业后参加工作的同学,凭着在学校学到的一些计算机专业知识,熟悉VC、VB、Java、Delphi等一两种编程语言的技能,...

2767
来自专栏AI研习社

扎克伯格开发笔记:打造Jarvis的日子,我庆幸自己从未停止过编程

「 唯物」按:以下文章来自扎克伯格的笔记"Building Jarvis",由雷锋网编译。 ? 2016 年我给自己制定了一个挑战:打造一个像钢铁侠里 Jarv...

3084
来自专栏知晓程序

你离成功读完一本书,只差这一个小程序的距离

这句话几乎伴随了我的整个童年。现在回头看,随着年龄的增长,拥有的书越来越多,但是读过的书却越来越少。

703
来自专栏姬小光

毕业入职,五天根治死循环懵逼

又到了毕业生小鲜肉们成群结队步入职场的季节了,一张张充满好奇与紧张的拉格朗日第二类茫然表情,总让我想到当年的自己。

604
来自专栏小白客

成为一名数据分析师,应该掌握怎样的技术栈?

数据分析师是不易被人工智能取代的新兴职业,相比算法工程师、人工智能工程师而言比较好入门。学好数据分析,也可为进一步的数据科学、机器学习打下一定的基础。 最近我知...

4036
来自专栏互联网杂技

3D交互设计会是这个样子?

现在,VR和MR已经越来越热门了(影视剧里已经出现的太多了,比如《黑镜》),但现实是,我们对于虚拟交互的认知还是仅限于酷炫的特效,真正第一次成系统并实用的交互模...

3297
来自专栏机器之心

学界 | Stuart Russell等人提交论文:机器人不应永远遵从人类指令

选自arXiv 机器之心编译 参与:李泽南 Stuart Russell 刚刚在 GMIS 2017 大会上的演讲中为我们分享了人工智能目前面临的一些挑战。为...

3516

扫描关注云+社区