开发丨TensorFlow 与 Apache Spark 结合:雅虎开源“TensorFlowOnSpark”

雅虎昨日宣布开源 TensorFlowOnSpark。

它使得深度学习框架 TensorFlow 能与 Apache Spark 中的数据集兼容。对于使用 Spark 来处理不同类型数据的机构和开发者来说,这无疑是一个好消息。TensorFlowOnSpark 的开源代码,已基于 Apache 2.0 协议在 GitHub 上发布。

链接:https://github.com/yahoo/TensorFlowOnSpark

众所周知,深度学习有海量数据需求。AI 科技评论了解到,许多业内公司利用 Spark 对超大规模的数据集进行管理。让深度学习框架直接、方便地获取这部分数据,将为 ML 开发提供极大助力。

雅虎在官方博客中宣布了这一消息,并解释了此前雅虎 Big ML 开发团队遇到的问题:

“现有的深度学习框架,往往需要设立单独的深度学习数据组。这强迫我们为同一个机器学习流水线创建多个程序。维护多个独立的数据组,要求我们在它们之间传输海量数据集——这导致不必要的系统复杂性和端到端的学习延迟。”

为解决这一问题,雅虎此前开发了 CaffeOnSpark。它使得基于 Caffe 机器学习框架开发的程序,能与 Apache Spark 兼容。AI 科技评论了解到,雅虎已将基于 CaffeOnSpark 的程序,用于鉴别搜索中的不恰当搜索结果,以及自动探测电子竞技游戏直播视频中的关键看点。

雅虎去年开源了 CaffeOnSpark。如今它对 TensorFlow 做了同样的工作。两者的原理几乎相同,只是把机器学习框架换成了 TensorFlow。

雅虎表示,把 TensorFlow 程序移植到 TensorFlowOnSpark 相对方便,并经过反公司内部的反复验证。

“这通常只需要修改十行以内的 Python 代码。许多使用 TensorFlow 的雅虎开发者已轻松地把 TensorFlow 程序,移植到 TensorFlowOnSpark 执行。”

AI 科技评论获知,雅虎会持续为 TensorFlowOnSpark 和 CaffeOnSpark 提供支持,并欢迎开源社区对两者进行改进。对于 TensorFlowOnSpark 工作原理的详细解释,请参考雅虎博客。

链接:http://yahoohadoop.tumblr.com/post/157196317141/open-sourcing-tensorflowonspark-distributed-deep

via yahoo,siliconangle,venturebeat

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-02-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

TensorFlow在工程项目中的应用 公开课视频+文字转录(上)

本周四,雷锋网 AI 研习社邀请了跨国 IT 巨头 Thoughtworks 的资深数据架构师白发川,主讲线上公开课,为大家讲解 TensorFlow 在工程项...

35810
来自专栏开源优测

[微信群分享]浅谈数据分析及应用场景

前言 为什么要分享一下数据分析方面的知识呢? 一是扩展下知识面 二是期望讨论下数据分析在测试领域的应用场景的可能性 从分享的情况来看,测试人员的思维依旧非常局限...

2458
来自专栏人工智能头条

为什么 AI 工程师要懂一点架构?

1814
来自专栏数据科学与人工智能

【数据科学】成为一个数据科学家的九个步骤

数据科学和数据分析发展迅速,给该领域带来了众多工作机,但是可用人才匮乏。这给那些想找新工作的人提供了希望。 ? 但是如何才能成为一个数据科学家呢? 首先,每个...

2306
来自专栏PPV课数据科学社区

从实战角度解读数据科学

原文:What is hardcore data science—in practice来源:https://www.oreilly.com/ideas/wha...

3425
来自专栏AI科技大本营的专栏

创新工场王咏刚:为什么 AI 工程师要懂一点架构?

AI 时代,我们总说做科研的 AI 科学家、研究员、算法工程师离产业应用太远,这其中的一个含义是说,搞机器学习算法的人,有时候会因为缺乏架构(Infrastru...

2827
来自专栏大数据挖掘DT机器学习

Slope one:简单高效的推荐算法

推荐系统最早在亚马逊的网站上应用,根据以往用户的购买行为,推荐出购买某种产品同时可能购买的其他产品,国内做的不错的当当网,有时候买书,它总能给我推荐出我感兴趣的...

2766
来自专栏BestSDK

你知道云计算,可你听过“雾计算”吗

雾计算的主要目标 雾的主要目标是提高效率,并化解传送到云端计算、储存时可能产生的网络塞车现象。通常是为了提高整个程序的效率,但它也可以用来提高安全性与合规性的规...

2524
来自专栏华章科技

让推荐系统变得会“说话”——推荐理由设计实践

推荐系统对于处于信息爆炸时代的我们来说并不陌生。在日常生活中,我们使用到推荐系统提供的各种服务,在社交工具上认识志同道合的朋友,到音乐网站中欣赏自己感兴趣的音乐...

661
来自专栏量子位

为什么AI工程师要懂一点架构?| 创新工场深度学习训练营第一课

本文内容来自创新工场暑期深度学习训练营DeeCamp第一课,由讲了一上午课的创新工场AI工程院副院长王咏刚老师亲自整理,首发于他的个人公众号“半轻人”,量子位经...

3627

扫码关注云+社区