开发丨TensorFlow 与 Apache Spark 结合:雅虎开源“TensorFlowOnSpark”

雅虎昨日宣布开源 TensorFlowOnSpark。

它使得深度学习框架 TensorFlow 能与 Apache Spark 中的数据集兼容。对于使用 Spark 来处理不同类型数据的机构和开发者来说,这无疑是一个好消息。TensorFlowOnSpark 的开源代码,已基于 Apache 2.0 协议在 GitHub 上发布。

链接:https://github.com/yahoo/TensorFlowOnSpark

众所周知,深度学习有海量数据需求。AI 科技评论了解到,许多业内公司利用 Spark 对超大规模的数据集进行管理。让深度学习框架直接、方便地获取这部分数据,将为 ML 开发提供极大助力。

雅虎在官方博客中宣布了这一消息,并解释了此前雅虎 Big ML 开发团队遇到的问题:

“现有的深度学习框架,往往需要设立单独的深度学习数据组。这强迫我们为同一个机器学习流水线创建多个程序。维护多个独立的数据组,要求我们在它们之间传输海量数据集——这导致不必要的系统复杂性和端到端的学习延迟。”

为解决这一问题,雅虎此前开发了 CaffeOnSpark。它使得基于 Caffe 机器学习框架开发的程序,能与 Apache Spark 兼容。AI 科技评论了解到,雅虎已将基于 CaffeOnSpark 的程序,用于鉴别搜索中的不恰当搜索结果,以及自动探测电子竞技游戏直播视频中的关键看点。

雅虎去年开源了 CaffeOnSpark。如今它对 TensorFlow 做了同样的工作。两者的原理几乎相同,只是把机器学习框架换成了 TensorFlow。

雅虎表示,把 TensorFlow 程序移植到 TensorFlowOnSpark 相对方便,并经过反公司内部的反复验证。

“这通常只需要修改十行以内的 Python 代码。许多使用 TensorFlow 的雅虎开发者已轻松地把 TensorFlow 程序,移植到 TensorFlowOnSpark 执行。”

AI 科技评论获知,雅虎会持续为 TensorFlowOnSpark 和 CaffeOnSpark 提供支持,并欢迎开源社区对两者进行改进。对于 TensorFlowOnSpark 工作原理的详细解释,请参考雅虎博客。

链接:http://yahoohadoop.tumblr.com/post/157196317141/open-sourcing-tensorflowonspark-distributed-deep

via yahoo,siliconangle,venturebeat

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-02-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

如何利用“图计算”实现大规模实时预测分析

1502
来自专栏PPV课数据科学社区

关联分析案例:一套数据学会如何从数据到信息到决策

俗话说,忘记历史就是背叛自己,今天这篇用此做开场再合适不过。 这一篇将根据一个虚拟的故事,来介绍如何通过历史数据来帮助一个销售人员发现规律信息从而辅助他来做一些...

3614
来自专栏大数据文摘

深度 | 探索实物与VR间重量转换的方法

1154
来自专栏灯塔大数据

荐读|数据科学中最好的5个机器学习API

机器学习作为大数据的前沿无疑是让人生畏的,因为只有技术极客和数据科学领域的专家才能驾驭机器学习算法和技术,对于大部分企业和组织而言,过去这一直都是一个遥不可及...

2949
来自专栏IT大咖说

Web与人工智能时代

摘要 “人工智能”一词最初是在1956年Dartmouth学会上提出的。从那以后,研究者们发展了众多理论和原理,人工智能的概念也随之扩展。人工智能(Artifi...

3936
来自专栏BestSDK

【重磅!】Facebook 发布开源框架 PyTorch,兼容 Python

本周,Facebook 的 AI 研究团队发布了一个 Python 工具包,专门针对 GPU 加速的深度神经网络(DNN)编程。它有望辅助、或在一定程度上替代,...

3786
来自专栏PPV课数据科学社区

R语言什么鬼??你知道吗?

R语言什么鬼?可以用来做什么?和大数据又有什么关系?有没有好的课程推荐啊?学大数据一定要懂R语言么?…… 网络上太多类似的问题,如果恰好你也有类似的疑惑,那么...

2994
来自专栏机器之心

业界 | 无缝整合PyTorch 0.4与Caffe2,PyTorch 1.0即将问世

1795
来自专栏BestSDK

5个要点,决定你的交互设计是否成功!

交互设计(Interaction Design):定义、设计人造系统的行为的设计领域。人造物,即人工制成物品,例如,软件、移动设备、人造环境、服务、可佩带装置以...

3397
来自专栏Python中文社区

大数据告诉你买车的正确姿势!

專 欄 ❈ hectorhua,Python中文社区专栏作者,研究生毕业,现居北京。目前在互联网企业,擅长领域python数据抓取,清洗整合。 博客地址:ht...

1976

扫码关注云+社区