讲道理,我觉得TensorFlow太逊了

原作:Nico Jimenez 安妮 编译自 Nico’s Blog 量子位 出品 | 公众号 QbitAI

本文作者Nico Jimenez。自2015年从斯坦福辍学后,他创造了图像处理API Mathpix,每月为全球数百万用户处理近2000万张图像。此外,他还创造了Mathpix内部机器学习监测和分析方案Losswise。目前,Losswise公开可用。

这篇文章译自Nico的博客,原文标题为《Tensorflow sucks》。在这篇文章中,作者详细论述了“为什么我觉得TensorFlow很逊”这个有趣问题。

本文为作者观点,不代表量子位立场。

Nico Jimenez

每隔几个月,我都会在谷歌上搜索关键词“TensorFlow太逊了”或者“f* TensorFlow”,希望能找到观点一致的伙伴。这可没那么幸运,虽然TensorFlow已经开源两年了,但始终没有找到让我满意的怒怼。

这就有点不太科学了。从本质上看,赞扬TensorFlow的力量可被分为几波,但都可以被归因为“谷歌深深的嫉妒”现象。这个现象由世界各地的工程师们假设得出:

  • 谷歌员工可能比你更聪明,能力更高
  • TensorFlow用的6更容易在谷歌找到深度学习相关工作!
  • 平凡无奇的创业公司用了TonsorFlow并在博客上赞美它,可能更容易被谷歌收购
  • 如果你没用TensorFlow得到你想要的直观设计,那就是你自己的问题了

现在,我们将这些假设抛掉,客观地评判一下TensorFlow。

结束噩梦?

TensorFlow出现时,我们一度认为它能结束烂设计和深度学习框架的噩梦。但我们实际得到的,是一个和Java差不多的深度学习框架,它比Java少了一些趣味性,并且是纯声明性的开发方式。但这款产品的反馈出奇地好,看起来像谷歌做了一个满足所有人的框架,到底哪里不对?

对研究人员来说,TensorFlow有些难学和难用。灵活性在研究中至关重要,但在TensorFlow中缺乏灵活性是个深层次的问题。

举个例子,想从神经网络的中间层中提取相应值?首先,你需要定义一个函数图像,之后将其作为dictionary执行,当然不要忘记将中间层作为图像的输出,否则你无法检索到它们的值。

想要有条件地执行卷积层?比如当生成一个EOS token时,RNN会停止运行。在你完成这个任务的时候,其他人已经用Pytorch创立第3个AI公司了。

对于像我这样的机器学习实践者来说,TensorFlow也不是一个很好的选择,框架的声明性特性使调试更加困难。能在Android和iOS上运行模型看起来很棒,直到你发现这个框架的二进制文件至少20MB,C++文档几乎不存在,资源少时原本很管用的条件网络也无法执行。

与其他框架的对比

无法否认TensorFlow的开发人员一定是个天才,但目前TensorFlow的原作者中可能最出名的一个:贾扬清,已经离开谷歌加入Facebook了,并且加速开发了Caffe2框架。和TensorFlow不一样,Caffe2允许用户在一行代码中执行一层数据,这一点让人兴奋。

此外,Pytorch在顶尖AI研究者中迅速普及。尽管Torch用户因编写Lua代码执行简单字符串受挫,但他们并没有使用TensorFlow,转而使用了Pytorch。看来,对于顶级人工智能实验室来说,TensorFlow是不够的。

对我来说,最有趣的问题是为什么纯声明式开发方式有明显缺陷,谷歌还是要选择它。他们是否认为将所有计算都封装在一个计算图中,可以简化TPU的执行模型,这样他们就能从云端深度学习应用程序中节省数百万美元的英伟达芯片费用?很难说。

总的来说,TensorFlow并不像一个纯粹的开源项目。如果他们的设计合理,我将不会有任何问题。与谷歌开源的其他项目(如Protobuf、Golang和Kubernetes)相比,TensorFlow的使用人群并不活跃。

虽然声明式开发方式对于UI编程很有益,但对于深度学习来说,做出这个选择的原因有很多。

以标准的交互式Web应用程序React Javascript库为例,在React中,数据流通过应用程序的复杂性有助于隐藏开发人员,因为Javascript的执行顺序通常比更新DOM快得多。React开发人员不想担心传播状态,只要最终用户体验足够好就可以了。

另一方面,在深度学习中,单层网络可以执行数十亿的FLOP!深度学习研究人员非常关心计算机制,并希望进行精细地控制,因为它们不断地推动可能的边缘(例如动态网络),并希望轻松访问中间结果。

具体示例

不如看一个简单的例子,训练一个模型,将其输入乘以3。

首先,让我们看一下TensorFlow的示例:

再来看看在Pytorch上如何执行同样的任务:

尽管Pytorch的例子中只有几行代码,但执行结果却更精确,并且训练循环中的语法更遵循实际的学习进程:

  1. 前向输入
  2. 产生的损失
  3. 计算梯度
  4. 反向传播

而在TensorFlow中,核心操作是sess.run访问。

所以,我们为什么要编写更多行、更难于理解和维护的代码呢?Pytorch的界面比TensorFlow的界面要好得多。

结论

对于快速开发原型来说,TensorFlow太低层了。在但在前沿研究或资源受限的生产环境中使用又看起来层次又太高。

事实上,当你有大约6个开源的高级库建立在级别已经很高的库上,如果想使你的库可用,有些地方就会出问题:

http://tflearn.org/

https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/slim

https://github.com/fchollet/keras

https://github.com/fchollet/keras

https://github.com/tensorflow/skflow

最后,我承认TensorBoard(Tensorflow的监测工具)是个不错的选择。如果你想要一个漂亮的监测解决方案,你的机器学习项目包含高级的模型比较功能,可以到Losswise上看看(https://losswise.com)。这是我自己开发的,开发人员可以从使用的机器学习库中跟踪模型性能,这是TensorBoard不提供的。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-10-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小怪聊职场

用户画像(一)|计划制定一、目的二、数据源分析三、数据建模四、计划

36480
来自专栏IT大咖说

别急!看完文章再来说你懂TensorFlow

17810
来自专栏AI派

谷歌机器学习43条黄金法则(手册版+PDF)

之前的 谷歌机器学习法则:ML工程的最佳实践 将谷歌公司关于机器学习方面的实践经验详细的介绍了下,很多朋友会问有没有手册版以及PDF版本。这里会将精简后的法则内...

14240
来自专栏MixLab科技+设计实验室

写给设计师的人工智能指南:推荐系统

本期更新第6篇文章, 聊聊“推荐系统”。 推荐系统核心的是推荐算法,常用有这几种: 基于内容推荐 协同过滤推荐 基于关联规则推荐 基于效用推荐 基于知识推荐 组...

27440
来自专栏AI研习社

Tensorflow的迭代更新 | Tensorflow 最全资料汇总【1】

【AI研习社】关注AI前沿、开发技巧及技术教程等方面的内容。欢迎技术开发类文章、视频教程等内容投稿,邮件发送至:zhangxian@leiphone.com 谷...

36090
来自专栏云加头条

DI-X平台发布:云上的深度学习,助力接入AI快车道

腾讯云推出的DI-X提供了融合了深度学习的框架、算法、模型训练、模型推理和协作的一站式深度学习平台,用以加速中小企业接入人工智能的过程。

1.2K30
来自专栏数据科学与人工智能

【陆勤阅读】PyCon 2014:机器学习应用占据Python的半壁江山

今年的PyCon于4月9日在加拿大蒙特利尔召开,凭借快速的原型实现能力, Python在学术界得到了广泛应用。最近其官方网站发布了大会教程部分的视频和幻灯片,其...

22680
来自专栏小樱的经验随笔

牛顿迭代法(Newton's Method)

牛顿迭代法(Newton's Method)                    简介 牛顿迭代法(简称牛顿法)由英国著名的数学家牛顿爵士最早提出。但是,这...

38550
来自专栏玉树芝兰

如何用《玉树芝兰》入门数据科学?

链接起散落的文章,给《玉树芝兰》数据科学系列教程做个导读,帮你更为高效入门数据科学。

18910
来自专栏新智元

【深度】TensorFlow or TensorSlow,谷歌基准测试为何不给力?(附Google内部员工测试代码下载)

11月9日Google发布了第二代深度学习引擎TensorFlow,引起业内广泛关注。发布后业内人士热议的一个话题是:这个引擎能否成为Google所说的平台级产...

52040

扫码关注云+社区

领取腾讯云代金券