周志华Deep Forrest论文参与者答网友问，或6月1日开源

【新智元导读】新智元之前发布周志华老师的Deep Forrest论文引起了广泛关注和讨论。本文作者Ji Feng正是该论文的参与者，他在知乎上对这篇论文的评论做了几点评价，例如：没有BP到底行不行？端到端不是模型能够work的必要条件。

【Ji Feng】：作为论文参与者之一，我做的很有限，在这里擅自谈谈我个人对周老师gcForest的一点愚钝看法。这里声明：所有观点仅仅代表我个人。

先说几点个人的结论：

1. 这是一个Deep Model，只不过building blocks是决策树。

这篇工作不是来砸深度学习的场子的，深度学习蛮好，而基于神经网络的深度模型探索的差不多了，我们想探索一下基于树的深度模型的可能。 个人认为没有合理理由能够否定基于决策树的深度模型的尝试是徒劳，而决策树的集成本身具有很多神经网络所不具备的性质，所以花一些时间和精力进行研究是很值得的事情（至少比调参强）。

2. 这只是个开始。 决策树有很多蛮恐怖的性质，目前我只想说其实我们对森林的力量一无所知，里面的潜力巨大，有待开发。深度学习从06年提出到12年，中间花了差不多6年的时间不断发扬光大，如果指望一篇文章就能搞定这么多年，这么多学者，以及这么多资金的事情，这也是不可能的。 3. 性能

很抱歉，出于我个人的懒惰，没怎么调整这个森林的结构。因为我们注重的是通用性。

前一阵又大致把森林复杂度做了一下，MNIST是99.39%（上升余地依然存在，因为我仅仅把森林double了一下），我知道很多做视觉的朋友觉得CIFAR/ImageNet应该跑，这里稍微说几句： a) 做视觉的朋友觉得CIFAR/ImageNet的模型性能是宇宙中心，但其实并不是做机器学习的人的中心，在这篇工作中，我们更关注一个通用的框架。

b) 也想跑来着，但是没有实现分布式算法，而我的单机内存有限，后来还是优化了一下程序，CIFAR10是能跑起来了，每加一块儿内存条，性能往上走4个点，目前单机能到70%。AlexNet是83%，相比之下有10%的差距。但是请注意：深度全链接神经网络（MLP)是47%，Alex用Deep Belief Network（这可是深度学习的第一个重要模型）在cifar10上是65%， 而其他所有非神经网络的模型都是55%以下（如果对输入不作任何变化的话）。我个人揣度作为deep forest的第一篇工作，这个结果也算是够了?(至少比深度限制玻尔兹曼机的性能和普适性强点儿？)

c) 这是第一篇工作，目的是提出一个较为通用的框架和方向，未来会有基于计算机视觉应用的专门优化。

d) 你们谁送我几块儿内存条使使？ 其他的内容，请大家看周老师的论文原文就好了。

再回应一些评论： 1. “没有BP肯定不行。” 很抱歉，这个不大同意。BP是一个很棒的算法，也在我个人最喜欢的算法top5。BP在神经网络中很重要，但是，如果认为没有BP肯定不行，那就有些思维定势了，类似于没有翅膀就不能上天 这种论断。飞上天的不仅仅有鸟和飞机，还有火箭。

举个栗子： 虽然不是做神经网络的，但是也清楚有不少现成的神经网络模型没有BP，比如大名鼎鼎的NEAT。（如果我没记错的话，有一个GAN 的工作就是用NEAT做的G？)

再举个稍微跑题的栗子： 上个月OpenAI的Evolution Strategies as a Scalable Alternative to Reinforcement Learning （这个标题很酷啊，偷笑） ...No need for backpropagation. ES only requires the forward pass of the policy and does not require backpropagation (or value function estimation), which makes the code shorter and between 2-3 times faster in practice. 所以其实BP在很多任务里并不是加分项，并不是说少了BP就玩儿不转了。 有不少做神经网络的大神也一直在尝试做一些取代BP的事情，这个不是什么密事：连我都知道。 2. “无法feature transfer。” 抱歉，这个也大不同意。自己觉得没法做，和别人也没法做是两回事... 这个现在还不能讲太多。 3. “无法End to End。” 这也算是深度学习从业者里面常见的一个cliché. 类似于BP，E2E不是模型能够work的必要条件。另外说句题外话，如果看机器学习的历史的话，有很多非神经网络的e2e模型并不work的。。 4. “希望在这个浮躁的年代，每个人尤其是研究者保持独立思考，不要人云亦云。不忘初心，方得始终。” 这句话本身说的很对。我很赞成。

需要商榷的是：什么是始，什么是终，什么又是初心呢？ 为了准确度，在神经网络上反复调参的难言之隐，这，是初心吗？ 两年前的Embedding + Everything， 一年前的GAN + Everything 而写出来上千篇文章，这，是初心吗？ 拿着榔头满世界找钉子而写出来的上万篇应用，这，是初心吗？ 把深度神经网络炒作成强人工智能时代的来临，用一些具有误导性的demo来“展示”机器已经具备了人类的情感，这，是初心吗？ 个人认为，不同的群体，初心应该是不一样的： 作为计算机视觉/自然语言处理等做应用的人来说，抛弃了所有领域知识，只会用神经网络，个人觉得也算是忘记初心了吧。个人比较怀疑样做是解决CV/NLP的终极途径。。我不是做应用的，这方面不好多谈，斗胆建议大家读一下UCLA教授，计算机视觉的大神之一朱松纯教授的访谈：“初探计算机视觉三个源头兼谈人工智能” 。我猜，朱教授所提到的源头，大概应该算作是计算机视觉的“初心”吧。

作为机器学习这门学科的研究者，初心应该是不断推出有一些创新性的方向，从理论上有所启迪，或者提出的模型让下游的应用学科人有所收获。例如在别人不看好CNN的时候，Yann LeCun能默默的坚持下来，将神经网络的潜力发挥到极致，这算是不忘初心，这是真牛叉。

当然灌水没什么丢人的（弱菜如我，这事儿干起来无比来劲儿），为某一个理论添砖加瓦更是现代科学精神的体现。可是，你得允许世界上存在那么一小撮人，他们有尝试其他事情的权利。这就是价值观的不同了。 5. “如果有实习生来跟我讲这样一个idea，我绝对不会同意去做的工作。”

这个... 内心其实是有些庆幸。

我甚至觉得可以作为南大LAMDA组招生的宣传语：“在我们学科组，可以做一些以深度学习为技术核心的公司里绝对会被毙掉的好玩工作。”

那就宣传几句吧，其实LAMDA组的方向很全面，有专门做理论证明的高尉教授，他用了5年时间证明了一个boosting里面的一个悬而未决的大问题，是当年机器学习理论界的年度突破之一（很多人不认为能证出来），有专门做大规模分布式机器学习算法的李武军教授（每周5个小时马拉松式的组会雷打不动），有专门做深度学习的，同时也是MINIEYE的首席科学家吴建鑫教授（他的学生你们肯定知道，知乎大神 @魏秀参），还有在所有人都不看好强化学习的时候就在该领域默默耕耘独树一帜的俞扬教授（现在RL火的一塌糊涂，真是风水轮流转... ）当然还有学术洞察力令人发指的周老师镇楼，这就不用多说了。鄙组教授们方向之全，颇具优势，共同点只有一个：不随波逐流，是严肃做研究的主。作为组里的学生，在机器学习的大部分领域遇到问题，直线距离30-50米之内就能找到正确的教授，面对面给予你真正专业的帮助与辅导，这在其他地方是很难做到的。本科生开放日就要到了，请学弟学妹们关注招生情况。比心。

第一次在知乎答题，点赞破五百就把代码在六一节前放上来，作为儿童节献礼。

至少拿去刷刷Kaggle竞赛还是挺好使的。。

最后，祝大家不忘初心，方得始终（这句片儿汤话实在是百搭啊...）算了，划掉。

你若安好，便是晴天。

原文地址：https://www.zhihu.com/question/56474891/answer/158293083

朱松纯教授的访谈“初探计算机视觉三个源头兼谈人工智能”链接：http://it.sohu.com/20161129/n474464488.shtml