经验总结：深度学习怎么找idea发论文？

头条号：深度视野 新东方教育科技集团AI研究院算法工程师 科技领域创作者

深度学习属于人工智能的连接学派。如果你仔细看看或许觉得神经网络和集成电路比较相似。这里面暗含了一个基本思想：模块化。所以深度学习通俗一点就是“积木游戏”。所以深度学习创新可以类比积木游戏创新就主要来源于三个方面：（1）创造新的积木类型。（2）创造新的堆积木的方式，堆出不同形状。（3）堆积方法用于不同的游戏场景。

以下从这三个方面展开来讲：

（1）创造新的积木类型

拿激活函数举例：relu、leakly relu、parameter relu... sigmoid、tanh。按网络基础构成算子举例：全连接fc，卷积conv，循环算子lstm，gru。

尝试着从数学库里面找一个理论，将它算子化，也许这就是一篇不错的论文。以前专家总是手工来寻找这样的算子，现在google的大神们借助算力使用automl，autodl来自动寻找算子，如果你也有功能强大的算力你也可以尝试着用算力自动寻找新的“积木算子”，如果这个算子恰好又是神奇的提高了神经网络的性能，那么人工智能深度学习领域又将多一个大神一样的人，而这个人恰好就是你。

（2）创造新的堆积木方式

resnet很大程度受益于highway network的启发，将X直连到下一层这个概念在论文发出来之后其实看看觉得蛮直观的，但为什么其他人都想不到呢？这个问题我也在问自己，O(∩_∩)O哈哈~。再举个例子：Conv层如何堆，是同型Conv堆积还是不同kernel size的conv进行堆积，也许这就是alexnet，googlenet等不同卷积网络的区别。

目前google也借助遗传算法等自动找到新的堆积木的方式，发了很多高水平的论文，如果我告诉大拿科学家他们这仅仅是堆积木的方法不同“无他但手熟尔“，他们会不会生气打我。

（3）堆出的积木形状用于不同的场景

Attention注意力机制最先出现在NLP领域，后来进入了语音识别和合成领域还有CV计算机视觉领域。仅仅是相同的积木用在了不同的场景罢了，最先发现新的应用场景的人成了他所在领域的大神，如果我说大神仅仅是搬运工相信大神也会打我的。

以上三种方式不一定概括全面，但我认为能做到上述任意一条的都是一个不错的想法。当然"积木游戏"要玩的好，一定需要“多玩”，所谓多玩意味着多看论文看看人家怎么玩，玩的好的人怎么玩，学着按别人的套路玩，最后自己找到一种新玩法，反复训练自己的新玩法达到纯熟，干翻一堆老玩家，你就是终极玩家了。

综上所述：

深度学习不简单，但也不必想的过于复杂。灵活的应用上述提到的三条，随意创新、大胆实践做实验，相信很快你就能发出很多高水平的论文了。

两句话总结：

1.实践是检验真理的唯一标准

2.无他但手熟尔