Yoshua：深度学习AI迈向人类水平的挑战

来源：学术头条

本文约2000字，建议阅读5分钟。

本文介绍了蒙特利尔大学计算机科学与运算研究系教授Yoshua Bengio作《Challenges for Deep Learning towards Human-Level AI》主题讲座。

CCF YOCSEF学术委员会主席唐杰和清华大学计算机系老师崔鹏共同主持讲座。讲座现场座无虚席，很多同学提前1个半小时就到现场去占座。

在本次讲座中，Yoshua教授介绍说目前的人工智能距离人类水平仍然十分遥远，当前人工智能在工业应用的成果主要是基于监督学习方法。人工智能仍然面临巨大挑战，即无法像人类一样自主理解外界、与环境交流。Yoshua深度探讨了深度学习模型的具体内容，如何实现对抽象特征的多层次学习，如何更好地进行表示学习，使用判别器优化信息间的独立性、相关性和熵，BabyAI框架等话题。

他于2017年发表的论文《The Consciousness Prior》，里面提到与完整的状态相比，有意识的思想是非常低维度的对象，无意识的大脑=类似于基于规则的系统中的句子或规则，但它们具有意想不到的预测价值或有用性。

论抽象与注意力的关系

注意力可以集中在大集合中的一些元素上

软关注允许通过基于梯度的优化来训练此过程backprop

与稀疏自动编码器不同：控制器有条件地选择焦点

关于认知的 system1 和 system2

两个系统（和认知任务的类别）：

系统1：直观、快速的启发式，无意识的、非语言的，当前的深度学习能够做得很好。

系统2：缓慢的、有逻辑和顺序的，有意识的经典的符号AI试图做的事情

教授提到一个很有意思的假设：外来语言理解：思想实验。

他让大家想象一下，你自己正在接近另一个星球并观察外星人相互交流所交换的信息与地球不同，它们的通信信道噪声很大，但是在地球上，带宽是昂贵的，最好的通信方式是最大限度地压缩消息，从而导致实际交换的随机比特序列。如果我们只观察压缩的消息，我们就无法理解外来语言。

那么我们怎样才能学会理解外星语言？

我们需要进行地面语言学习：我们需要观察外星人与他们的信息共同做些什么，试图破译他们的意图，背景等。为此，我们需要建立一个“外星世界模型”，它可以捕捉到他们行为的因果结构，从而改变他们的环境。

教授问道我们应该先学习一个世界模型，然后再学习它的自然语言描述？还是AI应该共同学习语言和世界？并表示自己更倾向于后者。他说考虑受监督的ImageNet分类器的顶级表示，与无监督学习所学到的相比，它们往往更好，更容易学习。为什么？因为语言（此处为对象类别）为学习者提供了相关语义高级因素的线索，从中可以更容易地进行概括。你无法单纯从大量的语言文本本身来理解它，必须同时学习world model和语言。

教授还提到了关于iid假设的弱化，即假设测试数据来自与训练数据相同的分布太强，并且在实践中经常被违反，导致分布不均匀的泛化。并表示建议考虑宽松的假设：测试数据是在相同的因果动力学下生成的，但是来自不同的初始条件，通常不太可能服从同样的训练分布。

讲座最后设置了半个小时左右的提问环节，Yoshua教授既专业又幽默地回答了大家的问题，现场气氛十分活跃。