通用学习机全新理论体系简介
转自：http://www.cyberkey.cn/?p=2959
文章的英文原文的链接：http://arxiv.org/pdf/1706.00066.pdf
1 背景1 — 机器学习和人工智能
首先对人工智能和机器学习做一个最简单的背景介绍。人工智能是使用计算来模拟以及实现类似于人的智能的技术。其中又分为比较专用的人工智能（AI），以及通用人工智能（AGI）。AI和AGI专注的地方很不同。例如战胜人类围棋选手的围棋程序AlphaGo，就是典型的AI。而专注于更广泛领域的智能的程序，例如美国天普大学的王培教授的NARS系统，就是一种AGI。机器学习和AI以及AGI都有所不同。很多人把机器学习看作是AI的一个部分。这个看法的确也有道理。但是，把机器学习看作这样一种技术其实更接近实际，即，让计算系统通过学习来获得处理某种信息的能力，而不必完全依赖人工编程。更明确说，机器学习，是通过对计算系统输入大量的外来的数据，计算系统对这些数据进行处理，并且在处理过程中，对计算系统本身进行修改，进而，在大量的数据和计算后，该计算系统获得对某种特定信息进行处理的能力。这种机器学习的技术目前已经应用到了很多领域，例如围棋程序AlphaGo，图像识别程序，语音识别程序，机器翻译程序，自动驾驶，等等。这些都可以看作机器学习成功运用于AI的范例。但是应该明确，机器学习本身并不是智能，那些AI程序也不必一定采用机器学习来做，例如自动驾驶，很大一部分实际上由人工编程实现。
但是，机器学习的确是一种非常重要的技术，有非常远大的前景。其实机器学习很早就产生了。举例来说，哈佛的Valiant教授就是因为他在70和80年代的对机器学习的研究而获得图灵奖的。但是，机器学习走向大量实际应用却是最近的事情。直到2007年，才有了深度学习的突破，然后才有了最近这些年的机器学习特别是深度学习的热潮。深度学习是一种机器学习的方法，建立在多层人工神经网络上，使用大数据，采用一些特定的训练方式，从而达到学习目的。
介绍深度学习技术的资料很多。这里我们推荐阅读资料：
https://zh.wikipedia.org/wiki/深度学习
2 背景2 — 现有机器学习的困难
虽然深度学习取得了巨大的成功，深度学习仍然有一些公认的关键问题。这些问题很可能成为发展的瓶颈。直到我们的文章发表以前，基本上深度学习的理论基础还没有建立。究竟深度学习里面在做什么，一直是人们争议的热点。为什么能够取得这样的巨大成功？一直众说纷纭。甚至于还有很多人在疑惑，究竟深度学习真是在做学习，还是仅仅是某种函数逼近。深度学习需要采用大数据来驱动学习。但是，应该是什么样的数据？数据究竟应该多大才起作用？这些是非常核心的问题。但是在我们的文章发表以前，尚无对这些核心问题的理论研究结果。深度学习需要采用超大规模的人工神经网络，这是非常昂贵的。那么对某种特定问题，这个网络的规模究竟应该多大？这也是非常核心的问题。同样尚无理论研究结果。其实，还有很多重要的问题，如深度学习的表征空间是什么？是否有更有效的学习方法？怎样去降低计算负担？怎样降低功耗？深度学习可以学习任何东西吗？等等。
3 机械式学习的简介
正是对这些理论问题做深入的研究，才促使了机械式学习和通用学习机的产生。所谓机械式学习就是一种计算系统，遵循机械而且固定的规则，它可以根据其输入来修改自己处理信息的能力。我们长期关注机械式学习，深入研究这些理论问题，经过长期艰苦的研究，已经对机械式学习建立一个清晰的数学理论。目前的这篇文章就是对这个数学理论的描述。在此理论结果的基础上，通用学习机就自然产生。
机械式学习理论的一个重要方面，就是建立了X-形式（X-form）。这是一种新的数学工具，可以用于完善描述学习的过程和结果。X-形式的有很多应用。我们用它来建立数据充足性概念，定义了充足支持性和充足包围性。这样就建立了对学习必须的数据进行描述的数学框架，建立了对数据的充足性进行计算的框架。因此，大数据就再不是一句空话，而是可以实实在在计算的概念了。就是说，如果需要对某个任务进行学习，那么需要什么数据，需要多少，都是可以计算的。这样就摆脱了盲目性。
机械式学习理论的另一个重要方面是对学习机的表征空间进行了探索和规范。这个表征空间，未必是直白和明显的，但是，必然存在。其实现形式非常多样，但是，最终将等价于X-形式的一个集合。这样就可以统一理解学习机。因此我们就很清楚，机械式学习就是在表征空间中的动力学，从一个X-形式变动到另一个X-形式。进而，如果我们在深度学习中导入表征空间，我们就可以很清楚看到，用我们的术语讲，深度学习就是：把X-形式嵌入巨量参数空间，并且导入求极限的动力学运动，以寻求最佳的X-形式。而且我们证明了，如果有充足支持和充足包围的数据，就可以实现学习目标。这就清晰揭示了现有的机器学习究竟内部在做什么，解决了急需的理论问题。而且具备很强的实用性（就是说可以达到XAI）。
这里对X-形式再讲几句。X-形式是我们新定义的数学对象，对表达学习机内部的基本状态乃至更多的认为都起重要作用。目前对这个数学对象仅有相当初步的研究。我们认为，这里面将有很多研究题目，其发展也将占有重要位置。我们欢迎大家来参与研究发展。
通用学习机是一种机械式学习，基于一些简单而且机械的原则，就可以从外界数据中学习，进而获得处理信息的能力。这样的学习机，是人们非常期望的，因为它可以学习任何东西，很强大。肯定地说，现有的机器学习方法，都不是通用学习机，他们都仅能对某种特定任务进行学习（这是在系统设定时确定的）。从理论上讲，通用学习机可以学习任何外界图式（pattern），不用人工干预，仅通过外界提供足够的数据（不必是大数据，仅是足够的适合的数据），就可以促使通用学习机学会对某种信息的处理能力。从数学理论上讲，这已经明确。但是，我们还需要大量发展机械式学习理论，使得我们获取更多的能力来处理通用学习机。
4 通用学习机的简介
通用学习机将采用机械式学习。机械式学习，就是不须任何人工干预，基于一些简单而且机械的原则，就可以从外界数据中学习，进而获得处理相关信息的能力。所谓通用，指的是可以学习任何东西，并不仅仅局限在某种特定的对象（目前的深度学习即是如此，局限在其系统设定的对象上面）。通用学习机建立在机械式学习的理论基础上，建立自己的独到的表征空间，并且建立自己的学习策略和学习方法，已经从理论上证明，通用学习机可以学习任何外界图式（pattern），不用人工干预，仅通过外界提供适当数据，不必是大数据，仅是足够数据，就可以促使通用学习机学会对特定信息的处理能力。
通用学习机尚在发展的最初期。对未来我们未必就完全清楚。但是我们有充分的理由来相信，通用学习机将和上个世纪40年代的通用计算机（即冯·诺依曼提出的计算机，也是现在所有计算机的基本框架）一样，有远大的前途，甚至于，通用学习机将成为新一代计算的基本框架。这样新一代的计算就可以通过编程来赋予其处理信息的能力，也可以通过学习来赋予其能力。这样的新一代计算系统，将最终超越现有的计算系统。
通用学习机可以有多样的具体实现方式。我们已经发明了OSIPL学习机，这即是一种具体的实现通用学习机的方式。请查看中国国家知识产权局的专利申请号：20170298481.2。这个具体发明中设计的表征空间，具备用以实现极低功耗的特征。因此这个具体的学习机，可能引入新的硬件的发展。我们认为，肯定有更多方式来实现通用学习机。欢迎大家来参与发明。
5 通用学习机的优势
这里对通用学习机的优势做一些简单的描述，可能很不全面。
A）建立了与现有的深度学习完全不同的表征空间和方法。因此具备了多种可能性。其中很重要的一项就是，可以对学习机的行为作出完全的解释和达到完全的控制（即所谓的XAI，而寻求XAI是目前工业界的急迫需求）。
B）既可以用编程来赋予其处理信息的能力，也可以用学习的方法来赋予。这是现在的所有机器学习不可能做到的。
C）可以采用多种学习策略和学习方法，完全可以采取和现有深度学习相同的方法（即嵌入巨大参数空间，并且导入求极值的动力学），也可以采取现有的学习无法企及的方法（如,在充足支持的数据驱动下，逐级提取抽象的动力学）。还可以采用教学灌输的学习方法。
D）可以很自然容纳5种不同的学习方式一起使用（即：逻辑推导方式（亦称为符号方式），连接主义方式，概率方式，进化论方式，联想方式），这样的自然容纳对于现有的学习（深度学习尤其如此）都是困难的。
E）完全有条件做到低功耗。现有的深度学习，对此将非常困难。
F）很有希望用通用学习机的原理来做出一种学习机，其处理信息的方式，比较接近人脑处理视觉信息。而且可以由浅入深，由简单到复杂进化。
G）具备很强的拓展潜力。综合而言，有潜力成为集成信息处理和学习为一体的新一代计算的基本框架。这是目前的所有机器学习都不具备的潜力。
综合这些技术优势，通用学习机具备超越现有的深度学习的潜力。当然，通用学习机还在发展的初期。上面讲的优势，还有待具体实现。我们非常欢迎高手来参与研究发展。请联系我们。