模型驱动的深度学习方法

本篇文章是博主在人工智能等领域学习时，用于个人学习、研究或者欣赏使用，并基于博主对人工智能等领域的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅解。文章分类在学习摘录和笔记专栏： 学习摘录和笔记（22）---《模型驱动的深度学习方法》

模型驱动的深度学习方法

1 深度学习的进展

在具有挑战的应用问题上取得的进展：

1. 深度学习算法将人脸识别问题的准确率提升至99%，击败了人类在人脸识别方面的准确率。
2. 在语音识别和机器翻译领域，深度学习的性能也已经达到同声传译的水准
3. 在象棋，围棋领域，深度学习成功击败了人类世界冠军选手
4. 在一些特定疾病的诊断问题中，深度学习达到了中高级专业医师的水平

2 深度学习的方法

深度学习方称为数据驱动方法是因为它只依赖数据解决问题。

开发深度学习技术需要一些必要条件，例如海量的标注数据（数据的充分性），充足的计算资源，以及选择具体的神经网络层数、每层神经元数、激活函数类型等网络结构参数的工程经验。

人们对于网络拓扑结构与网络性能之间的联系缺乏理论上的认知。

网络拓扑结构的选择依然依靠于工程实践而非依靠科学研究，这直接导致了现在的大多数深度学习多半是缺乏理论基础的启发式方法。

3 模型驱动的的方法

模型驱动的方法指的是使用基于特定任务的目标、机理和先验构建起来的一个代价函数模型.

显著特征是：当模型足够准确时，其结果在绝大多数情况下可预期甚至取得最优，并且其最小化算法是具有确定性的。

致命缺陷是：在实际应用中对一个具体任务进行精确建模是困难的，有时候追求精确建模是一种奢望。

4 模型驱动的深度学习

一个很自然的问题便是我们是否能够依据理论来设计网络结构，并且使网络是可解释以及可预测。

通过结合模型驱动方法和数据驱动的深度学习方法是可能能解决这一问题的。

4.1 模型驱动的深度学习方法的主要过程：

1. 首先基于任务背景（例如目标、机理以及先验知识）构建一个模型族（Family of Models）。模型族是指具有大量未知参数的函数族，类似于机器学习中的假设空间。
2. 之后设计用来解模型族的算法族（Family of Algorithms），并且建立该算法族的收敛性理论。算法族指的是用来在函数空间中使模型族最小化的具有未知参数的算法。
3. 将算法族展开（unfold）成一个深度网络，它的参数像深度学习方法一样被学习。由算法族的收敛速度估计确定深度网络的深度，由算法族的参数限制条件确定深度网络的参数学习空间，算法族中的所有参数在深度网络的每一层设置为自由变量。

深度网络的拓扑结构完全由算法簇唯一确定，从而可用任一成熟的深度学习算法进行训练。

5 模型驱动的深度学习方法优缺点

模型驱动的深度学习方法显然保留了一些模型驱动方法的优势（其确定性与驱动性）同时也避免了必须精确建模的缺点。它同时也兼备了深度学习方法强大的学习能力，而又克服了网络拓扑结构选择的困难。

这使得深度学习方法的可设计性和可预测性变成可能，并且在实际应用中很好地平衡了通用性和相关性之间的关系。

指出模型驱动的方法和数据驱动的方法二者之间并非相对的关系。

因为如果模型是精确的，它将提供关于问题本质的描述，从这些本质中我们可以生成无限的理想数据样本，反之亦然：当我们拥有充足的样本数据时，问题的模型也便以“表型”形式充分地（但是离散地）展现了，这是模型驱动深度学习方法有效性的本质原由。

参考：徐宗本 李航 《徐宗本 孙剑：模型驱动的深度学习》

文章若有不当和不正确之处，还望理解与指出。由于部分文字、图片等来源于互联网，无法核实真实出处，如涉及相关争议，请联系博主删除。如有错误、疑问和侵权，欢迎评论留言联系作者