《神经网络基础》考试复习材料

本文由腾讯云+社区自动同步，原文地址 https://stackoverflow.club/article/neural_network_base_test/

填空

1. 在生物神经元中，树突 接收来自其它神经元的输入，轴突给其它神经元提供输出，神经元与神经元之间通信的连接称为突触         。 
2. 最早的人工神经网络是感知器（Perceptron）人工神经网络模型，它由美国计算机科学家罗森布拉特（F.Roseblatt）于1957年提出，提出采用Hebb学习规则或最小二乘法来训练感知器的参数， 而目前应用最为广泛的神经网络模型则是                  。 
3. 对于人工神经网络而言，神经网络的学习方法归根结底就是                的调整方法。 
4. 在统计学习理论中反映学习机器复杂度的指标是                    。                                                                          
5. 1982年，美国加州工学院物理学家John Hopfield发表了一篇对人工神经网络研究颇有影响的 论文“Neural Networks and Physical Systems with Emergent Collective Computational Abilities”，有力地推动了神经网络的发展，标志着神经网络开始由 低潮阶段转入复兴阶段。在这篇论文中作者引入了联想记忆和优化计算 的反馈互连网络的概念，给出了神经网络的稳定性判据，并用来进行约束优化问题。 
6. 在实际的神经网络中存在一种现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制，我们把这种现象称为                现象，自组织竞争人工神经网络就是在基于这种现象的基础上生成的。 
7. 在竞争学习策略中采用的典型学习规则称为               ，其英文写法是                 。 
8. BP网络的学习过程由                           与                      两个过程组成。 
9. 在支持向量机学习算法中，位于最优分类线（面）上的训练样本点称为                   。 
10. 前馈型神经网络的学习训练主要采用BP算法，计算过程和收敛速度比较慢；反馈型神经网络的学习主要采用              规则，一般情况下计算的收敛速度很快。 
11. 自适应线性元件采用的是                    学习规则对权值进行训练

名词解释

1. 泛化能力
2. 有监督学习
3. 过学习
4. Hebb学习规则

当某一突触(连接)两端的神经元同步激活(同为激活或同为抑制)时，该连接的强度应增强，反之，应减弱

数学方式描述：

Hebb学习规则基于假设：

• 在神经网络中，信息存储在连接权中；
• 连接权的学习（训练）速率正比于神经元各激活值之积；
• 连接是对称的。即从神经元A到神经元B的连接权与从神经元B 到神经元A的连接权相同；
• 在学习训练时，连接权的强度和类型变化，这种变化建立起细胞之间的连接。
• 自学习

问答

1. 人工神经网络是模拟生物神经网络的产物，除相同点外，它们还存在哪些主要区别？
2. 感知器神经网络存在的主要缺陷是什么？
3. 请比较前馈型神经网络与反馈型神经网络的异同点。
4. BP算法的主要思想是什么，它存在哪些不足之处？
5. 请描述结构风险最小化原则（SRM）的思想，并给出其数学表达式。
6. 简述神经网络的基本特征和基本功能

基本特征：（1）非线性。人工神经网络元处于激活或者抑制两种不同的状态，这种行为在数学上表现为一种非线性关系，具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。（2）非局限性。一个神经网络由多个神经元广泛连接而成，一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。3）非常定性。人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。

一小段一小段复制百度文库的内容太蠢了，要看答案见这篇文章

1. 神经网络的模型分为哪几类,试述神经网络的典型结构,常用的作用函数及各类神经网络的基本作用
2. 论述BP算法的基本思想，讨论BP算法的优缺点，以及改进算法的思路和方法[2]
3. 论述RBF算法的基本思想[2]
4. 试述支持向量机的基本思想，结合文献给阐述一具体应用实例[2]

推导

1. 给定图1所示的具有一个隐含层的BP简化网络图，请给出BP算法的完整推导步骤

具有一个隐含层的BP简化网络图

图中，设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活函数为F1，输出层内有 s2个神经元，对应的激活函数为F2，输出为A，目标矢量为T

参考：

1. 百度文库
2. 百度文库
3. 百度文库 有答案
4. 考察深度学习基础知识的45道题目（附答案）