我想知道，如果我将BP神经网络的权重初始化为零，那么误差函数是什么类型(鞍点，局部最大值，局部最小值，..)我想从数学的角度来推断
浏览 0提问于2017-11-23得票数 1
2回答
我正在尝试在2个不同的程序中对相同的数据运行NN学习器。虽然所有东西(数据和参数)都是相同的，而且我手动将初始权重设置为相同的值(0)，但我在两个程序中得到了不同的权重。有趣的是，连续运行每个程序并不会改变独立的结果。我调试和检查的是：2)神经网络参数4)类标签(输出节点)
这些都是一样的。
浏览 2提问于2009-11-29得票数 1
回答已采纳
1回答
我刚从亚历克·雷德福德的演讲中找到了下面的动画：可见，所有算法在鞍点(导数为0)时都会大大减慢，并且一旦离开它就会加快速度。常规SGD本身只是停留在鞍点上。$$w_{t+1}=w_t-v*\frac{\部分L}{\部分w}$$
其中$v$是学习率，$L$是损失函数。总之，尽管步长是常数，为什么所有的优化算法都被
浏览 0提问于2018-08-11得票数 2
回答已采纳
我是CNN DeepLearning的初学者，我知道一个基本概念，即我们使用一些过滤器从图像中生成一组特征地图，在我们下采样之前，我们使用像“relu”这样的非线性方法来激活它。然后我们把它压平，用一个完全连接的网络来计算它的类别。并利用逆属性技术计算了地图中的所有参数.我不明白的一件事是，当我们做Conv2D时，我们会从图像中创建许多过滤器(通道)。如示例代码中所示：
model.add(layers.Conv2D(32, (3,
浏览 5提问于2020-04-22得票数 0
回答已采纳
TensorFlow的变量作用域()有一个名为' initializer‘的参数，该参数为该作用域中的所有权重提供了一个通用的初始化器。然而，我们知道核心权重和偏置权重的初始化方式不同。那么这个参数会影响这两种类型的权重吗？如果是这样，有没有办法为内核和偏置指定不同的初始化器？
浏览 0提问于2017-06-05得票数 0
6回答
神经网络训练中nans的常见原因
、、、、
我注意到，在培训期间经常出现的情况是引入了NAN。这是因为梯度计算被炸毁了吗？或者是因为权值初始化(如果是的话，为什么权值初始化会产生这种效果)？或者它可能是由输入数据的性质引起的？
这里最重要的问题是：是NANs
浏览 7提问于2015-11-27得票数 116
回答已采纳
在阅读了之后，我有点困惑于TensorFlow究竟是什么时候初始化了权重和偏差变量。根据答案，编译定义了损失函数、优化器和度量。就这样。因为compile()方法没有初始化它，所以这意味着它发生在fit()方法运行期间。然而，在加载模型或加载权重的情况下，fit()如何知道它所提供的权重实际上是有用的，不应该丢弃，然后分配随机值来代替这些权重。，在第一次划线过程中，权重</
浏览 6提问于2020-12-25得票数 1
回答已采纳
3回答
他们是不同的颜色和相似的大小。这是网络的代码。此外，当我尝试使用完全连接的网络时，准确率几乎为1。这是我用来创建self.in的代码。我已经对其进行了更改，使图像的形状保持不变，但问题仍然存在。dlist.append(data)对于self out，我有一个包含2个元素的列表，如果是三角形，则第一个元素
浏览 2提问于2016-05-12得票数 1
我准备用神经网络来进行笔迹识别，可以在这里找到：，如果权值和偏差被随机初始化，那么在几个年代之后，它就能识别超过80%的数字。如果在初始化后对所有权重和偏差添加0.27的小因子，学习速度会慢得多，但最终达到80%以上的准确率：Epoch 96 : 1706 / 2000
Epoch 97 : 1711
浏览 1提问于2020-01-31得票数 0
回答已采纳
2回答
我是datascience的新手，所以请不要把我搞砸了。现在，我们没有将权重初始化为零的原因是，如果将权重初始化为非零值，那么学习速率(eta)只会对分类结果产生影响。如果将所有权值初始化为零，则学习速率参数eta只影响权重向量的尺度，而不影响权重向量的方向。
现在，为什么？你能解释我
浏览 0提问于2017-12-30得票数 12
回答已采纳
1回答
在MusicNet的这个模型中，他们将其神经网络的初始权重设置为所有零。torch.nn.Linear(regions*k, m, bias=False).cuda()然而，人们通常将初始权重随机化，如下面的线程中所讨论的。用零初始化感知器权值反向传播中将所有初始权值设置为零的危险
基本
浏览 0提问于2019-06-20得票数 2
我的输入张量是torch.DoubleTensor类型。object of type torch.DoubleTensor but found type torch.FloatTensor for argument #2 'weight'
我没有明确指定权重的类型(也就是说，我没有自己初始化我的权重。权重由pytorch创建)。在转发过程中，什么会影响权重的类型
浏览 2提问于2018-03-21得票数 32
回答已采纳
4回答
全屏排他性模式错误
、、、、
我想使用全屏模式，但当我按下"F“键时，我仍然会遇到一个复杂的错误。我使用的是eclipse，它没有显示任何错误，而且所有的东西都是导入的。如果有人擅长代码，你能告诉我我做错了什么吗？代码片段：GraphicsDevice gd = ge.GetDefaultScreenDeviceFullScr
浏览 6提问于2013-08-05得票数 0
回答已采纳
1回答
relu', kernel_initializer='he_uniform'))我试图理解使用CIFAR-10数据集的给定代码他为什么要用kernel_initializer='he_uniform'?
model.add(
浏览 1提问于2020-11-06得票数 1
回答已采纳
1回答
具有随机权重的神经网络无法学习
、、、、
我希望将使用在imagenet上预先训练的VGG16模型的分类器与不使用imagenet权重时的性能进行比较，因此我使用根据，使用"weights=None“会产生随机初始化权重。我现在的问题是，神经网络总是给出相同的<
浏览 1提问于2018-05-07得票数 1
3回答
Keras模型预测结果相反
、、、、
我在Keras中训练了一个名为model_2的模型，并使用model.predict进行预测，但是我注意到，当我重新运行代码时，结果完全不同。例如，第一次column 0的所有概率值都接近1，但是下一次它的概率值都接近于0。这与我在其他帖子中提到的内存或stateful参数有关吗？) display(prediction, pred)
矛盾结果的例子
浏览 8提问于2021-03-17得票数 0
回答已采纳
2回答
我想用VGG16训练一个模型来根据无线电信号的调制类型进行分类。类似于本文(基于空中深部学习的无线信号分类)，因此我使用Keras从头开始构建模型，并将输入形状设置为(2,1024) 1024个复杂点：num_classes =, epochs=epochs, verbose=2, validation_data=(x_val, y_val), callbacks=callbacks)Epoch 2
浏览 0提问于2020-02-18得票数 1
2回答
跳格模型的输出是什么样子的？
、、、、
据我所知，跳过图模型的输出必须与许多培训标签进行比较(取决于窗口大小)。Ps。我能找到的最相似的问题是：
浏览 4提问于2021-05-17得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
