我正在尝试在没有太多外部帮助的情况下编写线性回归程序，我已经在一定程度上成功地完成了这项工作，因为我的MSE通常返回一个很小的数字，并且输出的最佳拟合结果看起来是正确的。我只是有一个关于下面最后一行代码的问题。优化器是否也改变了偏差，如果是的话，是通过学习率改变</e
浏览 17提问于2019-01-30得票数 0
回答已采纳
当我增加/减少SGD中使用的小批量的批量大小时，我应该改变学习率吗？如果是这样，那么是如何实现的呢？
作为参考，我正在与某人讨论，有人说，当批量增加时，学习率应该在一定程度上降低。我的理解是，当我增加批量大小时，计算的平均梯度将不
浏览 2提问于2018-10-29得票数 59
回答已采纳
我要解决的问题如下：
数据是N_users=6041和N_movies=3953的Movielens，收视率为100万。对于每个用户，定义了一个大小为N_movies的向量，如果用户在T时间之前对电影进行评级，则该向量的值为1，如果没有，则为0。例如，如果用户对电影3和5评级，则输入向量为0 0，1，1。目标是预测用户在未来(时间T和T+delta T之间)的电影评分。标签是大小为N_movies的
浏览 0提问于2018-10-19得票数 2
2回答
在课程中，没有关于时代的东西，但在实践中，它们随处可见。如果优化器在一次传递中找到了最佳权重，我们为什么还需要它们。为什么模型会有所改进？
浏览 1提问于2017-03-10得票数 4
3回答
在神经网络中，梯度下降会查看整个训练集以计算梯度。成本函数随着迭代的进行而减小。如果代价函数增加，通常是因为错误或不适当的学习率。
相反，随机梯度下降计算每个单个训练示例的梯度。我想知道成本函数是否有可能从一个样本增加到另一个样本，即使实现是正确的并且参数调整得很好。我有一种感觉，代价函数<e
浏览 2提问于2018-05-16得票数 0
我试图使用两个图像之间的SSD作为我的网络的丢失功能。ReluGrad input is not finite. : Tensor had Inf valuestrain_step = tf.train.GradientDescentOptimizer(0.01).minimize(ssd_min_1)
我的观察是否值得期待编辑：@mdaoust建议被证明
浏览 2提问于2015-11-17得票数 4
回答已采纳
我在读斯坦福大学的CS231n。试图理解为什么会发生以下情况。这是密码。数据是形状的(49000，32，32，3)。这不是学习速度的问题，因为我尝试过不同的'learning_rates'值，learning_rates[0]总是进行得很好，但是无论实际值是什么，使用下面的learning_rates都会变得非常慢。我在print()类中添加了一些Solver()语句来尝试调试它。对于lr[0]，名义上一切都进行得
浏览 3提问于2019-01-09得票数 1
回答已采纳
当使用GradientDescentOptimizer而不是Adam优化器时，模型似乎并不收敛。另一方面，AdamOptimizer似乎工作得很好。来自tensorflow的GradientDescentOptimizer有什么问题吗？
浏览 2提问于2017-09-16得票数 5
回答已采纳
1回答
对于Adam和RMSProb等自适应学习优化器，不同权重参数的有效学习率并不相同。这意味着我们并没有真正遵循权值空间中最陡峭的向量的方向，对吗？如果是这样的话，那么我们为什么首先要费心计算梯度(通过后端)呢？
浏览 0提问于2018-05-15得票数 2
我阅读了Andrew NG的机器学习教程，在线性回归中遇到了梯度下降。当我尝试使用Python查找同样的内容时，我在youtube教程中找到了：向Souvik Saha Bhowmik致敬
浏览 2提问于2016-10-20得票数 0
我想实现一个自动编码器，论文说它使用了亚当优化器，初始学习率为...重量衰减设置为...opt = SGD(lr=1e-2
浏览 0提问于2021-01-07得票数 0
在Keras中，如果将模型的损失函数乘以某个常数C，并将学习率除以C，那么训练过程中就不会出现差异，这是真的吗？def my_loss(y_true, y_est): 在第一个场景中，我使用学习率等于0.005的Adam优化器，并使用该损失函数和优化</e
浏览 0提问于2017-10-18得票数 1
8回答
选择学习率
、、、、
我目前正致力于利用反向传播实现神经网络的随机梯度下降( SGD )，虽然我理解它的目的，但我有一些关于如何为学习速率选择值的问题。如果不是我应该选择什么样的
浏览 0提问于2014-06-16得票数 114
回答已采纳
3回答
我试图发展随机梯度下降，但我不知道它是否是100%正确的。
我的随机梯度下降算法所产生的代价有时与F对联C算法或批处理梯度下降算法产生的代价相差甚远。当我设置学习速率α为0.2时，批梯度下降成本会收敛，但为了不发散，我不得不为随机实现设置一个学习速率α为0.0001。这是
浏览 1提问于2014-01-25得票数 9
回答已采纳
1回答
MLP中ReLu的收敛性问题
、、、、
我只使用numpy从零开始在python中创建了神经网络，我正在处理不同的激活函数。我所观察到的非常奇怪，我很想知道为什么会发生这种情况。
我观察到的问题取决于初始权重。当使用乙状结肠函数时，如果权重是0,1、-1,1或-0.5,0.5范围内的随机数，那就无关紧要了。但是在使用ReLu时，当我在范围-1,1中使用随机权值时，网络常常会遇到一个很大的问题。但是当我将权值的初始化范围更
浏览 0提问于2020-12-10得票数 1
回答已采纳
我对adam优化器在tensorflow中的实际工作方式感到困惑。但当我调用函数时，我会给它一个学习率。={eta:1e-3})
所以我的预计到达时间不能改变。而且我不会传入时间变量。或者这是某种生成器类型的东西，在创建会话时，每次我</em
浏览 0提问于2016-06-16得票数 15
回答已采纳
我有一个包含2列、一个输入和输出列的csv数据集，当我使用Excel查找趋势线时，我得到：当我运行以下代码w并收敛到不同的值时，这取决于我选择的学习率和批处理大小我曾尝试过不同的价值观，但没有任何运气。也许我错过了什么？
成本似乎也没有变化。
浏览 1提问于2018-08-25得票数 0
这两个代码之间有区别吗？Loss.backward()2Loss.backward()当我检查最后一个backward()之后的参数梯度时然而，训练后的测试精度略有不同。
我知道这不是一个常见的案例，但它与我正在做的研究有关。
浏览 3提问于2020-05-27得票数 0
我正在评估keras和tensorflow联合模型的性能以解决回归问题。性能基本上是两者的MSE。唯一的区别是: 1.拆分数据集的方式。worksheetSNN.write(row,col,val)当前的结果是(Local_Loss用于keras模型，FL_Loss_arr:是每个客户端的</e
浏览 2提问于2019-06-09得票数 1
使用TPU，我尝试将experimental_steps_per_execution传递给model.compile(...)，我确实看到了很大的加速，但对于确切的学习率时间表，我注意到当训练完成时，准确率下降了2-3%。总而言之，我唯一改变的就是这个参数。 我还没有找到任何关于这个参数的详细文档。虽然它似乎加快了训练，但我不清楚“算法”
浏览 77提问于2020-11-02得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
