在tensorflow中，我们可以在序列模型中添加L1或L2正则化。我在pytorch中找不到类似的方法。我们如何在net的定义中为pytorch中的权重添加正则化： class Net(torch.nn.Module):
def __init__(self, n_feature, n
浏览 70提问于2021-02-02得票数 3
回答已采纳
(举个例子)在实现noutput目标值的简单线性模型时，将其作为pytorch中的神经网络：(打电话)returnyoptimizer.add_hook(optimizer.WeightDecay(rate=0.01))
对于从所有nin
浏览 1提问于2018-04-22得票数 0
回答已采纳
我想知道如何在TensorFlow中的LSTM中实现l1或l2正则化？TF不提供LSTM的内部权重，所以我不确定如何计算范数并将其添加到损失中。目前，我的损失函数仅为RMS。
的答案似乎还不够。
浏览 2提问于2016-06-17得票数 1
我正在尝试使用正则化( L1或L2)实现逻辑回归。mnrfit()函数不实现正则化。有没有什么内置的函数可以做正则化，或者我必须自己编写正则化代码？如果是这样的话，有没有我可以看的教程？我一直在看的论文在数学上是相当密集的。
浏览 5提问于2013-03-26得票数 1
回答已采纳
1回答
我在不同的地方见过这样的说法: l1正则化比l2更能惩罚权重。
但l1范数的导数为\lambda，l2范数为2\lambdaw，因此l1正则化减去的值比l2小。那么为什么l1比l2更能惩罚重量呢？还是这样说是不对的？
浏览 0提问于2020-05-17得票数 6
回答已采纳
1回答
平方根正则化与高损耗
、、、
我正在测试平方根正则化(前面已经解释过)，在一个神经网络的pytorch实现中。平方根正则化，即l1/2，就像l2正则化一样，但不是权值的平方，而是取其绝对值的平方根。)是p的绝对值，即权值，torch.sqrt()是平方根，.sum()是单个权重的结果之和。在没有正则化</
浏览 0提问于2019-04-09得票数 2
回答已采纳
如果我考虑一个数据集，对于相同的损失函数和相同的优化器，哪种正则化技术(L1正则化或L2正则化)将输出最高的稀疏权重？
浏览 4提问于2019-09-17得票数 1
2回答
查看发布在BVLC/caffe git上的示例，其中有一个训练元参数这个元参数是什么意思？我应该给它赋什么值？
浏览 0提问于2015-08-24得票数 24
回答已采纳
1回答
对于不同的特征值，过度拟合的模型往往有很大的差异(有些很高，有些相对较低)。因此，这意味着模型(当绘制成图)的斜率变化很大，即使是训练数据值(特征值)的微小变化也会导致输出的大变化。为了平滑具有高斜率变化的过拟合模型/曲线，我们使用正则化(例如: L1/L2)。
L1正则化消除了模型中不必要的</em
浏览 0提问于2022-01-04得票数 3
我使用的LogisticRegression与penaly=l1 (套索正则化，而不是脊正则化l2)。Lasso使优化函数通过将部分特征权重设置为零(而不是脊线正则化，即保留一些非零权重的特征)来进行隐式特征选择。是否有可能以某种方式从滑雪板中提取这种权重信息(特征选择)？
浏览 0提问于2016-09-24得票数 1
我想知道轻型GBM中L1 & L2正则化是如何工作的，以及如何解释特性的重要性。为了避免过度拟合/反求，我为alpha/L1 & lambda/L2参数提供了以下范围，并且根据随机搜索的最佳值分别为1& 0.5。reg_lambda和alpha提供任何输入的特性重要性值有很大的不同。正则化模型
浏览 0提问于2019-08-08得票数 6
回答已采纳
1回答
我已经阅读了各种TensorFlow教程，试图熟悉它的工作原理；我开始对使用自动编码器感兴趣。我从使用Tensorflow的模型库中的模型自动编码器开始：
然而，我的自动编码器给了我看起来像垃圾的权重(尽管准确地重新创建了输入图像进一步的阅读表明，我遗漏的是我的自动编码器不
浏览 6提问于2017-02-23得票数 10
3回答
如何计算L1和L2正则化的损失，其中w是Python线性模型的权重向量？正则化应在不考虑权重中的偏差项的情况下计算损失
def l2_reg(
浏览 0提问于2019-11-18得票数 0
1回答
模型初始化后激活的正则化
、、、、
我想在预先训练过的网络上添加Tensorflow.keras激活的正则化，使用层上的循环。如果我想规范权重或偏差，我可以这样做：l2=0.001 if isinstance(layer, DepthwiseConv2D,l2)(layer.bias))
据我所知和测试:这是可行的。但是，我不清楚如何为激活正则<
浏览 0提问于2019-09-16得票数 0
回答已采纳
我想将L2正则化添加到自定义contrib.learn估计器中，但我不知道如何轻松完成。
有没有办法将L2正则化添加到我忽略的现有估计器(例如DNNClassfier)中？我想要将L2范数添加到我的自定义估计器中的唯一方法是编写一个新的head，并更改成本函数。但我想对于这个常见的</
浏览 4提问于2017-03-27得票数 0
我正在使用Keras和tensorflow后端来训练一个有多个输出但只有一个损失的模型(输出层“部件”上的MSE)。它的定义如下： model = Model(inputs=[image, year], outputs=outputs) # outputs is a list of 8 output layers verbose=1
) fit_generator打印总损失
浏览 21提问于2019-09-12得票数 2
回答已采纳
3回答
这个问题涉及到轻型GBM中的L1 & L2正则化参数。根据正式文件：我见过数据科学家同时使用这两个参数，理想情况下，要么使用
浏览 0提问于2019-08-08得票数 17
回答已采纳
1回答
我目前正在为我正在做的Q-Learning优化奖励价值。所以现在我考虑两个值来计算一个特定的奖励值。因为这是与工作相关的，所以我不能指定我考虑的变量名。奖励的形式是：reward = a + b，其中a从list: [10, 20, 40, 60, 80]中获取值，b可以是0 to infinity ie b ε [0,∞)中的任何值。即使b的值不会很大，它也可以取范围内的任何值。
因此，情况是这样的</em
浏览 3提问于2018-01-31得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
