梯度下降中的Inf和Nan
在梯度下降中，"Inf"代表无穷大（Infinity），"Nan"代表不是一个数字（Not a Number）。这两个概念通常与数值计算和优化算法相关。
- Inf（无穷大）：
- 概念：在数值计算中，当一个数超过了计算机所能表示的最大值时，就会被表示为无穷大。
- 分类：正无穷大（+Inf）和负无穷大（-Inf）。
- 优势：无穷大的概念在数学和计算中有重要的应用，可以表示某些极限情况或者无限增长的趋势。
- 应用场景：在梯度下降算法中，当损失函数的梯度过大或学习率过大时，可能会导致参数更新过程中出现无穷大的情况。
- Nan（不是一个数字）：
- 概念：当一个数无法被表示为有效的数字时，就会被表示为NaN。
- 分类：NaN是一个特殊的浮点数，不属于实数集合。
- 优势：NaN的存在可以帮助我们检测和处理非法的数值计算，例如除以零或无效的数学运算。
- 应用场景：在梯度下降算法中，当损失函数的梯度无法计算或计算结果不合法时，可能会出现NaN的情况。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云计算产品：https://cloud.tencent.com/product
- 腾讯云人工智能产品：https://cloud.tencent.com/product/ai
- 腾讯云物联网产品：https://cloud.tencent.com/product/iotexplorer
- 腾讯云存储产品：https://cloud.tencent.com/product/cos
- 腾讯云区块链产品：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙产品：https://cloud.tencent.com/product/mu
请注意，以上链接仅供参考，具体产品选择应根据实际需求和情况进行评估。
相关·内容
从我的背景来看，我理解有一个学习速率(α)的目的是将梯度的大小(▽J)标准化，这样步长就可以适当地收敛到局部极小值。
由于α是任意的，所以我们必须找到最佳的超参数学习速率(α)。
也许，当我们将梯度归一化为一个单位向量时，我们不必对其进行超参数调整，在这个单位向量中，梯度的大小总是1。
传统的梯度下降：
w:=w −α▽J
我的梯度下降：
w:=w −▽J/||▽J||
再次，回到我的问题，我不明白为什么梯度下降的变体没有我的想法。将梯度归一化为单位向量
ps。我推测，当梯度的幅度极低时，我的梯度下降可能不能很好地工作，并且可能会发散到inf。
浏览 0提问于2022-07-05得票数 1
1回答
在使用constrOptim函数进行约束优化时，有时会收到以下错误消息：
Error in optim(theta.old, fun, gradient, control = control, method = method, :
initial value in 'vmmin' is not finite
示例
x <- c(-0.2496881061155757641767394261478330008685588836669921875,
0.0824038146359631351600683046854101121425628662109
浏览 2提问于2015-06-09得票数 0
回答已采纳
2回答
我正试着用电筒写我的第一个神经网络。不幸的是，当我想要得到损失时，我遇到了一个问题。以下错误消息：
RuntimeError: Function 'LogSoftmaxBackward0' returned nan values in its 0th output.
于是我试着调试，发现了一些奇怪的东西。输入没有nans和infs，我用以下方法验证：
print(torch.any(torch.isnan(inputs)))
但是，如果我总是允许输出模型x中的各个步骤，我会看到在某个时候会有inf。
培训
inputs, labels = data
print(torch.an
浏览 52提问于2022-03-16得票数 2
1回答
我的问题与有关
我正在努力实现文章中描述的方法。最后使用的算法在这里(它在第6页)：
D是单位向量
xhi是一个非空数。
D是损失函数(在我的例子中是稀疏交叉熵)。
其思想是进行对抗性训练，将数据修改到网络对小变化最敏感的方向，用修改过的数据训练网络，但使用与原始数据相同的标签。
用于训练模型的损失函数如下：
L是标记数据上的损失度量。
Rvadv是算法1图像中梯度内的值。
本文选择alpha =1
其思想是在损失中纳入标记数据集的模型的性能。
我试图在Keras中使用MNIST数据集和一个小型批处理的100个数据来实现这个方法。当我
浏览 2提问于2021-01-09得票数 1
回答已采纳
2回答
我正在尝试通过使用梯度下降来应用一个简单的优化。具体地说，我想计算最小化成本函数(均方误差)的参数向量(θ)。
梯度下降函数如下所示：
eta = 0.1 # learning rate
n_iterations = 1000
m = 100
theta = np.random.randn(2,1) # random initialization
for iteration in range(n_iterations):
gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y) #this i
浏览 17提问于2021-11-24得票数 0
2回答
我试图实现梯度下降算法，以最小化多个线性算法的代价函数。我正在使用吴家富在机器学习课上解释的概念。我用的是八度。然而，当我试图执行代码时，它似乎无法提供解决方案，因为我的θ值计算为"NaN“。我已经附加了成本函数代码和梯度下降代码。有人能帮忙吗。
成本函数:
function J = computeCostMulti(X, y, theta)
m = length(y); % number of training examples
J = 0;
h=(X*theta);
s= sum((h-y).^2);
J= s/(2*m);
梯度下降码：
function [theta, J
浏览 0提问于2018-08-17得票数 3
回答已采纳
似乎inf和Inf在MATLAB中是完全相同的( nan和NaN也一样，但Nan不一样)。有什么不同吗？
>> which inf
built-in (/Applications/MATLAB_R2011b.app/toolbox/matlab/elmat/inf)
>> which Inf
built-in (/Applications/MATLAB_R2011b.app/toolbox/matlab/elmat/Inf)
如果它们是相同的，那么在实践中应该使用哪一个？对于分配数组，我一直在使用x = inf(3,5)风格，遵循zeros和ones都是小写。对于单值赋
浏览 2提问于2013-01-11得票数 7
回答已采纳
在教程中，我认为存在一个错误。我认为这部分不准确：
使用小批随机数据称为随机训练--在这种情况下，随机梯度下降。
随机梯度下降用于更新每个训练示例()的参数，并且在教程中使用了大小为100的批次，我认为这将是小批量梯度下降。
我可能错了，但这不应该改变吗？
浏览 4提问于2016-08-15得票数 0
1回答
当我阅读和复习吴家富深造课程的第二节课时，我偶然发现一句话：
随着一个良好的小批大小，它通常优于梯度下降或随机梯度下降(特别是当训练集是大的)。
但这怎么可能？小批处理梯度下降真的能给我们一组更好的权重和偏差，即使它没有根据整个数据集更新它们吗？我只能认为，这可能不是过分适合，这样，它可以提供更好的结果。
浏览 0提问于2020-07-30得票数 1
我想选择一个名为‘中间’的行，而不丢失它的索引'Site‘
以下代码显示了dataframe：
m.commodity
price max maxperstep
Site Commodity Type
Mid Biomass Stock 6.0 inf inf
CO2 Env 0.0 inf inf
Coal Stock 7.0 inf inf
Elec Demand
浏览 3提问于2017-12-19得票数 8
回答已采纳
可能是一个很小的问题，但我只想更清楚。根据现有的文献和中的讨论，这两种方法都涉及到计算一个导数，然后向最小方向移动。在简单梯度下降法的情况下，我们只计算一阶导数；在牛顿法中，我们计算二阶导数和恒心导数，并应用于向量。此外，牛顿/s方法中向量的更新可能并不总是沿(-ive)梯度方向进行。
此外，对于给定的函数f(x)，这两种方法都试图寻找满足f'(x) = 0的最小值；在梯度下降法中，目标是argmin f(x)，而在牛顿法中，目标是f‘(X)=0。另一个区别是停止准则，在梯度下降法中，f'(x) = 0，而在牛顿法中，它是f(x)=0。
基于上述论点，是否有理由说牛顿方法是基于
浏览 7提问于2020-01-18得票数 0
回答已采纳
1回答
我有一个矩阵，其中第一列是UNIX时间戳
[ 1.44310344e+09 1.12127000e+00 1.12151000e+00]
[ 1.44310350e+09 1.12043000e+00 1.12115000e+00]
[ 1.44310356e+09 1.12069000e+00 1.12092000e+00]
...,
[ 1.44318942e+09 1.11952000e+00 1.11964000e+00]
[ 1.44318948e+09 1.11957000e+00 1.11979000e+00]
[ 1.44
浏览 5提问于2016-01-14得票数 1
如何删除具有NaN、+inf和-inf值的列？这里我看到的所有解决方案都只提到行，但是假设我从dataframe中的每个元素中都有一组特性，我如何才能从dataframe的每一行中只删除包含+inf、-inf和NaN的列？
浏览 4提问于2021-04-29得票数 2
回答已采纳
3回答
我想在tensorflow后端对keras张量执行类似于np.where的操作。也就是说，假设我有两个张量: diff和sum。我将这些向量划分为：
rel_dev = diff / sum
对于np.arrays，我会这样写：
rel_dev = np.where((diff == 0.0) & (sum == 0.0), 0.0, rel_dev)
rel_dev = np.where((diff != 0.0) & (sum == 0.0), np.sign(diff), rel_dev)
也就是说，如果我在rel_dev和sum中都有零，我希望我不会得到np.Inf，而
浏览 21提问于2019-11-19得票数 5
回答已采纳
我用一些在线资源自学了机器学习，但我有一个关于梯度下降的问题，我无法弄清楚。
梯度下降的公式是通过以下物流回归得出的：
Repeat {
θj = θj−α/m∑(hθ(x)−y)xj
}
其中θj是变量j的系数，α是学习率，hθ(x)是假设，y是实数，xj是变量j的值，m是训练集的个数。hθ(x)，y是针对每个训练集的(也就是说，这就是求和符号的意思)。
这就是我困惑的地方。
我不清楚求和是否代表了我的整个训练集，或者到目前为止我做了多少次迭代。
例如，想象一下我有10个训练例子。如果我在每个训练示例之后执行梯度下降，那么我的系数将非常不同，如果我在所有10个训练示例之后执行梯度下降
浏览 8提问于2013-06-24得票数 7
回答已采纳
我试图在一个课程的框架内，应用梯度下降来估计线性模型。我的代码如下：
model = torch.nn.Linear(1,1)
myModel = model(X)
ds = torch.utils.data.TensorDataset(X, Y)
dl = torch.utils.data.DataLoader(ds)
optimiser = torch.optim.SGD(model.parameters(), lr=0.01)
loss = torch.nn.functional.mse_loss
for epoch in range(100):
for (Xb, yb) in
浏览 3提问于2022-11-17得票数 -1
回答已采纳
10回答
从pandas.DataFrame中删除nan和inf/-inf值而不重置mode.use_inf_as_null的最快/最简单的方法是什么
我希望能够使用dropna的subset和how参数，除非缺少inf值，例如：
df.dropna(subset=["col1", "col2"], how="all", with_inf=True)
这个是可能的吗？有没有办法告诉dropna在它的缺失值定义中包含inf？
浏览 12提问于2013-07-05得票数 305
回答已采纳
1回答
在Python中进行梯度下降的一种方法是自己编写代码。然而，考虑到它在机器学习中有多么流行，我想知道是否有一个Python库可以导入，给我一个梯度下降方法(最好是小批处理梯度下降，因为它通常比批处理和随机梯度下降更好，但是如果我错了，请纠正我)。
我检查了NumPy和SciPy，但什么也找不到。我没有使用TensorFlow的经验，但是浏览了他们的在线API。我找到了tf.train.GradientDescentOptimizer，但是没有参数可以让我选择批处理大小，所以我对它的实际情况非常模糊。
抱歉，如果我听起来天真的话。我学了很多这些东西。
浏览 0提问于2018-05-08得票数 3
回答已采纳
3回答
具体来说，在一步之内，它如何训练模型？梯度下降和反向传播的退出条件是什么？
这里的文档：
例如：
mnist_classifier = tf.estimator.Estimator(model_fn=cnn_model_fn)
train_input_fn = tf.estimator.inputs.numpy_input_fn(
x={"x": X_train},
y=y_train,
batch_size=50,
num_epochs=None,
shuffle=True)
mnist_classi
浏览 0提问于2018-04-11得票数 2
回答已采纳
我试图在MATLAB中实现一个logistic回归求解器，并通过随机梯度下降来求权值。我遇到了一个问题，我的数据似乎产生了无限的成本，无论发生什么，它永远不会下降…这两种情况看起来都很好，我无法想象为什么我的成本函数总是会无限地返回。
在中，第一列是类(1或0)，接下来的七列是我试图返回的特性。
浏览 2提问于2014-10-17得票数 0
回答已采纳
from math import *
raw_data = [3.1, float('NaN'), 3.14, 3.141, 3.1415, float('Nan'), 3.14159, float('Inf'), float('-Inf'), 3.1415926]
filtered_data = []
for v in raw_data:
if not ((v is float('NaN')) | (v is float('Inf')) | (v is float('-In
浏览 2提问于2017-06-17得票数 3
回答已采纳
我有几个csv文件，它们具有随时间变化的电压数据，每个csv文件大约有7000行，数据如下所示：
Time(us) Voltage (V)
0 32.96554106
0.5 32.9149649
1 32.90484966
1.5 32.86438874
2 32.8542735
2.5 32.76323642
3 32.74300595
3.5 32.65196886
4 32.58116224
4.5 32.51035562
5 32.42943376
5.5 32.3
浏览 5提问于2022-05-30得票数 2
回答已采纳
我试着从朱莉娅的古瑟拉那里做Logistic回归，但不起作用。
用于计算梯度的Julia代码：
sigmoid(z) = 1 / (1 + e ^ -z)
hypotesis(theta, x) = sigmoid(scalar(theta' * x))
function gradient(theta, x, y)
(m, n) = size(x)
h = [hypotesis(theta, x[i,:]') for i in 1:m]
g = Array(Float64, n, 1)
for j in 1:n
g[j] =
浏览 3提问于2016-05-06得票数 5
回答已采纳
2回答
在我最近参加的一些机器学习课程中，我讨论了梯度下降，以找到最适合线性回归的直线。
在一些统计类中，我了解到我们可以使用统计分析，使用均值和标准差来计算这一行-- ，为什么这一看似更简单的技术不用于机器学习？
我的问题是，梯度下降是拟合线性模型的首选方法吗？如果是，为什么？还是教授只是在一个简单的设置中使用梯度下降来介绍这门技术呢？
浏览 6提问于2014-11-07得票数 7
回答已采纳
2回答
当使用批处理梯度下降、随机梯度下降和小批随机梯度下降时，我试图绘制不同的学习结果。
无论我看什么地方，我都读到batch_size=1和普通SGD一样，而batch_size=len(train_data)和批处理梯度下降是一样的。
我知道随机梯度下降是指每次更新只使用一个数据样本，而批处理梯度下降使用整个训练数据集来计算目标函数/更新的梯度。
然而，当使用keras实现batch_size时，情况似乎正好相反。以我的代码为例，我将batch_size设置为training_data的长度
input_size = len(train_dataset.keys())
output_size =
浏览 3提问于2020-07-28得票数 2
回答已采纳
我试图以另一个应用程序能够理解的格式从Matlab导出数据.为此，我需要将NaN、Inf和-Inf字符串(在默认情况下是Matlab为这些值打印的)更改为//m、//inf+和//Inf-。
一般来说，我知道如何做到这一点。我是在问如何(以及是否有可能)利用Matlab中的一个特定的东西。实际问题位于最后一段。
我尝试过两种方法(下面的代码)。
对数据使用sprintf()，并对输出进行strrep()。为了节省内存，这是一种逐行的方式.这个解决方案花费的时间几乎是简单fprintf()的10倍。它的优点是内存开销低。
与选项1.相同，但转换是一次对整个数据进行的。此解决方案速度要快得
浏览 1提问于2014-07-31得票数 5
1回答
早安的人们。我们正在尝试用标准数据集建立一个带有超参数调整的模型。问题是错误没有下降，而它应该这样做。这个数字也非常高。完成调优后，我们得到的输出是nan。有人能解释一下为什么它没有下降，为什么我们得到了nan作为输出吗？我们使用的是mse。 import tensorflow
import pandas as pd
import tensorflow as tf
# import HPT requirements
from kerastuner import HyperModel
import keras
from tensorflow.keras.layers import (
浏览 23提问于2020-12-22得票数 0
我正在尝试比较神经网络中SGD算法和GD算法的收敛速度。在PyTorch中，我们经常使用SGD优化器，如下所示。
train_dataloader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
optimizer = torch.optim.SGD(model.parameters(), lr=0.001)
for epoch in range(epochs):
running_loss = 0
for input_batch, labels_batch in train_d
浏览 3提问于2022-06-04得票数 3
回答已采纳
超参数优化使用两种技术，如网格搜索、或随机搜索。梯度下降主要用于将损失函数降到最小。
这里查询是在什么时候我们将使用网格搜索和梯度下降。
浏览 1提问于2019-02-10得票数 2
2回答
给定最佳学习率，下列哪一项是正确的？
(i)对于凸损失函数(即碗形)，保证批梯度下降最终收敛到全局最优，而不保证随机梯度下降。
(ii)对于凸损失函数(即具有碗形)，随机梯度下降保证最终收敛到全局最优，而批处理梯度则最终收敛到全局最优。
世系不是。
(3)对于凸损失函数(即碗形)，随机梯度下降和分批梯度下降最终收敛到全局最优。
(4)对于凸损失函数(即碗形)，既不保证随机梯度下降，也不保证分批梯度下降收敛到全局最优。
哪种选择是正确的，为什么？
浏览 0提问于2020-08-13得票数 4
回答已采纳
1回答
在批处理梯度下降中，说梯度下降更新的一次迭代需要对整个数据集进行处理，我认为这是一个epoch.On，而在小批处理算法中，每个小批处理后进行更新，每一个小批处理完成一个时代。因此，在这两种情况下，在处理完所有数据之后，就完成了一个时代，我不太明白是什么使小批处理算法更有效。
谢谢,
浏览 0提问于2020-05-06得票数 2
回答已采纳
8回答
我实现了一个梯度下降算法，以最小化成本函数，以便获得确定图像是否具有良好质量的假设。我在Octave就是这么做的。这个想法在某种程度上是基于Andrew Ng的算法
因此，我有880个值"y“，它包含0.5到~12的值。我在"X”中有880个值，从50到300，它们应该可以预测图像的质量。
不幸的是，算法似乎失败了，经过一些迭代，theta的值太小了，以至于theta0和theta1变成了"NaN“。我的线性回归曲线有奇怪的值。
下面是梯度下降算法的代码：(theta = zeros(2, 1);，alpha= 0.01，iterations=1500)
functio
浏览 4提问于2012-05-07得票数 27
回答已采纳
我有一个使用梯度下降公式的任务的问题：
📷
使用two大小为0.1和initial值，对下面给出的函数执行梯度下降到局部最小的步骤
📷
我只得到导数0.4x1的结果，因为x2不存在。这是正确的，还是导数的结果应该是(0.4，0)？
注:对不起，如果我的导数方程是坏的。我不是数学家。如果我的方程式完全错了，请纠正我。
浏览 0提问于2020-07-19得票数 1
回答已采纳
1回答
在神经网络和深度学习中，梯度下降算法被描述为与梯度相反的方向。
链接到书中的位置。是什么阻止这一策略在当地最低限度着陆？
浏览 0提问于2022-06-19得票数 1
回答已采纳
我的任务是使用梯度下降在c++中实现逻辑回归。任务的一部分是当梯度的大小低于10e-07时停止梯度下降。
我必须最小化: //chart.googleapis.com/chart?cht=tx&chl=L(w)%20%3D%20%5Cfrac%7B1%7D%7BN%7D%5Csum%20log(1%20%2B%20exp(-y_%7Bi%7Dw%5E%7BT%7Dx_%7Bi%7D))
然而，由于超过了最大迭代次数，我的梯度下降一直在停止。我尝试了不同的最大迭代阈值，它们都是最大的。我认为我的代码有问题，因为logistic回归由于其成本函数的凹性而被认为是梯度下降的一项容易的任务，梯
浏览 0提问于2019-08-09得票数 0
9回答
我有一个数值方法，如果有错误，可以返回nan或inf，为了测试目的，我希望临时强制它返回nan或inf，以确保情况得到正确的处理。是否有一种可靠的、独立于编译器的方法来在C中创建nan和inf的值？
在谷歌大约10分钟后，我只能找到依赖编译器的解决方案。
浏览 5提问于2009-12-17得票数 102
回答已采纳
梯度下降的矢量化实现
for iter = 1:num_iters
theta = theta - (alpha / m) * X' * (X * theta - y);
J_history(iter) = computeCostMulti(X, y, theta);
end
computeCostMulti()的实现
function J = computeCostMulti(X, y, theta)
m = length(y);
J = 0;
J = 1 / (2 * m) * (X * theta - y)' * (X * theta - y);
正规
浏览 2提问于2017-06-03得票数 0
与sigmoid激活函数相比，Relu在梯度下降优化中具有更好的收敛性能。据我所知，当Z接近小于0时，梯度下降的升升太慢，但当z小于0时，relu也有梯度0，那么差别是什么？
浏览 0提问于2021-08-16得票数 0
在检查了data.table 1.9.2的新特性之后，我不太清楚NA/NaN/Inf操作的新特性。
新闻：
NA、NaN、+Inf和-Inf现在被认为是不同的值，它们可能在键中，可以加入并可以分组。data.table定义: NA < NaN < -Inf
我不知道“可以加入和可以分组”是什么意思
DT <- data.table(A=c(NA,NA,1:3), B=c("a",NA,letters[1:3]))
现在A列和B列都有NAs，
但我有点不知道该如何继续下去，以及这个新特性的目的是什么。你能提供一个例子来说明这一点吗？
非常感谢!
浏览 2提问于2014-03-03得票数 6
回答已采纳
1回答
采用滑雪板进行分类是如何实现批处理梯度下降的？本文给出了随机GD的SGDClassifier (一次单实例)和线性/Logistic回归(采用正规方程)。
浏览 0提问于2019-04-06得票数 2
回答已采纳
1回答
我是一个最近才开始研究机器和深入学习的编程人员。
梯度上升和下降的用法到底有什么区别？我们为什么要最大化损失而不是最小化损失？更具体地说，我对它在卷积网络中的使用很好奇。
浏览 11提问于2022-02-20得票数 0
回答已采纳
2回答
我可以从批量梯度下降(批量大小为37000)获得相当好的结果，但当我尝试小批量梯度下降时，我得到了非常差的结果(即使使用adam和dropout)。 在批处理gd中，我能够获得100%的训练和97%的dev/cv准确率。然而，在128号的小批量中，我在这两种情况下的准确率都只有88%左右。 训练损失似乎在1.6%左右，并且不会随着任何进一步的迭代而减少，但当我增加批量大小(从而提高精度).And时，它会慢慢减少。最终，为了获得最大精度，我达到了37000的批量大小。 我试着调整alpha，但仍然保持同样的准确度。 我正在训练mnist数字数据集。 可能的原因是什么？请帮帮忙
浏览 31提问于2020-07-11得票数 1
2回答
作为数学概念，我很清楚inf和nan实际上是什么。但我真正感兴趣的是它们是如何在编程语言中实现的。
在python中，我可以在算术和条件表达式中使用inf和nan，如下所示：
>>> nan = float('nan')
>>> inf = float('inf')
>>> 1 + inf
inf
>>> inf + inf
inf
>>> inf - inf
nan
这会让我相信python在内部为这两个数学量有一个特殊的保留位序列，没有其他数字可以承担这些位置。我的假设
浏览 29提问于2017-07-02得票数 11
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
