不带导数的梯度下降

是一种优化算法，用于求解无法直接计算梯度的函数的最优解。在机器学习和深度学习中，梯度下降是一种常用的优化算法，用于更新模型参数以最小化损失函数。

梯度下降算法的目标是通过迭代更新参数，使得损失函数的值逐渐减小。在不带导数的梯度下降中，无法直接计算损失函数的梯度，因此需要使用其他方法来估计梯度。

一种常见的方法是使用数值逼近来估计梯度。数值逼近方法通过计算函数在某个点的两侧的函数值之差来估计梯度。例如，可以使用中心差分法来估计梯度，即计算函数在当前点的前后两个点的函数值之差的平均值。

不带导数的梯度下降相比于带导数的梯度下降具有一定的优势和应用场景。由于无需计算梯度，不带导数的梯度下降可以应用于无法直接计算梯度的函数，例如黑盒函数或者复杂的非线性函数。此外，不带导数的梯度下降也可以用于优化离散变量的问题，而带导数的梯度下降通常只适用于连续变量的优化问题。

腾讯云提供了多个与梯度下降相关的产品和服务，例如：

腾讯云机器学习平台（https://cloud.tencent.com/product/tensorflow）：提供了强大的机器学习和深度学习工具，包括梯度下降算法的实现和优化。
腾讯云大数据平台（https://cloud.tencent.com/product/cdp）：提供了分布式计算和数据处理的能力，可以用于加速梯度下降算法的计算过程。
腾讯云函数计算（https://cloud.tencent.com/product/scf）：提供了无服务器计算的能力，可以用于快速部署和运行梯度下降算法。

请注意，以上仅为示例，实际选择适合的产品和服务应根据具体需求进行评估。

页面内容是否对你有帮助？

有帮助

没帮助

不带导数的梯度下降

machine-learning、neural-network、deep-learning、backpropagation、gradient-descent

因此，我试图理解梯度下降，但我感到困惑。如果你有一条抛物线，当你改变一个重量时，它是损失的。与其在x处求导数，为什么不简单地找到抛物线的顶点呢？

浏览 11提问于2019-04-08得票数 0

回答已采纳

1回答

梯度下降和反向传播是如何一起工作的？

machine-learning、neural-network、gradient-descent、backpropagation、cost-function

请原谅我，因为我是新来的。我附了一张图表，试图为我对神经网络和反向传播的理解建模？通过在线课程和资源网站上的视频，我对神经网络是如何工作的形成了如下理解：梯度下降等优化函数利用代价函数的结果将误差降到最小。如果上面的内容是正确的，那么我很难理解梯度下降和反向传播之间的联系？以下是我迄今所理解

浏览 0提问于2019-01-28得票数 23

回答已采纳

2回答

牛顿的方法会被归类为梯度下降法吗？

gradient-descent、newtons-method

可能是一个很小的问题，但我只想更清楚。根据现有的文献和中的讨论，这两种方法都涉及到计算一个导数，然后向最小方向移动。在简单梯度下降法的情况下，我们只计算一阶导数；在牛顿法中，我们计算二阶导数和恒心导数，并应用于向量。此外，牛顿/s方法中向量的更新可能并不总是沿(-ive)梯度方向进行。此外，对于给定的函数f(x)，这两种方法都试图寻找满足f'(x) = 0<em

浏览 7提问于2020-01-18得票数 0

回答已采纳

1回答

数学:梯度下降的导数的结果是否只包含一个值？

gradient-descent、mathematics

我有一个使用梯度下降公式的任务的问题：使用two大小为0.1和initial值，对下面给出的函数执行梯度下降到局部最小的步骤我只得到导数0.4x1的结果，因为x2不存在。这是正确的，还是导数的结果应该是(0.4，0)？注:对不起，如果我的导数方程是坏的。我不是数学家。如果我的方程

浏览 0提问于2020-07-19得票数 1

回答已采纳

1回答

梯度下降算法中的偏导数项

machine-learning、gradient-descent

在“梯度下降”课中，我发现公式有点复杂。该定理由“偏导数”项组成。 1/m *∑(hθ(x)−y(i) )平方我的问题是，“在计算梯度下降定理中的偏导数时，‘成本函数’的1/2m是如何变成1/m的？”

浏览 3提问于2022-05-13得票数 -1

回答已采纳

2回答

为什么用函数的导数而不是实际函数的导数来计算局部最小值？

machine-learning、linear-regression、derivative、differentiation、gradient-descent

在机器学习回归问题中，为什么计算导数函数的局部最小值而不是实际函数的局部最小值？示例：f(x)=x^4−3x^3+2, ----(A)f'(x)=4x^3−9x^2.----(B) 这里，为了用梯度下降算法求函数(A)的局部最小值，他们使用了(A)的导函数，即函数(B)。

浏览 1提问于2013-02-12得票数 3

回答已采纳

2回答

用梯度下降代替微积分的问题。我核对了以前的问题，还有一些问题需要澄清

gradient-descent、cost-function

why-do-we-use-gradient-descent-in-linear-regression，https://stats.stackexchange.com/questions/212619/why-is-gradient-descent-required，但是找不到我的答案梯度下降是：w_{i}:=w_{i}-\alpha \frac{\delta }{\delta w_{i}}j(w)，其中w是向量。毕晓普在他的“模式识别和机器学习”一书中说：由于误差函数是

浏览 0提问于2019-08-13得票数 4

回答已采纳

1回答

如何在线性回归模型中使用正确的权重

linear-regression、loss-function

我试着理解我们能不能实现一个简单的线性回归模型。据我所知，我们需要为此定义两个向量：$y=$ -平均价格。让我们来画这个：在乙状结肠分离器之前，我将尝试一个简单的线性分离器。📷$C ={1}{N} \sum_{i=0}^{N}

浏览 0提问于2018-03-08得票数 1

回答已采纳

1回答

为什么神经网络使用损失函数的成本最小化而不是利润函数的利润最大化？

neural-network、loss-function、gradient-descent

在神经网络中，采用梯度下降法寻找成本函数的最优最小值。为什么这种偏好而不是寻找利润函数的最大值呢？最小化成本函数与最大化利润函数的优缺点是什么？

浏览 0提问于2021-04-02得票数 1

1回答

用ReLu函数进行反向传播

neural-network、backpropagation

我在学习神经网络中的激活函数。具有简单线性函数的问题如下所述： ReLu函数的导数也是常数。我的问题是，“当ReLu函数<

浏览 1提问于2018-03-20得票数 2

1回答

牛顿法与消失梯度

machine-learning、neural-network、optimization

我阅读了关于消失梯度问题的文章，其中指出可以使用基于ReLu的激活函数来纠正这个问题。现在我无法理解，如果使用基于ReLu的激活函数来解决这个问题，那么为什么会有这么多的研究论文建议将牛顿方法作为深度学习的优化算法而不是梯度下降？在阅读研究论文时，我有强烈的印像，认为消失梯度问题是提出这些建议的核心原因，但现在我感到困惑的是，如果能修改梯度下降法

浏览 0提问于2019-03-20得票数 3

回答已采纳

1回答

在训练这个梯度下降的网络时，有什么问题？

gradient-descent、backpropagation、perceptron

假设我们有以下由感知器组成的完全连接的网络，并以符号函数作为激活单元，当我们试图训练这个梯度下降的网络时，会出现什么问题？📷

浏览 0提问于2021-03-13得票数 1

回答已采纳

1回答

关于梯度下降中导数项的问题

optimization、machine-learning、linear-regression、gradient-descent

我目前正在上coursea的机器学习入门课程，我遇到了一些关于我必须实现的梯度下降算法的问题。我将有两个数据点，我将尝试使用梯度下降来拟合通过这些数据点的直线：其中直线的方程是y=?0 +?1*x，初始?0 = 0，?1 =0。梯度下降算法基本上进行了多次迭代，试图优化?0和?1的值，以便成本函数定义为： J(θ0，θ1)=(1 /

浏览 12提问于2017-07-13得票数 0

1回答

Heavside函数(单位/阶跃函数)导数

machine-learning、neural-network、artificial-intelligence、calculus、perceptron

我是机器学习的新手，正在学习如何编写感知器。重边函数的导数是多少？对于上下文，我使用感知器作为伪SVM，这样我就可以对数据点进行分类。我假设它是0，但是基于教程，我看到人们使用1。为什么这是有效的。另外，有没有可能使用sigmoid类型的激活函数，然后通过重边函数传递输出，因此我可以求sigmoid的导数？谢谢。

浏览 273提问于2020-07-14得票数 0

1回答

梯度下降算法中激活函数的导数

neural-network、regression、gradient-descent、activation-function、parameter

为什么在更新模型(回归或神经网络)参数时需要计算激活函数的导数？为什么线性函数的恒定梯度被认为是一个缺点？据我所知，当我们使用公式进行随机梯度下降时：那么，权重也会被很好地更新，那么为什么导数的计算被

浏览 0提问于2019-07-13得票数 1

2回答

如果函数是光滑的，为什么要加速梯度下降？

deep-learning、gradient-descent

我现在读了一本书，书名为“与Scikit一起动手机器学习-学习和TensorFlow”，在第11章中，它对ELU (指数型ReLU)的解释有如下描述。第三，函数在任何地方都是平滑的，包括z= 0附近，这有助于加速梯度下降，因为它没有像z= 0那样左右弹跳。📷然而，为什么如果函数“在任何地方都是光滑的，包括在z=0周围”，它就会加

浏览 0提问于2017-08-07得票数 10

1回答

由于随机梯度下降，我们为什么不计算损失函数的精确导数？

deep-learning、gradient-descent、mini-batch-gradient-descent

我在一个博客中读到了以下内容：我们为什么要估计导数？请解释一下。

浏览 0提问于2020-09-13得票数 0

回答已采纳

1回答

给定其计算偏导数的函数的优化

python、numpy、scipy

我需要优化一个函数(找到它的最小值)。该函数使用向量w进行参数化。所以我所做的基本上是计算函数相对于每个参数的偏导数。然后，我简单地使用梯度下降。然而，据我所知，我们可以使用比梯度下降更复杂的优化方法，这些方法不需要参数来调优或关心。我想在numpy或scipy中尝试其中一种方法，但我不知道如何做到这一点。我需要的是一种方法，接受计算出的偏导数值作为输入，然后优化函数。像这样<em

浏览 2提问于2014-05-20得票数 2

1回答

为什么Keras不需要自定义损失函数的梯度？

python、python-3.x、tensorflow、deep-learning、keras

据我所知，为了通过梯度下降来更新模型参数，该算法需要在某个点计算误差函数E关于输出y: dE/dy的导数。然而，我已经看到，如果你想在Keras中使用自定义损失函数，你只需要定义E，而不需要定义它的导数。我遗漏了什么？每个丢失的函数将具有不同的导数，例如：如果损失函数是交叉熵: dE/dy = y_true/y 再说一次，模

浏览 14提问于2018-01-12得票数 8

1回答

线性回归学习的自设计目标

regression、linear-regression

多元线性回归是使用多个预测变量来预测响应变量的结果，如下所示：我理解学习$\beta$参数的典型目标是最小二乘，这意味着最小化$\epsilon_{i}$的平方和。现在我想要其他类型的目标，例如最大化$\epsilon$序列(或其他自指定目标)的Shannon熵。我谷歌了一下这个方向，但没有运气。谢谢你的帮助。

浏览 0提问于2015-06-28得票数 1

点击加载更多