腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
梯度
下降算法
中
的
偏
导数
项
machine-learning
、
gradient-descent
我
在
古瑟尔学“机器学习-安德鲁·吴”课程。
在
“
梯度
下降”课
中
,我发现公式有点复杂。该定理由“
偏
导数
”项组成。 1/m *∑(hθ(x)−y(i) )平方 我的问题是,“
在
计算
梯度
下降定理
中
的
偏
导数
时
,‘成本函数’的1/2m
浏览 3
提问于2022-05-13
得票数 -1
回答已采纳
1
回答
在
Python
中
计算
梯度
偏
导数
时
溢出
python
、
numpy
、
overflow
、
gradient-descent
、
function-approximation
我用
python
做了一个def函数,在那里我可以做简单的
梯度
偏
导数
来更新变量,这是一个非常基本的函数近似神经网络,没有激活函数。这是针对试图估计输出y的单输入x1。我也有一个标准化的def函数,当我运行我的代码,但首先标准化输入数据集
时
,我没有得到任何问题。当我通过相同的
梯度
偏
导数
函数运行原始数据集
时
,当我对变量m和b进行更新
时
,精度立即变得很高,我得到了
溢出
问题。 有人知道我怎么解决这个问题吗?我
浏览 4
提问于2020-07-10
得票数 0
1
回答
Maxout激活函数-
在
NumPy
中
实现正向和反向传播
python
、
numpy
、
neural-network
、
activation-function
在做了一些搜索之后,除了它们的定义(https://ibb.co/kXCpjKc)之外,我找不到NumPy
中
的实现。前向传播的公式很清楚,我将在哪里取max(Z) (其中Z= w.T *x+ b)。我如何在NumPy
中
实现它? 任何帮助都将不胜感激!谢谢!
浏览 28
提问于2019-04-22
得票数 0
回答已采纳
1
回答
如何从Jax
中
的联合累积密度函数
计算
联合概率密度函数?
python
、
probability-density
、
probability-distribution
、
automatic-differentiation
、
jax
我
在
python
中
定义了一个联合累积密度函数,它是jax数组的函数,并返回一个值。类似于: ...要有
梯度
,我知道我可以做grad(cumulative),但这只是给了我累积的一阶
偏
导数
,相对于输入变量。相反,我要做的是
计算
,假设F是我的函数,并且是联合概率密度函数:部分推导的顺序并不重要。如何在Jax中有效地
计算
这一点?我
浏览 6
提问于2021-11-16
得票数 1
回答已采纳
1
回答
tf.concat()返回的变量的
tensorflow
在
Tensorflow v1.0.0
中
,tf.hessians(z,x)和tf.hessians(z,y)都返回N乘N矩阵,这正是我所期望的。但是,当我使用tf.concat将x和y连接到大小为2*N的向量p并运行tf.hessian(z,p)
时
,它将返回错误"ValueError: None值不受支持“。我理解这是因为
在
计算
图x,y ->z和x,y -> p
中
,p和z之间没有
梯度
,为了绕过这个问题,我可以先创建p,把它分割成x和y,但是我需要修改
浏览 5
提问于2017-04-13
得票数 0
回答已采纳
1
回答
对于
梯度
的对角线重标度而言,这种方法是什么意思?
machine-learning
、
neural-network
、
deep-learning
、
optimization
、
gradient
在
描述Adam:一种随机优化方法的纸
中
,作者指出:“
梯度
的对角线重标度不变”在这里意味着什么?
浏览 0
提问于2018-07-14
得票数 2
1
回答
ReLU权值初始化?
machine-learning
我读到“他权值初始化”(He等人,2015)是建立
在
Lecun权值初始化的基础上的,并提出了一个零均值高斯分布,其中标准差为。 该函数应与ReLU相结合,解决消失/爆炸
梯度
问题。对我来说,这是有意义的,因为ReLu的构建方式使得它不受消失/爆炸
梯度
问题的困扰。因为,如果输入小于0
时
,
导数
将为零,否则
导数
将为1。所以,不管方差是多少,
梯度
都是0或1。
浏览 2
提问于2020-03-30
得票数 0
回答已采纳
1
回答
神经网络训练
中
梯度
和
偏
导数
的解释
machine-learning
、
neural-network
、
loss-function
、
gradient-descent
、
backpropagation
我试图通过了解如何解释
梯度
及其
偏
导数
来理解神经网络训练
中
偏微分的目的。下面是我解释它们的方法,所以我想知道我是否正确,如果不是,是否有人能指出我的正确方向。如果我们
在
处理依赖于单个变量的函数,则该函数相对于该特定变量的
导数
是一个斜率(即常数),它告诉我们因变量的变化将如何影响函数值的变化。如果我们处理的函数依赖于几个变量,那么这个函数对所有这些因变量的
导数
就是一个
梯度
(即
偏
导数
的向量),它指向函数极值的方向。我的问题
浏览 0
提问于2020-01-17
得票数 3
回答已采纳
1
回答
给定其
计算
偏
导数
的函数的优化
python
、
numpy
、
scipy
所以我所做的基本上是
计算
函数相对于每个参数的
偏
导数
。然后,我简单地使用
梯度
下降。然而,据我所知,我们可以使用比
梯度
下降更复杂的优化方法,这些方法不需要参数来调优或关心。我想在numpy或scipy
中
尝试其中一种方法,但我不知道如何做到这一点。我需要的是一种方法,接受
计算
出的
偏
导数
值作为输入,然后优化函数。像这样的东西是否存在于numpy或scipy
中
?
浏览 2
提问于2014-05-20
得票数 2
1
回答
使用NLopt (基于
梯度
的算法)
时
,C
中
的NLOPT nullptr异常
c
、
optimization
、
nlopt
Servus我正在用Nlopt(SLSQP)做一个关于参数识别的项目,我编写了一个测试代码,但是
在
3次迭代之后,编译器总是
在
'myfunc'(objectfunction)
中
的'grad‘处抛出关于Nullptr的异常:,其中我使用有限差分来
计算
梯度
,因为有限差分可以
计算
项目中复杂模型的
梯度
。
浏览 0
提问于2019-08-29
得票数 1
回答已采纳
1
回答
Maya的dnoise函数:它能做什么,我该如何实现它?
c++
、
maya
、
noise
我需要在Maya
中
写一个dnoise函数的C++实现。然而,不幸的是,不足以从实现的角度描述这个函数的实际作用。那么噪声场的值和
梯度
之间有什么区别呢? 编辑2:显然,
梯度
是返回
偏
导数
向量的函数。这就回答了函数需要做的事情;现在的问题是如何
计算
噪声函数的
偏
导数
。
浏览 1
提问于2011-04-07
得票数 0
1
回答
Theano与
Python
2.7: SGD的多重损失
python
、
python-2.7
、
theano
在
提亚诺受到表扬之后,我想我应该用一种特殊的SGD来做我的第一步。Theta应该被更新,以便在下一次迭代
中
,每个维度的损失更低。我选择这个是因为数据(X,Y)就是这样给出的。 现在,教程说应该使用T.grad()来获取更新的
梯度
。但是T.grad不允许我
计算
非标量的
梯度
。教程()说:“标量成本只能由
梯度
直接处理,数组是通过重复应用来处理的。”因此,我尝试(不可否认是一种丑陋的尝试)来
计算
每个损失的
梯度
。如何
计算
多重损失的
梯度<
浏览 1
提问于2015-10-06
得票数 2
回答已采纳
1
回答
了解dFdX和dFdY的基本知识
opengl
、
glsl
、
hlsl
、
fragment-shader
我读过许多关于dFdX(n)和dFdY(n)行为的描述,并且相信我仍然对学校的
偏
导数
有一套处理方法。我不明白的是,
在
最简单的例子
中
,“n”从何而来?阅读glsl内置函数dFdx(n)和dFdy(n)
时
,除了数学之外,没有任何上下文,我会将它们解释为"I具有x和y:f(x,y)的一些函数,我取该函数w.r.t. x d/dx(x,y)的
偏
导数
,并
计算
出x和y的一些值的
偏
导数
公式,我假设这是上面的输入
浏览 3
提问于2015-01-30
得票数 4
1
回答
机器学习&偏微分方程
machine-learning
、
algorithms
我在网上看到的大多数作品都是
在
计算
机视觉领域,以及一些奇异的主题建模领域。但只是好奇,是否有人使用或看到它被用于某些决策过程或分类问题?
浏览 0
提问于2014-12-07
得票数 5
1
回答
mllib是如何
计算
梯度
的
apache-spark
、
linear-regression
、
apache-spark-mllib
、
gradient-descent
在
中
data: Vector, weights: Vector, axpy(diff, data, cumGradient)}我想了很长一段时间,但是可以
浏览 2
提问于2015-09-02
得票数 0
回答已采纳
2
回答
l_bfgs优化方法如何逼近
梯度
python
、
numpy
、
scipy
、
mathematical-optimization
梯度
不能直接求值,所以我要求方法通过设置approx_grad = True来近似
梯度
。 我想知道近似
梯度
是如何
计算
的,,我的猜测是,
在
每个点上,对于每个维,
梯度
是用正向差分来近似的。因此,对于N维
中
的每个点,进行N个评价,得到
偏
导数
。这是正确的吗?
浏览 4
提问于2014-01-13
得票数 3
回答已采纳
1
回答
在
更新神经网络权值
时
,如何解释
梯度
和
偏
导数
?
machine-learning
、
neural-network
、
gradient-descent
、
calculus
、
stochastic-gradient
该公式用于
在
已经找到
梯度
后更新权重。其中:W0 =旧权dC/dw =误差函数的
偏
导数
和代价函数
梯度
向量的一个成员。到目前为止我所知道的:
梯度
是它的
偏
导数
的向量,最大增长率是由
梯度
本身给出的。每一个
偏
导数
都给出了
导数
相对于该
导数
方向的最大变化率,,,dC/dW是
浏览 4
提问于2020-02-26
得票数 0
1
回答
反向传播和
梯度
下降
machine-learning
、
neural-network
我只想澄清一个疑问--我们使用
梯度
下降来优化神经网络的权重和偏差,并且
在
需要
计算
损失函数的
偏
导数
的步骤中使用反向传播,还是我误解了什么?
浏览 0
提问于2020-10-15
得票数 2
回答已采纳
1
回答
为什么
梯度
下降会更新0值的权重呢?
machine-learning
、
neural-network
、
tensorflow
、
theory
、
gradient-descent
我当时正在读,讨论对我来说很有意义:当所有权重初始化为零
时
,
梯度
下降无法判断错误来自何处,因此无法更新这些权重。 [-0.00091148]] [-0.00091148]] [ 0.02410331]] 如果权重从零开始,为什么
梯度
下降可以更新它们呢作为后续问题,如果一个权重被随机初始化为正,但该权重的最优值为负值,那么我们是否必须相信,
在
更新步骤
中
,优化器不会意外地将权
浏览 5
提问于2016-12-02
得票数 1
1
回答
在
使用TMB进行优化时,这条outermgc消息是什么?
r
、
tmb
在用TMB生成目标函数和
梯度
,并调用optim函数后,我
在
控制台中得到了一系列打印的报告,其形式似乎是“get mgc:":outer mgc: 56.51064
浏览 13
提问于2017-03-17
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
无需深度学习框架,如何从零开始用Python构建神经网络
为什么梯度是函数变化最快的方向
手把手教你训练 RNN
用Python做图像处理:图像导数实战
机器学习中的梯度下降法
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券