腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
基于
贝叶斯
优化
的
神经网络
超参数整定
、
、
、
、
利用贝叶斯
优化
(GP)方法寻找良好
的
超参数
的
前提之一是未知函数是光滑
的
。这个假设对
神经网络
有效吗?或者至少对大多数
神经网络
是有效
的
?我们能找到什么推荐信吗?
浏览 0
提问于2020-03-31
得票数 0
1
回答
关于
基于
梯度
下降
的
神经网络
优化
、
、
、
、
对于
神经网络
,是否可以确定
梯度
下降
优化
算法
的
最佳起点?例如,在下面的链接中查看包含局部和全局最小值
的
示例损失曲面,很明显(1)某些起点比其他起点更好,因为到达全局最优
的
速度会比其他起点更快,(2)一些起点将导致
下降
到局部最优,而不是全局最优,以及(3)一些起点可能永远不会收敛https://www.researchgate.net/profile/Klaus 提前感谢您
的
贡献:)
浏览 26
提问于2019-07-03
得票数 0
2
回答
DNN训练中
的
无耗氧
优化
与
梯度
下降
、
、
、
、
对于深度
神经网络
(DNN)
的
训练,Hessian-Free (HF)
优化
技术与
梯度
下降
(例如随机
梯度
下降
(SGD)、间歇
梯度
下降
(SGD)、自适应
梯度
下降
)比较如何?在什么情况下,人们应该更喜欢高频技术,而不是
梯度
下降
技术?
浏览 3
提问于2015-07-22
得票数 2
回答已采纳
1
回答
神经网络
优化
阶次
、
、
、
我有一个
关于
优化
谈判
的
非常基本
的
问题,当我调整
神经网络
中
的
权重和偏差时,我应该:前向传播和反向传播,计算
梯度
下降
(DC)一批
的
iterations_number次数,然后继续下一批。
浏览 0
提问于2021-01-16
得票数 0
回答已采纳
4
回答
梯度
下降
是每个
优化
器
的
核心吗?
、
、
、
、
我想知道
梯度
下降
是否是Adam、Adagrad、RMSProp和其他几个
优化
器中使用
的
主要算法。
浏览 0
提问于2019-03-12
得票数 13
回答已采纳
1
回答
ADAM
优化
算法
的
解释
、
我是机器学习
的
初学者,我正在寻找一些
梯度
下降
的
优化
器。我已经搜索了很多
关于
这方面的主题,并对所有这些
优化
器进行了最新
的
研究。我只有一个问题,我想不出来。请不要评判我,但我想知道?我们是单独使用ADAM
优化
器,还是必须将其与SGD相结合?我不明白它是单独工作,还是这里
优化
的
不是
神经网络
,而是
神经网络
的
SGD? 谢谢你
的
帮助!
浏览 0
提问于2018-08-08
得票数 3
1
回答
为什么
优化
器被使用在不是
神经网络
的
东西上?
、
、
为什么
优化
器被使用在不是
神经网络
的
东西上?在样式编码器(在潜在空间中查找图像)中,隐空间被更新,而不是
神经网络
的
权值。为什么它在这些情况下有效,因为更新
的
不是
神经网络
的
权重?
浏览 0
提问于2020-11-20
得票数 1
1
回答
梯度
下降
算法中激活函数
的
导数
、
、
、
、
为什么在更新模型(回归或
神经网络
)参数时需要计算激活函数
的
导数?为什么线性函数
的
恒定
梯度
被认为是一个缺点?据我所知,当我们使用公式进行随机
梯度
下降
时: 那么,权重也会被很好地更新,那么为什么导数
的
计算被认为是如此重要呢?
浏览 0
提问于2019-07-13
得票数 1
1
回答
确定
梯度
下降
的
起点
、
我刚刚了解到
梯度
下降
的
起点决定了终点。所以我想知道我们如何确定正确
的
起点来达到全局最小点,以便我们得到最小代价函数?
浏览 0
提问于2020-12-26
得票数 1
2
回答
在
神经网络
中,为什么要使用
梯度
方法而不是其他
的
元启发式方法?
、
、
、
、
在训练深度和浅层
神经网络
时,为什么常用
梯度
下降
法(如
梯度
下降
法、Nesterov法、牛顿-拉夫森法),而不是其他元启发式方法? 元启发式是指为避免陷入局部极小而发展起来
的
模拟退火、蚁群
优化
等方法。
浏览 0
提问于2016-04-15
得票数 3
2
回答
用Python最小化函数式
、
、
、
该对象接受在某个域\Omega上定义
的
函数,并给出一个数字。这方面的数学术语是有用
的
。 现在,对于f,我需要最小化这件事。我知道SciPy有一个
优化
包,它允许将多变量函数最小化,但是我很好奇是否有更好
的
方法来考虑如果我使用它,我会最小化超过10,000个变量(因为函数本质上只是10,000个数字
的
列表)。
浏览 0
提问于2017-03-07
得票数 4
2
回答
神经网络
优化
、
、
、
神经网络
是通过尝试和错误、数据科学家来
优化
,还是通过精确
的
数学方程来
优化
值?
浏览 0
提问于2021-03-05
得票数 -1
2
回答
寻找全局最小值
、
、
、
我有一个
神经网络
,正在努力寻找全局最小值。我想知道找到它
的
正确方法。我知道我需要更改超参数,但是因为您使用
的
是随机权重,所以我是否要多次尝试使用相同
的
超参数?在我放弃之前,我要尝试多少种不同
的
组合?任何实用
的
建议都将不胜感激。
浏览 0
提问于2018-04-13
得票数 1
2
回答
GD、批GD、SGD和小型批处理SGD有什么不同?
、
、
这四种
梯度
下降
函数之间有何不同?批GD小批量SGD
浏览 0
提问于2019-06-15
得票数 3
回答已采纳
1
回答
Python中错误
的
反向传播
、
、
我试图理解错误
的
反向传播是如何工作
的
,所以我试图用上面显示
的
非常简单
的
神经网络
来实现这一点。我发现
的
其他视频似乎也以不同
的
方式反向传播错误,所以这只会让我更困惑。
浏览 1
提问于2016-11-22
得票数 1
1
回答
在Tensorflow中添加一个热编码抛出先前工作代码中
的
错误
、
tf.nn.xw_plus_b(output[i],output_projection[0],output_projection[1]) 如果我在这里介绍一个日志热编码,程序稍后会出现错误,尽管两者都返回相同
的
维度
浏览 2
提问于2015-12-20
得票数 3
4
回答
SGD和反向传播有什么区别?
、
、
、
、
你能告诉我随机
梯度
下降
(SGD)和反向传播
的
区别吗?
浏览 2
提问于2016-06-21
得票数 49
回答已采纳
2
回答
神经网络
与线性回归
梯度
下降
的
反向传播
、
、
、
、
我试图理解“反向传播”,因为它是使用
梯度
下降
优化
的
神经网络
。读一读文学作品,似乎做了几件事。 上述步骤似乎是线性模型
的
精确求解过程(例如,回归)。安德鲁·吴
的
“机器学习课程”与线性回归课程完全一样。所以,我想弄清楚BackPropagation对损失函
浏览 11
提问于2016-06-28
得票数 4
回答已采纳
4
回答
Tensorflow:通过
梯度
下降
优化
输入
我有一个TensorFlow模型(一个卷积
神经网络
),我使用
梯度
下降
(GD)成功地训练了一些输入数据。现在,在第二个步骤中,我想提供一个输入映像作为初始化,然后使用GD对这个具有固定网络参数
的
输入映像进行
优化
。损失函数将是不同
的
,但这是一个细节。所以,我
的
主要问题是如何告诉
梯度
下降
算法 你们对第二点有什么想法吗?我想我自己可以用T
浏览 6
提问于2016-09-13
得票数 8
1
回答
梯度
下降
如何避免局部极小值?
、
在
神经网络
和深度学习中,
梯度
下降
算法被描述为与
梯度
相反
的
方向。 链接到书中
的
位置。是什么阻止这一策略在当地最低限度着陆?
浏览 0
提问于2022-06-19
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
活动报名:基于梯度下降的神经网络学习中的不变低维子空间
从梯度下降到 Adam!一文看懂各种神经网络优化算法
全量梯度下降-逻辑回归参数的优化
关于梯度下降算法的的一些总结
神经网络中的梯度优化算法研究与改进
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券