腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2541)
视频
沙龙
1
回答
gensim Word2Vec -如何应用
随机
梯度
下降
?
、
、
、
、
据我所知,批量(香草)
梯度
下降
对所有训练数据进行一次参数更新。
随机
梯度
下降
(SGD)允许您更新每个训练样本的参数,帮助模型更快地收敛,但代价是函数损失的高度波动。 ? 批量(香草)
梯度
下降
集batch_size=corpus_size。 SGD设置batch_size=1。和
小批量
梯度
下降
集batch_size=k,其中k通常为32,64,128… gensim如何应用SGD或
小批量
梯
浏览 32
提问于2019-05-02
得票数 0
回答已采纳
1
回答
针对ML初学者的MNIST教程错误
我认为这部分不准确: 我可能错了,但这不应该改变吗?
浏览 4
提问于2016-08-15
得票数 0
1
回答
随机
梯度
下降
Vs
小批量
尺寸1
、
、
、
随机
梯度
下降
基本上是
小批量
训练的名称,其中批大小=1,并选择
随机
训练行吗?也就是说,它和“正常”
梯度
下降
一样,只是训练数据的提供方式不同吗?让我困惑的是,我看到人们说,即使有SGD,你也可以提供超过一个数据点,并且有更大的批次,那么这难道不只是“正常”的小批处理
梯度
下降
吗?
浏览 0
提问于2018-03-30
得票数 3
回答已采纳
2
回答
随机
梯度
下降
中的
随机
部分是什么?
、
、
根据我的理解,一个
随机
过程,其值在某一时刻取决于先前采取的值,而且每次运行该过程时,所选择的路径可能是不同的。在一定的初始播种值之后,我们只能知道这个过程的限制和限制。利用
随机
梯度
下降
法对神经网络的权值进行更新。它的
随机
部分是什么?在对变量进行某些初始化之后,如果在每次测试初始化后提供相同的输入数据集,则累积的错误函数将是相同的。为什么这个词是
随机
的?
随机
性的范围在哪里,这种
随机
性的来源是什么?
浏览 0
提问于2017-09-28
得票数 3
1
回答
将
随机
梯度
下降
转
换为
小批量
梯度
下降
、
我需要在
小批量
梯度
下降
中转换
随机
梯度
下降
的训练。我报告了一个仅有4个训练样本的神经网络的简单示例,因此我们可以实现批量大小为2的示例,以便了解如何更改训练部分。hidden[j]*weightO[i][j]; }} 这是我需要更改为
小批量
梯度
下降
的训练部分
浏览 19
提问于2020-10-02
得票数 1
回答已采纳
2
回答
如何在python中实现
小批量
梯度
下降
?
、
、
、
、
当涉及到
梯度
下降
时,我发现自己被卡住了。我知道如何实现批量
梯度
下降
。我知道它是如何工作的,以及
小批量
和
随机
梯度
下降
在理论上是如何工作的。但是真的不能理解如何在代码中实现。这段代码实现了批量
梯度
下降
,但我想在这个示例中实现
小批量
和
随机
梯度
下降
。我怎么能这样做呢?为了分别实现
小批量
和
随机
梯度
<em
浏览 1
提问于2016-07-02
得票数 4
回答已采纳
1
回答
如果我使用adam优化,当模型的权重更新时?
、
、
、
我知道模型的权重何时更新,同时使用
梯度
下降
(在所有三种类型的GD中),但在我的情况下,我使用的是带有自定义损失(三元组损失)的adam优化,在这种情况下,模型中的权重何时更新?
浏览 0
提问于2019-07-27
得票数 1
2
回答
小批量
比批量
梯度
下降
性能差吗?
、
我可以从批量
梯度
下降
(批量大小为37000)获得相当好的结果,但当我尝试
小批量
梯度
下降
时,我得到了非常差的结果(即使使用adam和dropout)。然而,在128号的
小批量
中,我在这两种情况下的准确率都只有88%左右。 训练损失似乎在1.6%左右,并且不会随着任何进一步的迭代而减少,但当我增加批量大小(从而提高精度).And时,它会慢慢减少。
浏览 31
提问于2020-07-11
得票数 1
1
回答
如何在Theano中汇集渐变?
我正在执行一种
随机
梯度
下降
,但对于
小批量
中的每个样本,我需要执行一个采样过程来计算
梯度
。在Theano中,有没有一种方法可以在我对
小批量
中的每个数据点执行采样过程时汇集
梯度
,然后才执行
梯度
更新?
浏览 0
提问于2015-01-18
得票数 0
1
回答
SkikitLearn学习曲线强烈依赖于MLPClassifier ?的批次大小。或者:如何诊断神经网络的偏差/方差?
、
、
我目前正在使用ScikitLearn中的两个类处理一个分类问题,其中有求解器adam和激活relu。为了探索我的分类器是否存在高偏差或高方差,我用Scikitlearns内置函数绘制了学习曲线: 应该是这样的吗?我认为学习曲线是根据独立于任何批次/时代的训练数据来处理准确性分数的吗?对于批处理方法,我真的可以使用这个内置函数吗?如果是,我应该选择哪个批次大小(训练示例的整批或批次size=数或两者之间的某个部分),以及从中得到什么诊断?或者你通常如何诊断神经网络分类器的偏差/方差问题?
浏览 1
提问于2019-03-26
得票数 1
回答已采纳
0
回答
随机
梯度
下降
是否适用于TensorFlow?
、
如果我使用批量或
小批量
梯度
下降
,我会得到一条很好的学习曲线。我哪里搞错了?在我的理解中,我使用Tensorflow进行
随机
梯度
下降
,如果我在每个训练步骤中只提供一个训练/学习示例,例如:因为神经网络将在在线学习环境中执行,所以<e
浏览 7
提问于2016-12-19
得票数 3
回答已采纳
2
回答
当使用
随机
梯度
下降
( batch_size )作为优化器时,fit()方法中的sgd值应该是多少?
、
、
我使用sgd,即
随机
梯度
下降
作为优化器(请参阅代码)。我知道在sgd中,使用训练集中的一个
随机
实例来计算每个步骤的
梯度
。因此,根据它,batch_size应该等于1。现在,在tf.keras.Sequential.fit()文档中,它说:那么,是否必须手动
将
batch_size设置为1?这是因为默认值32将使其成为最小批处理
梯度
下降
.
浏览 0
提问于2019-07-17
得票数 1
回答已采纳
1
回答
如何在不使用feeddict的情况下在tensorflow中实现
小批量
梯度
下降
?
我发现的所有
小批量
梯度
下降
教程都是用feed_dict实现的。有没有办法使用输入管道和
小批量
梯度
下降
?
浏览 4
提问于2018-06-29
得票数 0
6
回答
梯度
下降
和
随机
梯度
下降
有什么区别?
、
、
、
梯度
下降
和
随机
梯度
下降
有什么区别? 我对这些不太熟悉,你能用一个简短的例子来描述这种差异吗?
浏览 0
提问于2018-08-04
得票数 75
1
回答
神经网络训练的模型根据验证数据产生不一致的结果
、
、
我正在学习神经网络。这是故意的行为,还是我可能做错了什么?
浏览 13
提问于2017-07-20
得票数 0
回答已采纳
1
回答
用Python的numpy实现
随机
梯度
下降
、
、
、
我必须使用python numpy库实现
随机
梯度
下降
。
浏览 4
提问于2016-10-11
得票数 2
回答已采纳
1
回答
并行平均
小批量
梯度
的TensorFlow
、
、
、
我想使用批量
梯度
下降
来训练神经网络,但我想将过程并行化。我想将批次分成小批次,跨进程分发
梯度
计算,然后将它们带回主进程,对它们进行平均,并将它们应用于训练。feed_dict={xs: x_data})我想并行化的部分是
梯度
的计算,然后我想将这些
梯度
带回到主过程中进行平均,然后应用于训练步骤。
浏览 14
提问于2017-08-19
得票数 2
回答已采纳
3
回答
什么是神经网络的新纪元?
、
什么是神经网络中的纪元EPOCH用于更新权重。更改"Training data(Input data)"?
浏览 0
提问于2016-05-16
得票数 1
1
回答
随机
梯度
下降
分批
、
、
、
我对回归很陌生,我们在一门课程中做了一个非常简单的练习。我采取了一个基本的了解GD和SGD的线性回归。我的问题是,对于SGD来说,是简单地在小型批处理上执行算法,还是有某种结果的求和来给出最终的答案?抱歉,如果我没有用正确的术语来问,我对一些涉及的数学概念是更新的。
浏览 0
提问于2018-04-24
得票数 0
回答已采纳
2
回答
梯度
下降
:我们是否在GD中的每一步迭代所有的训练集?或者我们是否为每一套培训更改GD?
、
我用一些在线资源自学了机器学习,但我有一个关于
梯度
下降
的问题,我无法弄清楚。如果我在每个训练示例之后执行
梯度
下降
,那么我的系数
将
非常不同,如果我在所有10个训练示例之后执行
梯度
下降
。如下所示,第一种方式与第二种方式是如何不同的: 第四
浏览 8
提问于2013-06-24
得票数 7
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
梯度算法之批量梯度下降,随机梯度下降和小批量梯度下降
梯度下降算法之随机梯度下降
批量梯度下降与随机梯度下降的区别
随机梯度下降
通过代码原理教你搞懂SGD随机梯度下降、BGD、MBGD
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券