文章/答案/技术大牛

发布

社区首页 >问答首页 >SGD迭代的方差计算

问SGD迭代的方差计算
EN

Data Science用户

提问于 2020-04-02 11:57:56

回答 1查看 347关注 0票数 1

众所周知，SGD迭代具有很大的方差。考虑到迭代更新：

w^{k+1} := w^k - \underbrace{\alpha \ g_i(w^k)}_{p^k},

其中w为模型权值，g_i(w^k)为样本i损失函数的梯度。如何计算每个更新p^k的方差？我想为每次迭代绘制它，并研究它在最小化过程中的行为。

发布于 2020-04-02 20:25:54

您可以绘制更新与迭代的关系图，并分析每次更新的变化随迭代次数的增加而变化。就像在这里中，他们正在比较标准梯度下降算法与其随机版本的方差。

票数 0

页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://datascience.stackexchange.com/questions/71606

复制

相似问题

问SGD迭代的方差计算EN