Tensorflow实现部分参数梯度更新

在深度学习中,迁移学习经常被使用,在大数据集上预训练的模型迁移到特定的任务,往往需要保持模型参数不变,而微调与任务相关的模型层。本文主要介绍,使用tensorflow部分更新模型参数的方法。

1. 根据Variable scope剔除需要固定参数的变量

2. 使用tf.stop_gradient()函数

在建立Graph过程中使用该函数,非常简洁地避免了使用scope获取参数

3. 一个矩阵中部分行或列参数更新

如果一个矩阵,只有部分行或列需要更新参数,其它保持不变,该场景很常见,例如word embedding中,一些预定义的领域相关词保持不变(使用领域相关word embedding初始化),而另一些通用词变化。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏邹成卓的专栏

三维变换矩阵的理解

3D空间中的一个点的坐标,可以用(x,y,z)来表示。对这个点的坐标变换有三种操作:缩放、平移、旋转。

1.6K2
来自专栏小鹏的专栏

人脸检测——fcn

在上一篇的基础上修改即可:人脸检测——滑动窗口篇(训练和实现) !!!注意:这些是我的调试版本,最优版本不方便公开,但是自己可以查看论文,自行在此基础上修改,...

2118
来自专栏宏伦工作室

动手实现notMNIST数据集图片分类

1973
来自专栏CreateAMind

DeepMind时间序列生成模型

使用vae推理;lstm 时间相关建模;external memory加强记忆;和神经图灵机 可微分计算机等进行比较。

1262
来自专栏Petrichor的专栏

深度学习: convolution (卷积)

卷积层是没有“厚度”一说的。如果非要有,那么假设一个卷积层由10个滤波器(假设每个滤波器有16通道)组成,那么该卷积层的“厚度”即为10。和输入输出数据那种只需...

3052
来自专栏计算机视觉战队

深度压缩网络 | 较大程度减少了网络参数存储问题

神经网络是计算密集型和内存密集型,很难使它们用有限的硬件资源去部署在嵌入式系统中。为了解决这种限制,本文引入“深度压缩”,一共有三个阶段的流水线:剪枝、量化和霍...

3515
来自专栏Petrichor的专栏

tensorflow: 激活函数(Activation_Functions) 探究

2462
来自专栏Python小屋

Python扩展库scipy.misc中图像转换成pillow图像

众所周知,在数字图像处理领域中有很多基准测试图像,这些图像用来作为科研人员PK自己的算法时的参考,给大家提供一个公平的样本,针对同一个问题进行处理时,可以用这些...

3135
来自专栏数值分析与有限元编程

有限元|含铰接点的刚架怎么处理?

如图1所示,平面刚架有一个铰接点。建立有限元分析模型如图2,此时含铰接点的单元该怎么处理? ? ? 我们知道,两端刚结平面梁单元的单元刚度矩阵是 ? 由结构力...

3415
来自专栏数据结构与算法

概率论中几个入门公式

临时整理一下,以后会慢慢补 独立 独立:对于事件$A$和$B$,如果$P(AB)$=$P(A)P(B)$,那么称$A$和$B$是独立的。 所谓独立,即两事件的结...

3036

扫码关注云+社区

领取腾讯云代金券