Tensorflow实现部分参数梯度更新

在深度学习中，迁移学习经常被使用，在大数据集上预训练的模型迁移到特定的任务，往往需要保持模型参数不变，而微调与任务相关的模型层。本文主要介绍，使用tensorflow部分更新模型参数的方法。

1. 根据Variable scope剔除需要固定参数的变量

2. 使用tf.stop_gradient()函数

在建立Graph过程中使用该函数，非常简洁地避免了使用scope获取参数

3. 一个矩阵中部分行或列参数更新

如果一个矩阵，只有部分行或列需要更新参数，其它保持不变，该场景很常见，例如word embedding中，一些预定义的领域相关词保持不变（使用领域相关word embedding初始化），而另一些通用词变化。