在tensorflow中使用get_variable实现偏差的零初始化器

文章/答案/技术大牛

发布

1回答

machine-learning、initialization、tensorflow、bias-neuron、zero-initialization

我正在修改的一个代码是对权重变量使用tf.get_variable，对偏差初始化使用tf.Variable。经过一些搜索，似乎get_variable应该总是因为它在共享方面的可移植性而受到青睐。所以我试着将偏置变量改为get_variable，但似乎无法使其起作用。原创：tf.Variable(tf.zeros([128]), trainable=True, name="b1") 我的尝试：tf.get_variable(name

浏览 4提问于2017-01-24得票数 7

回答已采纳

1回答

Tensorflow无法协调手工创建的模型和使用层api的模型

tensorflow、neural-network、deep-learning、mnist

我在手工创建一个使用层API创建的模型时遇到了困难。这里有两个公式，我认为它们应该是平等的，但在我运行它们的时候，它们并没有在某种程度上发挥作用。97%，而手动的为11%。我似乎不知道为什么，因为他们应该是相同的。下面是我用来运行这个程序的最低限度的工作代码。根据NPE下面的答案，初始化是问题所在。下面的手动实现最接近于使用层API： def manual_create

浏览 1提问于2018-05-13得票数 3

回答已采纳

1回答

tf.zeros()返回tf.get_variable()吗？

python、tensorflow、machine-learning、keras、gradient-descent

试图理解keras优化器()中的优化代码。现在，既然moments被设置为一个列表，一个零张量，而m是这个列表的一个迭代，为什么m不总是计算成一行v = self.momentum * m - lr * g中的零张量？现在我查找了tensorflow ( keras.backend.zeros for tensorflow，)的代码，keras.backend.zeros返回，它显然返回一个常数<e

浏览 0提问于2018-04-16得票数 3

回答已采纳

1回答

不建议使用WARNING:tensorflow:create_partitioned_variables

python、tensorflow

我要得到这个WARNING 我用的是tensorflow.__version__ 0.9.0 解决这个WARNING最合适的方法是什么？如果您安装了tensorf

浏览 2提问于2016-07-06得票数 4

回答已采纳

1回答

在Tensorflow中，可以将密集层的偏差设置为零吗？

python、tensorflow、machine-learning

我正在尝试实现一个神经网络，在这个网络中，我只需要对输入进行内核乘法。Tensorflow中的密集层也增加了偏差，我试图将其设置为零。在文档中，唯一可用的变量是bias_regularizer。out1 = tf.layers.dense(inputs=codeword, units=21, activation=None, bias_regularizer=make_zero) 但是我仍然看到偏差

浏览 25提问于2019-10-31得票数 3

回答已采纳

1回答

global_variables_initializer()进行初始化的变量是什么？

python、tensorflow、global-variables

在tensorflow中，在使用cell.zero_state()初始化单元格状态和隐藏状态后，应该初始化全局变量，否则RNN单元将无法运行。global_variables_initializer实际上是做什么的？非常感谢!

浏览 0提问于2018-05-04得票数 0

回答已采纳

1回答

报告未初始化变量Tensorboard

tensorflow、tensorboard

我正在用Tensorflow构造一个神经网络。我正在使用tf.layers模块。由于某些原因，在图形可视化中，我看到一个“报告未初始化变量”连接到我的图表的每个部分。这张图似乎很管用。我只是想了解这些节点的含义。我不确定这是否与我正在使用MonitoredTrainingSession的事实有关。它似乎与

浏览 2提问于2017-06-29得票数 4

2回答

TypeError: int()参数必须是字符串、类似字节的对象或数字，而不是“张量”

python、tensorflow

我试图将初始化器形式从tf.Variable转换为Cudnn_GRU的tf.get_variable，但我一直收到这个错误。我必须进行转换，因为tensorflow不允许在循环/控制流函数中进行初始化，而只允许使用lambda初始化器或通过tf.get_variable进行初始化import/python/ops/variable_scope

浏览 1提问于2018-02-12得票数 5

2回答

神经网络与交叉熵一起工作，不与其他损失函数一起工作。

tensorflow、neural-network、julia、loss-function

我用tensorflow和julia建立了一个神经网络。我可以使用cross_entropy丢失函数创建一个网络，它的工作原理是：usingTensorFlow initial = map(Float32, rand(Normalaccuracy,Dict(

浏览 0提问于2018-03-30得票数 1

回答已采纳

1回答

什么是Tensorflow中来自咖啡馆的weight_filler的等价物？

tensorflow、deep-learning、conv-neural-network、caffe

我正在尝试将TensorFlow转换为Caffe模型，但在Caffe中weight_filler又如何呢？我在tf中的模型是： model.add(Conv2D(16, kernel_size=(5, 5), padding="same", activation='selu',

浏览 13提问于2020-06-28得票数 0

回答已采纳

1回答

如何在程序中重用一个简单的密集Tensorflow图？

python、tensorflow

我对Tensorflow非常陌生，并试图找到一种使用简单程序保存和恢复稠密层的方法。我使用了以下简单的程序来初始化和保存图表。('sutej/kernel:0')) 在输出中，我可以看到图表已经恢复，保存的文件中</em

浏览 0提问于2018-05-17得票数 0

回答已采纳

1回答

如何在TF2.x中暂时关闭/打开eager_execution？

python、tensorflow、computer-vision、tensorflow2.0

然而，第一个是以对象为基础的模型，第二个是在TF1.x中训练的，后者保存为基于名称的 ckpt。这里的基本冲突是，在tf.compat.v1模式中，我必须使用disable_eager_execution来运行该模式，而另一个模型则需要急切的执行(否则执行速度会慢2.5倍)。我试图找到一种将TF1 ckpt转换为基于对象的TF2模型的方法，但我不认为这是一种简单的

浏览 1提问于2021-03-18得票数 0

回答已采纳

2回答

我应该自己初始化变量，还是只用global_variable_initialize()初始化？

tensorflow、initialization、global-variables

我正在做一项时间序列预测工作，而在tensorflow中使用RNNCell并不是我自己编写初始化变量，而是它经常使用global_variable_initialize()函数来完成这项工作。只调用一个函数并为我初始化所有变量感觉很奇怪。我听说过global_variable_initialize()检索一个变量列表，其中包含:所有的权重、所有的偏差、所有的隐藏状态，但它就像一个不知道变量范围的黑匣子，而且我在自己编写网络时也不使用<

浏览 2提问于2018-05-04得票数 1

1回答

将TensorFlow* LSTM转换为突触*

machine-learning、neural-network、tensorflow、lstm、tensorboard

我正致力于在已经训练过的TensorFlow basic LSTM和可以在浏览器中运行的javascript版本之间实现一个接口。问题在于，在我所读过的所有文献中，LSTMs都被建模为微型网络(仅使用连接、节点和门)，而TensorFlow似乎有更多的功能。我有两个问题： TensorFlow模型能很容易地转化为一种更传统<

浏览 2提问于2015-12-17得票数 9

回答已采纳

1回答

修改TensorFlow神经网络连接

python、tensorflow、neural-network

我使用Python3.x和TensorFlow 2.0来创建一个玩具神经网络模型，如下所示： ) Dense( )现在我想以分层的方式修改模型的权重/偏差。我想出的改变模型的随机初始化权重/偏差<em

浏览 0提问于2020-01-17得票数 1

2回答

如何将偏差和激活函数直接添加到TensorFlow中的输入层？

python、tensorflow、keras、neural-network

我想要创建一个没有隐藏层的神经网络，但是每个输入都有一个偏差求和，并且在进入softmax输出层之前经过一个relu函数。与每个输入的偏差相关的权重需要是可训练的。您也可以将其看作是一个具有一个隐藏层的神经网络，但是隐藏层中的每个节点只连接到一个输入特性。我想要实现的是最简单的架构，它可以为每个输入学习一个阈值函数(这是通过对relu的偏倚进行组

浏览 0提问于2020-04-21得票数 0

回答已采纳

1回答

如何在我的应用程序中发布TensorFlow？

tensorflow

我正在用C++构建一个应用程序，我想包括一个我用TensorFlow构建的ML分类器模型。应用程序将为不同的操作系统构建。有什么方法可以让TensorFlow随我的应用一起使用，这样人们就不用自己在机器上安装TensorFlow了？我的另一个选择是在C++中实现自己的神经网络，只从保存的TensorFlow模型

浏览 2提问于2016-11-04得票数 0

回答已采纳

1回答

Tensorflow --当使用tf.contrib.layers.conv2d时，我可以设置权重和偏差的名称吗？

python、tensorflow

Tensorflow版本: 1.10.1 我想把我的学习权值和我的预训练网络中卷积层的偏差转移到一个新的网络中。但是，由于我使用了conv2d api，检查点文件中的权重和偏差自动命名为Conv/weights、Conv/biases、Conv_1/weights、Conv_1/biases、Conv_2/weights但是，这些名

浏览 0提问于2018-09-27得票数 1

回答已采纳

1回答

如何导入经过训练的模型而不初始化权重

javascript、tensorflow、tensorflowjs-converter、tensorflowjs

我使用张力流js转换器将在EfficientNet上预先训练过的ImageNet模型转换为tensorflow-js。当我试图将模型加载到我的脚本中时，它尝试用初始化器初始化权重，而这些初始化器在tfjs中没有实现。然而，没有必要初始化权值，因为模型是预先训练的，权重也是经过转换的。这可能是由

浏览 1提问于2019-06-19得票数 2

回答已采纳

10回答

如何在TensorFlow中添加正则化？

python、neural-network、tensorflow、deep-learning

我在许多可用的使用TensorFlow实现的神经网络代码中发现，正则化项通常是通过在损失值中添加一个附加项来实现的。是否有一种比手动更优雅或推荐的正则化方法？我还发现get_variable有一个论点，regularizer。它应该如何使用？根据我的观察，如果我们将正则化项传递给它(例如tf.contrib.

浏览 7提问于2016-05-09得票数 96

回答已采纳

点击加载更多