为什么sess.run(tf.assign)在每个时期之后需要更长的时间来执行？
sess.run(tf.assign)在每个时期之后需要更长的时间来执行的原因是因为在每个时期之后，模型的参数需要更新。tf.assign是TensorFlow中用于更新变量值的操作，它会将新的值赋给变量。在每个时期之后，模型会根据训练数据进行参数更新，这就需要执行tf.assign操作来更新模型的参数。
参数更新的过程涉及到计算梯度、反向传播等复杂的计算过程，这些计算过程会消耗较多的计算资源和时间。随着训练的进行，模型的参数逐渐接近最优值，更新的幅度也会逐渐减小，因此每个时期之后的参数更新可能会更加耗时。
为了加速参数更新的过程，可以考虑以下几点优化策略：
- 使用更高效的优化算法：TensorFlow提供了多种优化算法，如Adam、Adagrad等，可以根据具体情况选择合适的优化算法来加速参数更新。
- 批量化训练：将训练数据分成小批量进行训练，可以减少每次参数更新的计算量，从而加速参数更新的过程。
- 减少模型复杂度：如果模型过于复杂，参数更新的计算量会增加，可以考虑简化模型结构或减少模型的参数数量，从而加速参数更新。
推荐的腾讯云相关产品：腾讯云AI智能机器学习平台（https://cloud.tencent.com/product/tc-aiml）
以上是关于为什么sess.run(tf.assign)在每个时期之后需要更长的时间来执行的完善且全面的答案。
相关·内容
1回答
为什么sess.run(tf.assign)在每个时期之后需要更长的时间来执行？
python、numpy、tensorflow
我通过tf.assign()函数编写了一个函数，在每个时期之后更新可训练变量，新值是数值数组，并且可训练变量的形状在每个时期之后不会改变。但是，当时代增加时，运行该代码的时间也会增加，尽管可训练变量的数量和形状是相同的。有没有人能解释这一现象？for i, v in enumerate(tf.trainable_variables()):
浏览 28提问于2019-07-16得票数 0
3回答
为什么tf.assign()会减慢执行时间？
tensorflow
今天，我在Tensorflow的LSTM中添加了一个学习速率衰减。= tf.train.RMSPropOptimizer(lr_rate).minimize(loss)lr = tf.Variable(0.0,trainable=False)sess.run(tf.assign(lr, lr_rate*0.9**epoch))
但是，此更改将执行时间从~7分钟增加到超过20分钟。我的问题是:为什么这种改变会增加执行</em
浏览 1提问于2016-06-22得票数 3
2回答
Tensorflow:什么时候用列表在sess.run中完成变量赋值？
python、variables、tensorflow、variable-assignment、timing
我认为变量赋值是在给定给sess.run的列表中的所有操作之后完成的，但是下面的代码在不同的执行中返回不同的结果。似乎在列表中随机运行操作，并在列表中的操作运行后分配变量。a = tf.Variable(0)c = tf.Variable(1)update_b = tf.
浏览 2提问于2016-12-22得票数 10
回答已采纳
1回答
如何正确地为TensorFlow中的变量赋值？
python、tensorflow
因此，我需要执行以下附加步骤：s = tf.Session()我认为，在这一步之后，模型应该使用参数的新值只有在执行以下附加命令时，模型才会开始查看参数的新值：s.run(lr.b)
因此，事实上，我已经成功地达到了我想要的目标，但首先，我对正在发生的事情没有清楚的了解，第二，我不确
浏览 1提问于2017-09-21得票数 1
回答已采纳
2回答
在Tensorflow图中交换两个变量的值最有效的方法是什么？
tensorflow
这样做的一个简单方法是(在文章末尾的MWE)sess.run([tf.assign(var1, var2])但是，如果有几对这样的变量(例如模型参数和相关的指数加权移动平均值)，这种方法很快就会变慢，因为每个变量调用run三次，并且实际上会造成内存泄漏()。此外，由于var
浏览 0提问于2018-09-21得票数 0
回答已采纳
1回答
TensorFlow中两个大数相加时出错
tensorflow
在下面的代码中，为了练习使用TensorFlow，我编写了一个four循环来打印斐波那契序列。然而，在几次迭代之后，它将数字变为负数，然后只返回零。为什么？我该如何解决这个问题呢？此外，为什么与简单的算法相比，这种算法会如此之慢？)temp = tf.Variable(0, tf.int8)
task1 = tf.assign(var1, var2)
浏览 0提问于2016-11-10得票数 0
2回答
如何在TensorFlow神经网络中检索中间状态
tensorflow、rnn
我正在运行一个RNN的信号，在固定的大小段。下面的代码允许我保留上一批的最后状态来初始化下一批的初始状态。例如，我的第一批处理过程样本为0:124，而final_state是此处理之后的状态。然后，下一批处理示例124:256，将init_state设置为final_state。我的问题是，当批处理重叠时，如何检索中间状态。首先，我处理样本0:124，然后是10:134，20:144，所以跃点大小是10。我想检索<e
浏览 1提问于2018-04-17得票数 0
回答已采纳
1回答
如何约束TensorFlow中的权重不能改变符号？
python、tensorflow
我已经看过几篇关于向TensorFlow权重变量添加简单约束(即非负性)的帖子，但没有一篇是关于如何防止权重改变符号的。如果我有W = tf.get_variable('W1', [512, 256], initializer=initializer, dtype=tf.float32)，我如何添加一个约束，使W[i,j]在初始化后不能更改符号我没有看到在tf.get_variable()中使用"constraint“选项的明确方法。
浏览 0提问于2018-07-04得票数 0
1回答
Session.run()如何选择要运行的子图
python、variables、tensorflow、graph、variable-assignment
因为根据子图的哪一部分首先执行，我们可能得到不同的结果，我试图看看是否真的是这样。()) print(val1, val2, val3)我不太明白什么是独立的，什么不是。(tf.global_variables_initializer())
浏览 0提问于2018-01-26得票数 1
回答已采纳
3回答
这是tensorflow中的一个bug吗？
tensorflow
每次我运行我的代码，它都会产生不同的结果，非常奇怪。代码很简单，粘贴在下面。tensorflow as tf
b = tf.Variable(1)sum=tf.add(a,b)
as1=tf.assign(b, c) init = tf.global_variables_initializer
浏览 1提问于2017-06-21得票数 4
1回答
TensorFlow图中的条件求值
python、tensorflow
这可以用tf.cond来完成，但是它将从更新图形的两个分支。
如何实现这一点，以便有条件地执行tf.multiply (即仅
浏览 1提问于2017-07-05得票数 2
回答已采纳
1回答
如何获得全局步长变量的确定性值(严格在增量后或在增量之前)
python、tensorflow
'1'，但我认为没有什么能阻止Tensorflow给我'0‘，也就是说，在train_op中增加它的'assign’op之前，全局step变量的值。对于全局step变量，我如何确定地从train_op之前获得它的值，或者从train_op之后确定它的值？我知道我可以在sess.run([global_step])之前或之后分别执行sess.run([train
浏览 0提问于2018-10-26得票数 2
回答已采纳
3回答
在TensorFlow中为最小LSTM创建一个可训练的初始状态
tensorflow、lstm、recurrent-neural-network
我有一个序列太长，不适合记忆，但初始状态是非常关键的，所以我想把它训练成一个变量。如何训练初始状态变量在序列开始时传入，但对序列的其余部分继续使用输出状态？new_state[0]), state[1].assign(new_state[1])]): inititalise_h = tf.assign(state[1],
浏览 0提问于2018-02-23得票数 2
回答已采纳
3回答
为什么我之前的纪元比后面的纪元花费更长的时间？
machine-learning、keras、neural-network
我正在用keras训练一个模型，并试验我输入的数据量如何影响结果的准确性。不过我注意到了一些有趣的事情。168s
epoch 1: 577sepoch 3: 273sepoch 5: 274s 我的直觉是，每个时代都应该花费大致相同的时间。我注意到，对于较小的训练集，第一个纪元比后续的纪元花费更长的<
浏览 22提问于2019-04-17得票数 1
2回答
在TensorFlow中赋值op :返回值是什么？
python、assign、tensorflow
我试图在TensorFlow中构建一个自动增量图。我认为assign op可能适用于此，但没有找到相应的文档。= tf.constant(1)assign = tf.assign(counterresult = tf.add(assign, ten)
sess.run</em
浏览 0提问于2016-02-02得票数 9
回答已采纳
1回答
'tf.assign‘是否返回它的参数？
variables、tensorflow、variable-assignment
Tensorflow 说明tf.assign(ref, ...)返回ref，但它似乎(并不奇怪)返回一个Tensor (附加到assign操作)：sess= tf.InteractiveSession()
sess.run(tf.global_variables_initializer())
浏览 5提问于2017-06-03得票数 2
1回答
Tensorflow分布式训练在每个时期后暂停
python、tensorflow2.0
我正在使用Tensorflow MirroredStrategy在2个GPU上并行训练神经网络。使用单个GPU时，每个时期需要19秒才能完成，而使用2个GPU时，每个时期需要13秒才能完成。我对此并不感到惊讶，因为我知道由于在训练期间更新变量的all_reduce开销，缩放并不完美。 然而，在分布式训练的每个时期之后，有大约8秒的</em
浏览 17提问于2020-07-02得票数 0
1回答
在Keras中训练一个具有多个输出的网络是否需要更长的时间？
machine-learning、keras
我使用Keras来完成一个任务，该任务有一个主目标和几个可选目标。当我针对所有目标进行训练(因此具有多个输出)时，每个时期所需的时间与使用单个目标/输出进行训练时所需的时间相同。在多目标的情况下，我们不应该期望它花费更长的时间吗？
浏览 2提问于2021-12-03得票数 0
1回答
为什么下面的Tensorflow代码会产生显示的结果？
tensorflow
我正在遵循tensorflow教程来做一些测试。在官方的变量部分，有一个代码片段指示如何使用tensorflow来实现计数器。我稍微修改了一下，结果如下所示。然而，我不知道背后的逻辑。我更改的代码的具体行是state = tf.add(state, one)。我认为当调用sess.run(state)时，应该多次执行add操作，生成结果0 1 2 3。然而，它仍然是1 1 1 1。(init_op)
print(ses
浏览 9提问于2016-09-27得票数 1
1回答
与默认计数器相比，GPU上的计数器速度慢吗？
python、cuda、tensorflow
编辑--参见底部的编辑，gpu上的tensorflow对于增加大量计数器向量来说速度非常快。我试着看看使用GPU是否给我带来了任何速度上的好处，下面的程序只需计算20万次，一次使用张量流和GPU，另一次使用平原-ol-python。张量流循环运行超过14秒，而普通ol只需要.013秒？# Create an Op to add one to `state`.new_value = tf.add(state, one)
update = tf.assignone
浏览 0提问于2015-11-27得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
