TensorFlow Keras: tf.keras.Model train_on_batch vs make_train_function -为什么一个比另一个慢？
TensorFlow Keras是一个用于构建和训练神经网络的高级API。在这个问题中，我们要讨论tf.keras.Model的train_on_batch方法和make_train_function方法之间的性能差异。
- tf.keras.Model train_on_batch方法是一个用于在给定输入数据上进行单个训练步骤的方法。它接受一个批次的训练样本和相应的标签，并更新模型的权重。这个方法适用于小规模的训练数据集，并且在每个训练步骤中都会计算并更新梯度。它的优势是简单易用，适用于快速的原型开发和调试。
- make_train_function方法是一个用于创建一个自定义的训练函数的方法。它可以让我们更精细地控制训练过程，并实现更复杂的训练逻辑。相比于train_on_batch方法，make_train_function方法更适用于大规模的训练数据集和复杂的训练过程。使用make_train_function方法，我们可以自定义训练逻辑，例如使用自定义的损失函数、指定不同的优化器、添加自定义的指标等。这个方法的优势是灵活性高，可以满足各种复杂的训练需求。
为什么一个比另一个慢，取决于具体的使用场景和实现细节：
- train_on_batch方法在每个训练步骤中都会计算并更新梯度，这可能会导致较大的计算开销。对于大规模的训练数据集，这种计算开销可能会导致性能下降，因为每个训练步骤的计算时间可能会很长。
- make_train_function方法在创建自定义的训练函数时，可以选择是否计算并更新梯度。如果我们选择不计算梯度，而是在训练函数中手动实现梯度更新，那么可能会更快一些。此外，make_train_function方法的灵活性也可能导致一些额外的开销，例如计算自定义的损失函数、指标等。
综上所述，train_on_batch方法适用于快速的原型开发和调试，而make_train_function方法适用于大规模的训练数据集和复杂的训练需求。在选择使用哪个方法时，我们需要根据具体的需求和性能考虑做出决策。
以下是腾讯云相关产品和产品介绍链接地址（仅供参考）：
- 腾讯云机器学习平台：https://cloud.tencent.com/product/tiia
- 腾讯云深度学习服务：https://cloud.tencent.com/product/tensorflow
- 腾讯云AI平台服务：https://cloud.tencent.com/product/ai
相关·内容
在TF2.2候选版本中，另一种训练方法是使用training_function = tf.keras.Model.make_train_function()生成训练函数，当调用该函数时，将执行一个训练步骤在TF2.1中使用"_make_train_function()“(注意下划线)进行make_train_function()： from tensorflow.python.keras.engine任何帮助都将不胜感激:)我希望我遗漏了一些非常明显的东西) 更新:快速检查TF
浏览 38提问于2020-04-16得票数 1
当我像这样定义一个模型时： import tensorflow as tfimport numpy as np
input = tf.keras.Input(shape=input_shape)
nn = layers.Dense(10)(nn)
output = layers.Activation('sigmoid&#
浏览 10提问于2021-04-29得票数 0
回答已采纳
我写了一个单元测试，以安全的模型后，我注意到，我不能这样做(不再)在训练。model.trainable_variables变量= list(filter(lambda var: tensor_name in var，var_names))打印(加权)print(变量)
问题是，我不明白为什么要这样做，因为受影响的层是由Keras跟踪的，正如您在下面的屏幕截图中看到的那样。raise RuntimeError(f"Unsupported or unknown time-reduction layer {name}"
浏览 7提问于2021-09-03得票数 8
回答已采纳
tensorflow keras中的层有一个方法build，用于将权重的创建推迟到您看到输入将是什么的时候。我有几个问题我没有找到答案：
"""A simple linear model."""()
print(net.variab
浏览 3提问于2020-05-15得票数 3
4回答
在Keras外科
、、、
output: {0}'.format(
>>/usr/local/lib/python3.6/dist-packages/tensorflow
浏览 3提问于2020-04-06得票数 9
回答已采纳
3回答
高、低级库的差异
、、、
我知道keras是一个高级库，tensorflow是一个低级库，但我仍然不太熟悉这些框架，无法理解这对高库和低库意味着什么。
浏览 3提问于2019-04-02得票数 1
回答已采纳
我正在研究一个用Keras和Tensorflow实现的强化学习模型。我必须在单个输入上频繁调用model.predict()。当在一个简单的预训练模型上测试推理时，我注意到使用Keras的model.predict比仅对存储的权重使用Numpy要慢得多。为什么它那么慢，我怎么才能加速它呢？import timeitfrom tensorflow.python.keras.mod
浏览 3提问于2018-02-15得票数 16
我真的对DeepMind为TensorFlow提供的十四行诗库的用途感到困惑。据我所知，从文档中可以看出，它似乎从本质上做了Keras所做的事情(灵活的功能抽象)。谁能告诉我十四行诗的优点是什么？
浏览 0提问于2018-11-04得票数 8
我使用的是Tensorflow 2.2.0GPU，我有一个简单的Keras模型，它由几个密集的层和一个线性输出组成(参见下面的代码)。tensorflow import kerasfrom tensorflow.keras import optimizersdef main():
state_input = keras.I
浏览 4提问于2020-06-15得票数 1
回答已采纳
我目前正在测试用TensorFlow Lite转换的U-Net网络推理的延迟时间。在一个分段问题上，我正在测试具有相同结构的三个NN (我正在用Windows操作系统在我的笔记本上测试它们)：
第一个模型: TensorFlow模型(没有优化，使用Keras接口创建)。第二个模型:使用TFLite优化的TensorFlow模型(使用Python进行转换并不进行量化)。这实际上是第一个转变的模型。第三个模型:使用TensorFlow优化和量化的TFL
浏览 4提问于2021-01-08得票数 1
我想把Chamfer的距离作为我的Tensorflow模型的损失，但这在计算上是不切实际的。下面的最小运行示例有更有效的方法吗？(输入和输出为大小(1,216,216，3)。import tensorflow as tf
def __init__(self):
self.conv2a = tf.keras.layers.Conv2D(50, 1, padding=&#
浏览 5提问于2022-07-28得票数 0
回答已采纳
我正在使用tensorflow 2.0，并尝试评估反向传播到简单的前馈神经网络的梯度。(output_size)(hidden_layer1) self.loss_function = tf.keras.losses.Huber() 到这个网络的前向传
浏览 25提问于2021-01-19得票数 0
为什么Keras需要TensorFlow引擎？关于我们为什么需要凯拉斯，我没有得到正确的指示。我们可以使用TensorFlow建立一个神经网络模型，但是为什么大多数人使用TensorFlow作为后端的Keras呢？
浏览 0提问于2020-01-02得票数 17
我想用Tensorflow来实现一个有CTC丢失的语音识别器。输入特征有可变的长度，因为每个语音都有可变的长度。标签也有可变的长度，因为每个转录是不同的。我手动填充这些特性来创建批处理，在我的模型中我有tf.keras.layers.Masking()层来创建并通过网络传播掩码。我还创建了标签批与填充。output_
浏览 5提问于2020-10-12得票数 0
回答已采纳
2回答
内存耗尽太快
、、、、
我在Ubuntu18.04上运行，内存为16 in，但我注意到在它(运行keras和TF2)执行train_on_batch之后，可用内存从空闲的-m命令的13232下降到9718，并且在每20集之后第一次调用train_on_batch时，可用内存继续以类似的数量减少。现在，我是Tensorflow的新手，但是每次调用train_on_batch都会减少大约3 3GB (如果我没看错的话)对我来说似乎有点极端，所以我希望有人能告诉我，我的节点数量是不是有点极端？因此，我的下一个问题是，
浏览 2提问于2020-04-26得票数 0
我想做一个模型，如下图所示。(简化)因此，实际上，我希望具有相同名称的权重在训练过程中始终具有相同的值。我做的是下面的代码：from tensorflow import keras但是当我尝试运行这段代码时，我得到了这个错误：
MklConcatOp : Dimensions of inputs should
浏览 15提问于2021-05-19得票数 1
回答已采纳
我同时设置了nump.random和tensorflow.set_random_seed，但由于某些原因，我无法获得可重复的结果:每次我重新运行代码时，都会得到不同的结果。为什么？这不是由于GPU，因为我运行在一个MacBook Pro 2017，其中有一个Radeon显卡，因此Tensorflow没有利用它。编辑：在导入Keras之前，通过移动所有种子的设置来更改代码。结果仍然不确定，但结果的差异比以前小得多。这很奇怪。我邀请你这么做:我很想了解从一个</em
浏览 0提问于2018-06-02得票数 18
回答已采纳
1回答
相反，我正在尝试训练一个在单个GPU上工作的GAN算法，但我无法让它在多个GPU设置上工作。我覆盖了tf.keras.Model，并使用了一个自定义的train_step，以及一些其他功能。在我的生命中，我无法在不得到以下错误的情况下让它正常运行： tensorflow.python.framework.errors_impl.InvalidArgumentError: 3 root error[Op:__inference_train_function_18178] 我使用以下内容创建我的模型： class GAN_Mo
浏览 14提问于2021-02-04得票数 0
我已经更新了问题，并产生了一个CPU-只有运行和GPU只运行。一般来说，在这两种情况下，直接的numpy计算似乎都比model. predict()快数百倍。希望这能澄清这似乎不是CPU vs GPU的问题(如果是的话，我很想解释一下)。
model = tf.keras.
浏览 2提问于2020-07-01得票数 12
回答已采纳
1回答
注意：keras.backend()返回tensorflow。用Python 3.5。import numpy as np
class KerasModel来自Tensorflow模型和ke
浏览 1提问于2018-10-12得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
