当我在tensorflow中使用tf.data.Dataset api时,我用tensorflow训练了我的模型。我想演示我的代码的一些部分:
# This corresponds to loading the data using the tf.data.Dataset api...
names_train, detected_train, arousal_train, valence_train, liking_train, is_talking_train, images_train,\
iterator_train_all = load_train_sewa_tfrecords(fil
我有一个定制的CNN实现在TensorFlow后端运行的keras。为了提高通用性,我致力于在CNN模型中增加正则化。该模型工作良好,无需任何活动/内核正则化。当我添加一个活动/内核正则化时,模型会冻结;训练通常会在单个时期的批/迭代之间停止(例如,67/172批)。这个问题在我的系统上是非常可重复和可重复的,我能够将这个问题本地化以实现正规化。看到这种行为是很奇怪的,我也找不到其他人提出类似的问题。我不知道我是否需要提供任何补充资料,如果有人能指导我所缺乏的东西,我将非常乐意提供所需的资料,并希望就这个问题提供指导。
下面是一些关于库/依赖项之类的有用信息
2.4.3Tensorflow K
我即将使用Tensorflow和更快的R-CNN Inception v2模型来训练我自己的模型。下面是配置文件: eval_config: {
num_examples: 500
# Note: The below line limits the evaluation process to 10 evaluations.
# Remove the below line to evaluate indefinitely.
max_evals: 10
} 是max_evals等于纪元?如果没有,在哪里配置?
我正在训练一个由CNN和RNN组成的模型,输入到不同的输入,输出将被输入到FCN。现在的问题是:
我可以在CPU上运行CNN,在GPU上并行运行RNN吗?
与Tensorflow一样:
with tf.device('/cpu:0'):
CNN...
with tf.device('/gpu:0'):
RNN...
为了提高训练模型的延迟性,我尝试使用Tensorflow混合精度。
正如中提到的那样,仅仅设置策略似乎并不能提高模型的速度:
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
from tensorflow.keras import mixed_precision
policy = mixed_precision.Policy('mixed_float16')
mixed_precision.set_global_policy(policy)
但是
我想用Google (GPU),Keras和Tensorflow来训练几个CNN架构。由于经过训练的模型由于GPU的支持不能重复,所以我想对模型进行多次训练,并确定结果的均值和标准差。我完全不确定我是否至少应该试着使模型的可重复性最小?例如,在程序开始时使用以下代码:
import numpy
import tensorflow as tf
import random as rn
import os
os.environ['PYTHONHASHSEED']='0'
np.random.seed(1)
rn.seed(1)
tf.set_random_seed(
我试着用我拥有的36个核心来训练一个CNN模型。我正试着跟随:
但是它并没有使我的代码更快,我也不确定它是使用了所有的导航核心,还是只使用了一个核心,其余的都没有使用。
我的代码是:
模型是用Keras ==>定义的
import tensorflow as tf
from keras.backend import tensorflow_backend as K
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
K.set_session(sess)
CNN_Model = CNN_model()
E