如何将Keras模型设置为使用多个TPU进行训练?所有示例都使用单个TPU地址
发布于 2019-06-13 02:42:21
显然,使用多个TPU的正确方法是将地址列表传递到解析器:
TPU_ADDRESS1 = 'grpc://10.240.1.2:8470'
TPU_ADDRESS2 = 'grpc://10.240.2.2:8470'
tpu_model = tf.contrib.tpu.keras_to_tpu_model(model,
strategy=tf.contrib.tpu.TPUDistributionStrategy(
tf.contrib.cluster_resolver.TPUClusterResolver(tpu = [TPU_ADDRESS1,TPU_ADDRESS2])))
但TF 1.13是否支持支持超过1个TPU的
https://stackoverflow.com/questions/56515548
复制相似问题