腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9734)
视频
沙龙
1
回答
基于
分布式
策略
的
Colab
TPU
训练
模型
、
、
、
、
我正在尝试使用
TPU
在
Colab
上
训练
和运行一个图像分类
模型
。没有火炬。我知道
TPU
只能处理GCS存储桶中
的
文件,所以我从存储桶中加载了数据集,并对检查点和日志记录函数进行了注释,以避免出现此类错误。我只想看到它在
TPU
上
训练
时没有错误。在CPU和GPU上,代码可以工作,但是当我在创建
模型
之前使用with strategy.scope():时出现问题。这是在我
训练
模型
时给我带来问题
的</em
浏览 17
提问于2020-12-11
得票数 2
回答已采纳
1
回答
“使用strategy.scope():”或者“使用tf.distribute.experimental.TPUStrategy(
tpu
).scope():‘”对NN
的
创建有什么影响?
、
、
在这里
的
代码中:https://www.kaggle.com/ryanholbrook/detecting-the-higgs-boson-with-tpus 在编译
模型
之前,使用以下代码创建
模型
:dnn_model=deep, ) 我不明白with strategy.scope()在这里做了什么,以及它是否会以任何方式影响
模型
它到底是做什么
的
? 将来我怎么才能弄清楚这是做什么<
浏览 108
提问于2020-12-18
得票数 2
回答已采纳
2
回答
可以从本地内核使用
TPU
吗?
我正在尝试用
TPU
训练
一个
模型
,但我必须使用Google
Colab
或类似的平台吗?
浏览 19
提问于2020-12-09
得票数 0
1
回答
google
colab
TPU
上
的
自定义图像数据生成器(具有增强功能)
的
示例(keras)
、
、
、
我用Keras写了一个
基于
resnet
的
模型
,对图像数据进行增强
训练
。我打算使用google
colab
TPU
,但我能找到
的
所有例子都不起作用,有人能给我举个例子吗?
浏览 17
提问于2020-02-16
得票数 0
4
回答
在Google
Colab
上设置MLflow
、
、
我经常使用Google
Colab
来
训练
TF/PyTorch
模型
,因为
Colab
为我提供了GPU/
TPU
运行时。此外,我喜欢使用MLflow来存储和比较经过
训练
的
模型
,跟踪进度,共享等。在Google
Colab
中使用MLflow有哪些可用
的
解决方案?
浏览 12
提问于2020-05-05
得票数 3
1
回答
如何使用Google中
的
tf.Keras 2.0将TensorFlow
模型
转换为
TPU
?
、
、
、
由于TF2.0没有tf.contrib层,我如何转换我
的
模型
来运行
TPU
上
的
培训,而不需要访问tf.contrib.
tpu
.keras_to_
tpu
_model()我
的
数据是.npy
的
,我有一个简单
的
模型
,我只使用model.compile()和model.fit()来
训练
它,但是看起来这个
模型
是在CPU上运行<em
浏览 4
提问于2019-04-05
得票数 7
1
回答
在Google
Colab
中使用多个GPU
的
Tensorflow中
的
分布式
训练
、
、
、
最近,我对将
分布式
培训整合到我
的
Tensorflow项目中产生了兴趣。我正在使用Google
Colab
和Python3来实现一个带有定制
的
、
分布式
的
训练
循环
的
神经网络,如本指南中所述: 在“创建分发变量和图形
策略
”部分
的
指南中,有一些代码
的
图片,这些代码基本上设置了一个“MirroredStrategy”,然后打印生成
的
模型
副本
的
数量,请参见下
浏览 8
提问于2019-09-19
得票数 5
1
回答
Colab
Pro在使用
TPU
Runtime
训练
深度学习
模型
12小时后自动断开连接
、
我用了几天
的
CoLab
专业版。我试图在
CoLab
专业版中使用
TPU
运行时来
训练
一个深度学习
模型
。但是Runtime在12小时
的
训练
后会自动断开。我已经配置了70个时期用于
训练
,它在大约43 - 52个时期停止。我使用Keras/Tensorflow来开发我
的
模型
。在过去
的
三天里,我正在
训练
相同
的
模型
,但我无法完成<em
浏览 0
提问于2021-06-17
得票数 1
2
回答
如何清除
Colab
Tensorflow
TPU
内存
、
、
、
我正在执行几个折叠
模型
。每次折叠后,我想清除
TPU
内存,这样我就不会得到OOM错误。 /usr/local/lib/python3.7/dist-packages/tensorflow/python/distribute/
tpu
_strategy.py_container_strategy(), _real_mirrored_creator,
浏览 13
提问于2021-07-29
得票数 1
回答已采纳
1
回答
用GPU代替
TPU
训练
莎士比亚
模型
、
、
、
、
我想看看用
TPU
和GPU
训练
模型
有什么不同。这是
训练
模型
部分: import time tf.keras.backend.clear_session() resolver = tf.distribute.cluster_resolver.TPUClusterResolver(
tpu
='grpc://' + os.environ['
COLAB
_
TPU
_ADDR&
浏览 21
提问于2021-03-26
得票数 3
回答已采纳
2
回答
Google
Colab
:为什么CPU比
TPU
快?
、
、
、
、
我正在使用Google
TPU
来
训练
一个简单
的
Keras
模型
。删除
分布式
策略
并在CPU上运行相同
的
程序比
TPU
快得多。那件事怎么可能?y_train, y_val = train_test_split(x, y, test_size=0.30, shuffle=False) x_val =
浏览 9
提问于2019-12-10
得票数 4
1
回答
为什么Tensorflow
的
MirroredStrategy和OneDevicestrategy在
colab
上不能工作?
、
、
、
、
我正在尝试使用MirroredStrategy和它
的
其他变体来理解Tensorflow
分布式
训练
。我已经在
colab
上使用MNIST编写了一个简单
的
脚本,但需要在多个GPU上进行测试。运行和实现代码会给我一个错误,因为“编译中
的
ValueError:分发参数在TF2.0中不可用,请在分发
策略
范围下创建
模型
。”我也尝试过OneDeviceStrategy,但它也不起作用。我想使用不同
的
分布式
训练
方法来
浏览 28
提问于2020-01-08
得票数 2
2
回答
如何在不使用GCP
的
情况下在
Colab
中加载用于
TPU
推断
的
数据?
、
、
、
对于
colab
TPU
上
的
训练
模型
,数据需要在GCP存储桶中。然而,对于少量
的
数据,我想知道是否可以直接从本地
colab
环境中推断数据。
浏览 53
提问于2020-07-29
得票数 1
回答已采纳
2
回答
为什么Google
Colab
TPU
和我
的
电脑一样慢?
、
、
、
、
因为我有一个很大
的
数据集,而且我
的
PC没有多少电力,所以我认为在Google
Colab
上使用
TPU
是一个好主意。下面是我
的
TPU
配置: try: print('Running on
TPU
',
tpu
.master())
tpu<
浏览 90
提问于2020-12-15
得票数 1
1
回答
Keras:对于所有操作,
TPU
模型
必须具有恒定
的
形状。
、
、
、
、
我正在使用一个预先
训练
过
的
keras
模型
,我想通过Google Colaboratory在
TPU
上运行它,但是我得到了以下错误: 您可能必须为RNN/时间分布层指定“input_length”。据我所知,当
模型
被编译为解释
的
和时,
TPU
需要有固定
的
批处理大小。
模
浏览 3
提问于2019-10-29
得票数 6
1
回答
TF1.14][
TPU
]不能在使用
TPU
的
Colab
上使用自定义TFrecord数据集
、
、
、
我已经创建了一个包含元素及其对应标签
的
TFRecord数据集文件。我想用它来
训练
使用免费
TPU
的
Colab
模型
。MultiDeviceIteratorGetNextFromShard}}]] [[IteratorGetNextAsOptional_1]] 在我
的
理解中,它需要在
TPU
存储桶上
的
TFRecord文件,我不知道如何在
Colab
上做到这一点。如何在
C
浏览 1
提问于2019-09-19
得票数 0
1
回答
如何在google
colab
中使用
TPU
、
、
、
Google
colab
在运行时加速器中引入了
TPU
。我找到了一个例子,如何在中使用
TPU
。但是这个例子在google-colaboratory上不起作用。它停留在下面这一行:当我在
colab
上运行时,它返回用于
TPU
加速器
的
[]。有人知道如何在
colab
上使用
TPU
吗?
浏览 2
提问于2018-09-27
得票数 13
回答已采纳
2
回答
如何在
Colab
TPU
上释放磁盘空间?
、
、
、
我正在Google
Colab
上
训练
一些深度学习
模型
,运行时类型设置为
TPU
。RAM和磁盘状态显示我已经在
Colab
上使用了大部分磁盘存储。有没有办法重置它?或者删除一些东西来释放更多
的
磁盘空间?我知道我可以改用GPU,这会给我更多
的
磁盘空间,然而,我
的
型号需要永远改变,所以我真的想留在
TPU
上。提前感谢!
浏览 142
提问于2019-11-28
得票数 6
2
回答
如何将keras
模型
转换为
tpu
模型
、
、
、
我正在尝试将我在Google云控制台中
的
Keras
模型
转换为
TPU
模型
。不幸
的
是,我得到了一个错误,如下所示。下面是我
的
最小示例:from keras.models import Sequential我
的
输出是: Usi
浏览 1
提问于2019-02-05
得票数 2
2
回答
使用GOOGLE
COLAB
TPU
在IMAGENET上
训练
VGG-16
模型
需要多长时间?
、
、
、
、
只是好奇,在IMAGENET上使用GOOGLE
COLAB
TPU
训练
VGG16
模型
需要多长时间?如果有人能向我解释他们为了得到答案所做
的
计算,那就太好了!
浏览 2
提问于2019-10-28
得票数 8
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
基于 UAI-Train 平台的分布式训练
PyTorch终于能用上谷歌云TPU,推理性能提升4倍,该如何薅羊毛?
基于BERT预训练模型的命名体识别任务
基于自制数据集的MobileNet-SSD模型训练
基于PaddlePaddle训练APP UI样式bug的预测模型
热门
标签
更多标签
云服务器
ICP备案
腾讯会议
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券