如何将经过gpu训练的模型加载到cpu中？
将经过GPU训练的模型加载到CPU中，可以通过以下步骤实现：
- 导出模型：在GPU上训练完成后，需要将模型导出为可供CPU使用的格式，如TensorFlow的SavedModel或PyTorch的.pth文件。
- 安装依赖库：确保在CPU上安装了与GPU训练时使用的深度学习框架相同的版本，例如TensorFlow或PyTorch。
- 加载模型：使用相应的深度学习框架加载导出的模型文件。例如，在TensorFlow中，可以使用tf.saved_model.load()函数加载SavedModel，而在PyTorch中，可以使用torch.load()函数加载.pth文件。
- 设置设备：将模型加载到CPU之前，需要将计算设备设置为CPU。在TensorFlow中，可以使用tf.config.set_visible_devices()函数将可见设备设置为CPU。在PyTorch中，可以使用torch.device()函数将模型和数据移动到CPU设备。
- 推理或训练：一旦模型成功加载到CPU上，就可以进行推理或继续训练。根据具体需求，可以使用模型进行预测、分类、生成等任务。
需要注意的是，由于CPU和GPU之间存在计算能力差异，加载到CPU上的模型可能会导致性能下降。因此，在将模型从GPU加载到CPU之前，应该评估模型在CPU上的性能表现，并根据需求进行优化。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云GPU计算服务：https://cloud.tencent.com/product/gpu
- 腾讯云AI推理服务：https://cloud.tencent.com/product/tci
- 腾讯云AI开放平台：https://cloud.tencent.com/product/ai
相关·内容
1回答
TensorFlow v1.10+加载不同设备放置的SavedModel还是手动设置动态设备放置？
python、tensorflow、tensorflow-serving、tensorflow-estimator
因此，在TensorFlow关于使用的指南中，有一部分是关于以“多塔方式”使用多个GPU的：
...
for d in ['/device:GPU:2', '/device:GPU:3']:
with tf.device(d): # <---- manual device placement
...
看到这一点，人们可能会倾向于利用这种风格在自定义Estimator中进行多个GPU培训，从而向模型表明它可以有效地跨多个GPU分布。
据我所知，如果没有手动设备放置，TensorFlow没有某种形式的最佳设备映射(如果您安装了GPU版本，并且可以在CPU上
浏览 0提问于2018-11-17得票数 1
1回答
使用Google Cloud Platform和AI平台提供预测服务
google-cloud-platform、google-cloud-ml
我在tensorflow的帮助下训练了一个AI模型，需要使用Google AI平台来提供预测服务。 现在AI平台指定模型需要是特定的'SavedModel‘格式，以便我将模型上传到云并提供预测。 如何将模型转换为指定的'SavedModel‘格式？ 另外，有没有端到端的教程可以帮助我做同样的事情？
浏览 22提问于2019-09-06得票数 0
2回答
如何使用纯python激活google colab gpu
python、deep-learning、gpu、google-colaboratory
我是谷歌colab的新手。
我正试图在那里做深度学习。
我已经编写了一个类来创建和训练LSTM网络，只使用python -而不是任何特定的深度学习库，如tensorflow，pytorch等。
我认为我使用的是gpu，因为我在colab中选择了正确的运行时类型。
然而，在代码执行期间，我有时会收到退出gpu模式的消息，因为我没有使用它。
那么，我的问题是:如何使用google colab gpu，只使用普通的python，而不使用特殊的ai库？有没有像“装饰器代码”这样的东西放在我的原始代码中，以便激活gpu？
浏览 2提问于2020-03-16得票数 4
2回答
如何在Tegra X2上使用TesnorFlow-GPU模型进行推理？
python、tensorflow、tegra、tensorrt、nvidia-jetson
我是Jetson x2董事会的新手。
我计划在TX2板上运行我的tensorflow-gpu模型，看看它们在那里的表现如何。这些模型是在GTX GPU机上训练和测试的。
在tx2板上，Jetpack full不包含tensorflow。因此，tensorflow需要构建/安装，我已经看过几个教程并尝试过。我的python文件train.py和test.py期望tensorflow-gpu。
现在我怀疑，如果在tx2板上安装tensorflow-gpu是正确的选择吗？
哦，在TX2上有Nvidia TX2，它将完成部分工作，但是怎么做呢？是这样吗？
tensorflow和tensorRT会合作取
浏览 2提问于2018-11-23得票数 1
回答已采纳
1回答
如何修改TensorFlow代码以接受在Google上进行预测的示例？
tensorflow、google-cloud-platform、google-cloud-ml
在从云存储导出经过培训的模型之后，我试图在Google上创建一个模型，但我得到的错误是：
Create Version failed. Model validation failed: SavedModel must contain exactly one metagraph with tag: serve For more information on how to export Tensorflow SavedModel, seehttps://www.tensorflow.org/api_docs/python/tf/saved_model.
所以我在我的训练中只有一个TensorFlo
浏览 1提问于2017-11-01得票数 0
回答已采纳
2回答
支持TensorFlow和PyTorch的GPU
tensorflow、pytorch、gpu
好吧，所以我现在做了很多深度学习项目和实习，我从来没有做过大量的训练。但是最近我一直在考虑做一些传输学习，我需要在GPU上运行我的代码。现在我有一个系统与Windows 10和一个专用的NVIDIA GeForce 9.4亿GPU。我在网上做了很多研究，但我还是有点困惑。我还没有在我的系统上安装NVIDIA工具包或cuDNN或tensorflow-gpu。我目前使用tensorflow和Py手电筒来训练我的DL模型。这是我的问题-
，当我在tf或pytorch中定义张量时，默认情况下它是一个cpu张量。所以，到目前为止，我所做的所有训练都是在CPU上进行的。所以，如果我确保安装了正确版本的Cu
浏览 5提问于2020-08-20得票数 1
2回答
在服务TensorFlow模型的性能中使用GPU有什么影响？
tensorflow-serving、tensorflow
我用GPU (1080 ti)训练了一个神经网络。GPU上的训练速度要比使用CPU好得多。
目前，我想使用TensorFlow服务来服务这个模型。我只想知道在服务过程中使用GPU是否对性能有相同的影响？
由于培训适用于批处理，但是推断(服务)使用异步请求，您是否建议在使用TensorFlow服务为模型服务时使用GPU？
浏览 12提问于2017-05-23得票数 3
回答已采纳
2回答
是否可以使用C++训练在tensorflow和pytorch中开发的ONNX模型？
c++、tensorflow、pytorch、onnx、onnxruntime
我想知道是否有可能使用tensorflow和pytorch模型转换为onnx模型来使用C++ Api训练它们，就像在中使用tensorflow模型一样。我只是找到了一些使用onnx进行推理的例子。其想法是能够在python中使用tensorflow和pytorch创建原型，转换为onnx模型，并在C++中拥有统一的API来进行推理和训练。获取一些信息(链接)会有很大帮助。
浏览 4提问于2021-11-05得票数 1
1回答
mxnet gpu支持中的多处理
python、multiprocessing、mxnet
我有一个由mxnet gpu支持训练的模型，我将这个模型加载到gpu上。我的问题是，当我多进程时，我得到一个无效的指针error.how来做多处理在mxnet图形处理器支持？
浏览 1提问于2019-10-16得票数 0
2回答
让TensorFlow在ARM Mac上使用GPU
python、macos、tensorflow、deep-learning、arm
根据TensorFlow的说法，我已经在M1 (ARM) Mac上安装了。一切都很好。
然而，模型培训正在CPU上进行。如何将培训切换到GPU
In: tensorflow.config.list_physical_devices()
Out: [PhysicalDevice(name='/physical_device:CPU:0', device_type='CPU')]
在的文档中，我发现下面的有点混乱
不必对现有的TensorFlow脚本进行任何更改，就可以将ML用作TensorFlow和TensorFlow加载项的后端。对于ML，有一个可选的mlco
浏览 3提问于2021-04-19得票数 6
回答已采纳
1回答
如何将Keras h5格式转换为PyTorch pth格式？
deep-learning、keras、pytorch
我在Keras中训练了一个特征提取器，并将权重保存为一个h5文件。现在，我希望将相同的权重加载到在PyTorch中创建和初始化的相同模型中，以便进行性能比较。有没有办法将h5文件转换为pth文件，以便将其加载到PyTorch模型中？
浏览 0提问于2019-08-04得票数 3
1回答
Keras:在没有GPU的主机上用CuDNNLSTM构建的加载模型
tensorflow、keras
我训练了一个使用CuDNNLSTM单元的keras模型，现在我希望将该模型加载到缺少GPU的主机设备上。但是，由于CuDNNLSTM单元需要一个GPU，加载过程就会爆炸，抛出：
没有注册OpKernel来支持这些吸引人的Op 'CudnnRNN‘。
有什么后门可以让我在没有GPU的主机上加载模型吗？任何建议都会很有帮助的！
浏览 0提问于2018-10-19得票数 2
回答已采纳
1回答
关于在没有专用GPU的笔记本电脑上进行深度学习的建议
deep-learning、tensorflow
我的笔记本电脑有一个16 gpu的内存，ryzen 7处理器，ssd等，但它没有一个nvidia gpu。据说人们可以在云上训练模型，但是为了“推断”物理笔记本电脑应该至少有一个gtx 1050，所以我想知道‘推断’工作是否可以让tensorflow只使用ryzen 7 cpu？如果没有，还有什么替代办法吗？
浏览 0提问于2022-08-02得票数 0
2回答
如何指定用于保存的模型的设备
c++、tensorflow
我有一个用python tensorflow训练并保存的模型。现在，我想在c++应用程序中执行预测。
我像这样加载模型(在Tensorflow 1.3.1上)：
std::unique_ptr<tensorflow::SavedModelBundle> bundle(new tensorflow::SavedModelBundle());
tensorflow::Status status = tensorflow::LoadSavedModel(
tensorflow::SessionOptions(),
tensorflow::RunOptions(),
mode
浏览 14提问于2018-01-24得票数 1
回答已采纳
1回答
在将.pb模型转换为tf.keras时无法加载tf.keras
python、tensorflow、keras、pytorch、onnx
上下文
我在一个个人项目中使用tf.keras，我需要检索一个预先训练过的Alexnet模型。不幸的是，该模型不能仅使用tf.keras直接访问，因此我使用PyTorch下载了经过预先训练的模型，将其转换为onnx文件，然后用以下代码将其导出为.pb文件：
torch_pretrained = torchvision.models.alexnet()
torch_pretrained.load_state_dict(torch.load("alexnet.pth"))
dummy_input = Variable(torch.randn(1, 3, 224, 224))
to
浏览 5提问于2022-02-13得票数 2
回答已采纳
1回答
如何将经过GPU训练的模型加载到CPU (系统)内存中？
python、tensorflow、keras
我在GPU上训练了一个模型，现在我正试图在CPU上对其进行评估(GPU正用于不同的训练运行)。但是，当我尝试使用以下命令加载它时： with tf.device('/cpu:0'):
model = tf.keras.models.load_model('models/resnet50_untrained.h5', compile=False) 我要买一台CUDA_ERROR_OUT_OF_MEMORY 2019-10-17 09:25:23.088408: W tensorflow/compiler/xla/service/platform_util
浏览 33提问于2019-10-17得票数 2
回答已采纳
2回答
如何用Keras在2个GPU上训练更多的模型？
python、keras、tensorflow、gpu
我有2个GPU类型的NVIDIA GTX 1070钛。我想用这样的方式训练更多的模型:一半的模型只在一个GPU上训练，另一半同时在另一个GPU上训练。因此，随着训练的进行，一个模型到GPU1，下一个模型到GPU2，.我不想在这两个GPU上训练一个型号。我在TensorFlow后端使用Keras。你能给我推荐一些资源吗?我能看出来怎么做吗？大多数在线示例/文章只在您想要在两个GPU上分发一个模型时才会涉及到这种情况。谢谢。
浏览 0提问于2019-03-12得票数 0
回答已采纳
1回答
使用pytorch-lightning进行简单预测的示例
pytorch、pytorch-lightning
我有一个现有的模型，在这个模型中，我加载了一些预先训练好的权重，然后在pytorch中进行预测(一次一个图像)。我正在尝试将它基本上转换为pytorch闪电模块，并对一些事情感到困惑。 因此，目前，我的模型__init__方法如下所示： self._load_config_file(cfg_file)
# just creates the pytorch network
self.create_network()
self.load_weights(weights_file)
self.cuda(device=0) # assumes GPU and uses one. This
浏览 263提问于2020-05-03得票数 3
回答已采纳
1回答
State_dict中的意外键：“模型”，“选择”
python、deep-learning、pytorch、fast-ai
我目前正在使用fast.ai来训练图像分类器模型。
data = ImageDataBunch.single_from_classes(path, classes, ds_tfms=get_transforms(), size=224).normalize(imagenet_stats)
learner = cnn_learner(data, models.resnet34)
learner.model.load_state_dict(
torch.load('stage-2.pth', map_location="cpu")
)
其结果是：
文件&
浏览 3提问于2019-03-07得票数 1
回答已采纳
2回答
如何使用Tensorflow对象检测API启用多GPU训练
tensorflow、deep-learning
我正在尝试使用TensorFlow对象检测应用编程接口执行多GPU训练。 我在我的NVIDIA-SMI中看到的是，实际上只有1个GPU被使用。提供的其他3个GPU加载了GPU进程，但内存使用率为300MB，利用率始终为0% 我使用在COCO上预先训练的基于固态硬盘MobileNetV1的网络，然后用我的自定义数据集对其进行训练。 我希望当我为Tensorflow提供更多的GPU时，框架实际上会使用它们来加速训练。
浏览 49提问于2019-10-09得票数 3
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
腾讯云开发者
