专栏首页素质云笔记keras系列︱keras是如何指定显卡且限制显存用量

keras系列︱keras是如何指定显卡且限制显存用量

keras在使用GPU的时候有个特点,就是默认全部占满显存。 若单核GPU也无所谓,若是服务器GPU较多,性能较好,全部占满就太浪费了。 于是乎有以下三种情况: - 1、指定GPU - 2、使用固定显存的GPU - 3、指定GPU + 固定显存

一、固定显存的GPU

本节来源于:深度学习theano/tensorflow多显卡多人使用问题集(参见:Limit the resource usage for tensorflow backend · Issue #1538 · fchollet/keras · GitHub) 在使用keras时候会出现总是占满GPU显存的情况,可以通过重设backend的GPU占用情况来进行调节。

import tensorflow as tf
from keras.backend.tensorflow_backend import set_session
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.3
set_session(tf.Session(config=config))

需要注意的是,虽然代码或配置层面设置了对显存占用百分比阈值,但在实际运行中如果达到了这个阈值,程序有需要的话还是会突破这个阈值。换而言之如果跑在一个大数据集上还是会用到更多的显存。以上的显存限制仅仅为了在跑小数据集时避免对显存的浪费而已。(2017年2月20日补充)

二、指定GPU

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "2"

此时的代码为选择了编号为2 的GPU

# python设置系统变量的方法
os.environ["CUDA_VISIBLE_DEVICES"] = "8,9,10,11,12,13,14,15"

注意,在代码中指定设备时,重新从0开始计,而不是从8开始。 来源:Tensorflow 学习笔记(七) ———— 多GPU操作

三、指定GPU + 固定显存

上述两个连一起用就行:

import os
import tensorflow as tf
os.environ["CUDA_VISIBLE_DEVICES"] = "2"
from keras.backend.tensorflow_backend import set_session
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.3
set_session(tf.Session(config=config))

那么在命令行,可以使用:https://github.com/tensorflow/nmt/issues/60

CUDA_VISIBLE_DEVICES=0 python -m nmt.nmt 

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 学习笔记︱深度学习以及R中并行算法的应用(GPU)

    版权声明:博主原创文章,微信公众号:素质云笔记,转载请注明来源“素质云博客”,谢谢合作!! ...

    素质
  • R语言︱线性混合模型理论与案例探究(固定效应&随机效应)

    笔者认为一般统计模型中的横截面回归模型中大致可以分为两个方向:一个是交互效应方向(调节、中介效应)、一个是随机性方向(固定效应、随机效应)。

    素质
  • 关键点定位︱四款人体姿势关键点估计论文笔记

    版权声明:博主原创文章,微信公众号:素质云笔记,转载请注明来源“素质云博客”,谢谢合作!! ...

    素质
  • 移除WordPress 仪表盘首页的“插件”“其它WordPress 新闻”小工具

    WordPress 的后台管理首页(仪表盘首页)有不少小工具,比如说“概况”、“近期草稿”、“近期评论”等等小工具,如果你对一些小工具不那么顺言(比如题目所说的...

    Jeff
  • 深度学习算法优化系列二十一 | 在VS2015上利用TensorRT部署YOLOV3-Tiny模型

    大家好,最近在VS2015上尝试用TensorRT来部署检测模型,中间走了两天弯路,感觉对于一个完全新手来说要做成功这件事并不会那么顺利。所以这里写一篇部署文章...

    BBuf
  • df和du显示的磁盘空间使用情况不一致的原因及处理

    在Linux下查看磁盘空间使用情况,最常使用的就是du和df了。然而两者还是有很大区别的,有时候其输出结果甚至非常悬殊。 1. 如何记忆这两个命令 du-Dis...

    猿人谷
  • 深度学习菜鸟的信仰地︱Supervessel超能云服务器、深度学习环境全配置

    SuperVessel的云端GPU共享技术为全球首发,**它基于POWER 8处理器和NVIDIA® Tesla® K40 GPU加速器的异构计算系统。**Te...

    素质
  • electron模式的加载流程

    electron\common\NodeBinding.cpp的getResourcesPath先判断是不是调试模式,

    龙泉寺扫地僧
  • ABAP check table的工作原理

    Missing entry in check table will NOT hinder CRUD of host table. This is verifie...

    Jerry Wang

扫码关注云+社区

领取腾讯云代金券