前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >[转载]tensorflow中使用tf.ConfigProto()配置Session运行参数&&GPU设备指定

[转载]tensorflow中使用tf.ConfigProto()配置Session运行参数&&GPU设备指定

作者头像
marsggbo
发布2018-12-07 11:02:16
1.1K0
发布2018-12-07 11:02:16
举报

tf.ConfigProto()函数用在创建session的时候,用来对session进行参数配置:

代码语言:javascript
复制
1 config = tf.ConfigProto(allow_soft_placement=True, allow_soft_placement=True)
2 config.gpu_options.per_process_gpu_memory_fraction = 0.4 #占用40%显存
3 sess = tf.Session(config=config)

1. 记录设备指派情况 :  tf.ConfigProto(log_device_placement=True)

设置tf.ConfigProto()中参数log_device_placement = True ,可以获取到 operations 和 Tensor 被指派到哪个设备(几号CPU或几号GPU)上运行,会在终端打印出各项操作是在哪个设备上运行的。

2. 自动选择运行设备 : tf.ConfigProto(allow_soft_placement=True)

在tf中,通过命令 "with tf.device('/cpu:0'):",允许手动设置操作运行的设备。如果手动设置的设备不存在或者不可用,就会导致tf程序等待或异常,为了防止这种情况,可以设置tf.ConfigProto()中参数allow_soft_placement=True,允许tf自动选择一个存在并且可用的设备来运行操作。

3. 限制GPU资源使用

为了加快运行效率,TensorFlow在初始化时会尝试分配所有可用的GPU显存资源给自己,这在多人使用的服务器上工作就会导致GPU占用,别人无法使用GPU工作的情况。

tf提供了两种控制GPU资源使用的方法,一是让TensorFlow在运行过程中动态申请显存,需要多少就申请多少;第二种方式就是限制GPU的使用率。

3.1 动态申请显存

代码语言:javascript
复制
1 config = tf.ConfigProto()
2 config.gpu_options.allow_growth = True
3 session = tf.Session(config=config)

3.2 限制GPU使用率

代码语言:javascript
复制
1 config = tf.ConfigProto()
2 config.gpu_options.per_process_gpu_memory_fraction = 0.4 #占用40%显存
3 session = tf.Session(config=config)

或者:

代码语言:javascript
复制
1 gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.4)
2 config=tf.ConfigProto(gpu_options=gpu_options)
3 session = tf.Session(config=config)

3.3 设置使用哪块GPU

方法一、在python程序中设置:

代码语言:javascript
复制
os.environ['CUDA_VISIBLE_DEVICES'] = '0' #使用 GPU 0
os.environ['CUDA_VISIBLE_DEVICES'] = '0,1' # 使用 GPU 0,1

方法二、在执行python程序时候:

CUDA_VISIBLE_DEVICES=0,1 python yourcode.py

推荐使用更灵活一点的第二种方法。


原文:https://blog.csdn.net/dcrmg/article/details/79091941 

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018-11-07 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. 记录设备指派情况 :  tf.ConfigProto(log_device_placement=True)
  • 2. 自动选择运行设备 : tf.ConfigProto(allow_soft_placement=True)
  • 3. 限制GPU资源使用
    • 3.1 动态申请显存
      • 3.2 限制GPU使用率
        • 3.3 设置使用哪块GPU
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档