问GPU在演员评论家(A2C)稳定Baselines3实现中的应用不足

EN

我正在尝试使用A2C of StablesBaselines3在我的自定义环境中训练代理。我的问题是，我的GPU利用率非常低(只有10 %左右)，而我的CPU利用率已经达到上限。正因为如此，训练非常缓慢。根据@araffin https://github.com/hill-a/stable-baselines/issues/308解决的这个讨论线程，我尝试了以下内容

• 将角色结构和批判性结构扩展为分别有256个、256个和128个神经元的三层神经网络。在此之后，GPU的利用率确实增加了，但它只是边际的(从10 %增加到15 %)，如在suggestion
• changed device参数A2C方法中，从默认的“cuda”到“cuda”，即“auto”-无改进的

。

在上面提到的讨论中，还不完全清楚什么对用户有效。我的A2C被简化如下：

import gym
from stable_baselines3 import A2C
policy_kwargs = dict(activation_fn=th.nn.ReLU,
                     net_arch=[dict(pi=[256, 256, 128], vf=[256, 256, 128])])
model = A2C("MlpPolicy", env, verbose=1,  learning_rate=linear_schedule(0.001),\
 n_steps=50, gamma=0.8, gae_lambda=1.0, ent_coef=0.2, vf_coef=0.2, \
tensorboard_log=logdir,  policy_kwargs=policy_kwargs, seed=50, device='cuda' )
model.learn(total_timesteps=50000)

GPU配置如下：

• Cuda版本- 9.0
• GPU - NVIDIA RTX 2080 i
• GPU mem-11gb(其中仅使用大约1600 mem )

CPU配置

versions

• Torch -2

• / socket - 8

• Intel i9核9900 K@ 3.6 Ghz

• CPU Mem -32 on GPU - 2.4.1 (虽然我知道SB3实现在anaconda环境

F 233上使用Torch)

• Python 3.7

任何帮助都将不胜感激！