我正在使用烧瓶与Gunicorn实现一个人工智能服务器。服务器接收HTTP请求并调用该算法(用py手电筒构建)。计算在nvidia GPU上运行。在这种情况下，我需要一些关于如何实现并发/并行的输入。本机有8 vCPUs，20 GB内存，1 GPU，12 GB内存。
1工作人员占用，4 GB内存，2.2GB GPU内存。(由于GPU内存2.2GB* 5工
浏览 5提问于2021-02-09得票数 0
在内存被刷新之前，我的CUDA程序在执行期间崩溃了。结果，设备内存仍然被占用。我正在使用GPU远程访问Fedora服务器，因此物理重置相当复杂。因此，问题是-在这种情况下，有没有办法刷新设备内存？
浏览 10提问于2013-03-04得票数 68
回答已采纳
1回答
深度学习CNN吃VRAM
、、、
我最近开始构建自己的小型深度学习设备，配备了ryzen 53600处理器、32 GPU内存和8gp VRam的RTX2080Super 使用tensorflow处理CNN(这是我的大部分工作)时，我发现大部分VRam几乎立即被占用(7.8 GPU中使用了7.8 GPU)，而GPU利用率约为35% 为了与tesnofrflow v2兼容，我安装了最新的驱动程序并运行了CUDA v10.0。
浏览 33提问于2020-01-31得票数 0
回答已采纳
2回答
如果我在Google引擎工作中使用--规模级基本GPU，我如何查看GPU的利用率？我可以在“作业详细信息”选项卡上查看CPU利用率和内存利用率，但我想知道GPU被使用了多少。这仅仅包含在CPU使用中，还是有另一个选项卡可以查看GPU的利用率？
此外，是否有任何方法可以查看哪些操作系统占用了大部分CPU使用？我的CPU利用率很高，我的内存非常低，而且我的输入生成器总是满的(100%)，所以我试图更好地
浏览 2提问于2017-08-23得票数 5
回答已采纳
3回答
我遇到了一个问题，我的服务器开始使一些正常的进程和检查失败，因为服务器的内存完全满了并且被占用了。
我查看了日志记录历史，发现它杀死的是一些Java进程。我使用"top“命令查看当前哪个进程占用的内存最多(在问题解决后)，它是一个Java进程。因此，从本质上讲，我可以知道现在哪些进程占用了最多的内存。我想知道的是，当故障开始发生时，是否有一种方法可以查看哪些进程占用了最多
浏览 38提问于2012-10-24得票数 9
回答已采纳
1回答
我正在使用python 3与nvidia急流，以加快机器学习培训使用孜然库和GPU。这是我用来训练孜然模型的代码。中的结果
encoded_data和y_train是numpy数组，encoded_data是n*m浮点数数组，y_train是n*1的整数向量，它们都是标签
浏览 0提问于2019-06-06得票数 1
我目前正在用实现TensorFlow，对于占用多少内存我感到有点惊讶。在我的GPU上，我可以使用批处理大小为64的框架来训练YOLO。在TensorFlow上，我只能在批处理大小为6的情况下才能这样做，而我已经用光了内存。在测试阶段，我可以在不耗尽内存的情况下以批处理大小64运行。
我想知道如何计算每个张量消耗了多少内存？默认情况下，所有张量都保存在GPU中吗？我可以简单地计算总的内存消耗的形状
浏览 15提问于2016-03-31得票数 13
回答已采纳
1回答
深度学习虚拟机:如何释放内存？
、、、、
当在google cloud jupyter笔记本上训练时，它崩溃了，因为它无法将输入张量从GPU复制到CPU:具体如下： InternalError: Failed copying input tensorfrom /job:localhost/replica:0/task:0/device:GPU:0 to /job:localhost/replica:0/task:0/device:CPU:0 in[Op:TensorDataset] 经过研究，当GPU中
浏览 166提问于2021-07-19得票数 1
应用程序的其他部分需要访问大量的GPU内存(与Tensorflow不完全相同)。然而，一旦Tensorflow被用于执行推理，它就会占用GPU内存，并在应用程序结束之前不会释放它。理想情况下，在推断之后，我将能够释放Tensorflow使用的GPU内存，以允许其他算法使用GPU。
还有没有人遇到过这个问题，你找到解决方案了吗？
浏览 6提问于2018-09-05得票数 2
1回答
现在我想估算一下我需要多少资源(CPU、GPU、RAM等)。 有没有人有关于函数/经验法则的建议，可以对此有所帮助？我找不到任何有用的东西。提前感谢！
浏览 17提问于2019-01-20得票数 2
回答已采纳
我注意到，无论我使用什么样的批次大小，根据我的nvidia控制面板，我使用的gpu内存的97%。我尝试了100到2的批处理大小，在每种情况下，我的gpu内存使用量总是97%。为什么要这么做？
浏览 4提问于2016-06-12得票数 6
回答已采纳
下面的代码用于管理tensorflow内存的使用。我有大约8Gb的GPU内存，所以tensorflow不能分配超过1Gb的GPU内存。但是，当我使用nvidia-smi命令查看内存使用情况时，我发现它使用了~1.5GB，尽管我用GPUOptions限制了内存的数量。memory_config = tf.ConfigProto(gpu_options=tf.GPUOptions(per_process_gpu<
浏览 1提问于2019-04-05得票数 3
回答已采纳
这造成了一个问题，看起来我无法在同一个gpu上运行多个会话.有办法这样做吗？
如果不是，我如何实现我的目标，以一个并行的方式运行这些图像只有一个gpu？
浏览 1提问于2018-04-15得票数 0
回答已采纳
2回答
减少了GPU上下文存储现在，回到这个例子。没有议员：议员们：不幸的是，每个进程仍然占用几乎相同的内存量(~300 of )。有办法降低每个进程的内存消耗吗？
浏览 6提问于2019-12-19得票数 0
回答已采纳
后Pascal 可以分配比GPU内存更多的内存，这将自动在GPU内存和主机内存之间交换。
创建交换空间：dd if=/dev/zero of=./swapfile bs=1G count=16、mks
浏览 4提问于2022-10-29得票数 1
回答已采纳
when allocating tensor with shape[28224,1024] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
如有任何帮助，我们不胜感激！
浏览 14提问于2018-07-24得票数 0
1回答
我已经写了一个相当复杂的torch应用程序，如果它不会耗尽内存的话，它工作得很好。现在，我试图查看是什么类型的输入或情况导致它似乎随机地耗尽了内存，但到目前为止，我几乎没有成功。我可以通过一个简单的语句在caffe:cuda或caffe:cl上运行我的代码，这会改变我的程序是否在RAM或GPU上运行，我想这样的切换将使验证我的内存使用变得更容易。我怀疑它们占用了大量的内存，神经网络，大型矩阵等等)。我已经知道，一旦我确定了谁占用了我的
浏览 1提问于2017-03-30得票数 0
输出通过以下方式获得并具有形状仅此操作就需要大约5 5GB的GPU内存。我想知道是否有任何方法可以减少这种内存消耗(因为我将来会有更大的矩阵用于相同的操作)。
我尝试了一个变通方法，将a和b都转换为半精度。这也无助于减少内存使用量。
浏览 6提问于2017-03-08得票数 0
这个错误是一个CUDA_ERROR_OUT_OF_MEMORY，它说当我实际有16 of时，它不能分配3.9GB内存。实际上，当我只使用一个工作程序时，错误就解决了，但是我相信它没有使用总内存。对不起，我不知道，但是当你用GPU运行Tensorflow时，它是使用RAM内存还是GPU内存？我应该用CPU运行它吗？可能在AWS？你有什么建议吗？/gpu_device.cc:976] DMA: 0
2017-09-16 11:39:56.590546: I te
浏览 7提问于2017-09-16得票数 0
2回答
现在我们想用GPU节点来扩展它(因此这将是Kubernetes集群中唯一拥有GPU的节点)。 我们希望避免Kubernetes在这些节点上调度pod，除非它们需要GPU。并不是所有的管道都可以使用GPU。绝大多数仍然只占用大量CPU资源。 配备GPU的服务器可能非常昂贵(例如，Nvidia DGX每台服务器可能高达150美元/k)。资源，如CPU和内存，因此它们将不得不等待非GPU作业/容器完成)
浏览 24提问于2018-12-20得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
