在深度学习和计算机图形学等领域，使用GPU进行加速已经成为常见的做法。然而，GPU的显存是一种有限的资源，我们需要时刻关注显存的使用情况，以避免显存溢出导致的程序错误。NVIDIA提供了一个命令行工具nvidia-smi，能够实时查看GPU的状态和显存使用情况。本文将介绍如何使用nvidia-smi命令在终端实时刷新GPU显存。
由于测试环境使用的是NVIDIA的显卡，这里直接通过lspci命令即可查询具体显卡信息
AI大模型部署到本地很耗资源，需要很大的内存和硬盘，很多电脑都满足不了要求。而且部署过程很复杂，非专业人士很难上手。
Management PCI-Express Runtime D3 (RTD3) Power Management是一种用于管理PCI-Express设备的低功耗模式的技术RTD3是一种睡眠状态，当PCI-Express设备处于空闲状态时，可以将其置于低功耗模式，以减少能源消耗和热量产生。英伟达™（NVIDIA®）图形处理器有许多省电机制。其中一些机制会降低芯片不同部分的时钟和电压，在某些情况下还会完全关闭芯片部分的时钟或电源，但不会影响功能或继续运行，只是速度较慢。然而，英伟达™（NVIDIA®）GPU 的最低能耗状态需要关闭整个芯片的电源，通常是通过调用 ACPI 来实现。这显然会影响功能。在关机状态下，GPU 无法运行任何功能。必须注意的是，只有在 GPU 上没有运行任何工作负载的情况下才能进入这种状态，而且在试图开始工作或进行任何内存映射 I/O (MMIO) 访问之前，必须先重新开启 GPU 并恢复任何必要的状态。
显示设备例如 LCD，在 Linux 中用 Framebuffer 来表征， Framebuffer 翻译过来就是帧缓冲，简称 fb，在 /dev 目录下显示设备一般表示成这样：/dev/fbn，应用程序通过访问这个设备来访问 LCD，实际上应用程序通过操作显存来操作显示设备，显存由驱动程序设置。说白了，我们要在 linux 下操作屏幕进行显示那么直接对 /dev/fbn 进行操作即可。
QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。
在大型机构分配的服务器集群中，需要使用GPU的程序默认都会在第一张卡上进行，如果第一张卡倍别人占用或者显存不够的情况下，程序就会报错说没有显存容量，所以能够合理地利用GPU资源能帮助你更快更好地跑出实验效果。 1、指定使用GPU0运行脚本（默认是第一张显卡, 0代表第一张显卡的id,其他的以此类推） 第一种方式：
为tensorflow指定GPU，原因是，默认创建session时，会将所有显存占满，发现有人在用的时候，就会session不能创建而报错。 首先nvidia-smi查看显卡的编号，最左边一列，看看哪个空的
笔者在执行一个Jax的任务中，又发现了一个奇怪的问题，就是明明只分配了很小的矩阵空间，但是在多次的任务执行之后，显存突然就爆了。而且此时已经按照Jax的官方说明配置了XLA_PYTHON_CLIENT_PREALLOCATE这个参数为false，也就是不进行显存的预分配（默认会分配90%的显存空间以供使用）。然后在网上找到了一些类似的问题，比如参考链接中的1、2、3、4，都是在一些操作后发现未释放显存，这里提供一个实例问题和处理的思路，如果有更好的方案欢迎大家在评论区留言。
症状：主要表现在Win7中用VM11安装的Ubuntu14.04中，安装完自带的VMware Tools之后，/mnt/hgfs 中没有前面已经设置好的共享文件夹。
最近 AI 作画大火，有正巧碰上 Novel AI 的 Stable Diffusion 模型泄露，因此大家都在摩肩擦掌试图搭一个自己的 AI 作画服务。我也差不多试了一些方式，最后总结了几种不错（关键是无脑，简单）的在本地部署 AI 作画服务的方式，供大家参考。
2、在系统设置窗口右侧，点击“显示”（显示器、亮度、夜间模式、显示描述）。
随着高清，4K视频的推广，视频GPU硬件编码，解码，转码已经开始成为主流。同时人工智能的兴起，深度学习也离不开硬件GPU的模型训练和计算。GPU硬件参数越来得到开发人员的关注，对GPU 温度，占用率，显存等参数也纳入监控平台的重要监控指标。本文以温度为例介绍如何监控显卡GPU相关参数。
我们正带领大家开始阅读英文的《CUDA C Programming Guide》,今天是第30天，我们正在讲解性能，希望在接下来的60天里，您可以学习到原汁原味的CUDA，同时能养成英文阅读的习惯。 本文共计273字，阅读时间15分钟 5.3.1. Data Transfer between Host and Device Applications should strive to minimize data transfer between the host and the device. On
我们正带领大家开始阅读英文的《CUDA C Programming Guide》,今天是第89天，我们正在讲解Unified Memory Programming，希望在接下来的13天里，您可以学习到原汁原味的CUDA，同时能养成英文阅读的习惯。
注意，本文适合有一定Linux基础但对 Linux 下使用Pytorch进行深度学习不熟悉的同学。
大家好，我是来自PPTV的王斌。接下来我将围绕以下几个话题，为大家分享有关全平台硬件解码的渲染与优化的实践经验。
/etc/sysconfig/network-scripts/ifcfg-eth0的配置文件中，ONBOOT=yes必须设置，这样可以保证系统重启时进行ssh连接时，网络服务也会自启动，否则会导致网络不通。
dogecoin近期在具有如此大影响力的情况下，是否会促使黑灰产团队和疯狂的投机者们对公有云服务器开始疯狂挖币行为，影响公有云服务器安全和可用性呢？为此，研究一下狗狗币的挖矿模式。
今年最为火爆的产业无疑就是AIGC，也就是以AI为主导的生成式内容，包括ChatGPT、AI画图、AI作诗等功能。可以说，只能玩游戏而不支持AIGC的显卡已经不符合时代的需求。如今NVIDIA 在AI时代一飞冲天，可能会让很多同学误认为只有NVIDIA显卡才支持Stable Diffusion这类的AI应用。但事实上，还有一家厂商对于AI的投入力度并不逊于NVIDIA，而且在多年前就开始布局AI，它就是芯片巨头Intel公司。
============= 1.触摸屏原始数据解析 ===================
2020 开年，ZILLIZ 与 InfoQ 筹备了以异构计算为专题的一系列文章。此篇文章作为异构计算专题的开篇，整体性的介绍了异构计算的定义、场景与局限性。在后续的专题文章中，我们将深入不同的 AI 应用场景进一步解释异构计算的优势。
3.2.7. Unified Virtual Address Space【统一虚拟地址空间】 When the application is run as a 64-bit process, a single address space is used for the host and all the devices of compute capability 2.0 and higher. All host memory allocations made via CUDA API calls a
本文在学习《Tensorflow object detection API 搭建属于自己的物体识别模型（2）——训练并使用自己的模型》的基础上优化并总结，此博客链接：https://blog.csdn.net/dy_guox/article/details/79111949，感谢此博客作者。
我们知道，linux系统中用户空间和内核空间是隔离的，用户空间程序不能随意的访问内核空间数据，只能通过中断或者异常的方式进入内核态，一般情况下，我们使用copy_to_user和copy_from_user等内核api来实现用户空间和内核空间的数据拷贝，但是像显存这样的设备如果也采用这样的方式就显的效率非常底下，因为用户经常需要在屏幕上进行绘制，要消除这种复制的操作就需要应用程序直接能够访问显存，但是显存被映射到内核空间，应用程序是没有访问权限的，如果显存也能同时映射到用户空间那就不需要拷贝操作了，于是字符设备中提供了mmap接口，可以将内核空间映射的那块物理内存再次映射到用户空间，这样用户空间就可以直接访问不需要任何拷贝操作，这就是我们今天要说的0拷贝技术。
今天，学习了网上的汇编视频教程，非常好，有可能据王爽本人，据说他的《汇编语言》是很经典的数据，之所以学习是想了解一下计算机底层是怎么运行的，倒不是说要拿汇编来做嵌入式，因为现在的编译器已经比我们强多了。 学习汇编的念头是前几天看了《c语言标准和实现》的附录里面提到汇编的只知识，所以还是学习一下，帮助自己家人计算机内功，网上也有说csapp的第三章就是讲述汇编语言的，到时候可以拿来看看。 MASM32是国外的MASM爱好者Steve Hutchesson自行整理和编写的一个软件包，目前最高版本为11r版。
Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。
硬件设备，是任何一名深度学习er不可或缺的核心装备。各位初级调参魔法师们，你们有没有感到缺少那一根命中注定的魔杖？
3.5. Mode Switches GPUs that have a display output dedicate some DRAM memory to the so-called primary surface, which is used to refresh the display device whose output is viewed by the user. When users initiate a mode switch of the display by changing th
初步尝试 Keras (基于 Tensorflow 后端)深度框架时, 发现其对于 GPU 的使用比较神奇, 默认竟然是全部占满显存, 1080Ti 跑个小分类问题, 就一下子满了. 而且是服务器上的两张 1080Ti.
在开始之前，需要知道刷BIOS的风险，刷入了错误的VBIOS可能导致开机花屏、不显示等问题。刷入错误的VBIOS后需要切换双BIOS为好的那个再进入系统再在开机状态下切换回刷坏的VBIOS再刷回，如果没有双BIOS就需要使用核显或者其他好的独显进入系统后刷回。当然也可以使用编程器刷回。 确认了风险之后，就可以开始操作了，本教程同样适用黑苹果玩家残血580刷570，步骤是一样的。 先在显卡官网查询显卡信息，如下图所示：
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。欢迎通过 chatglm.cn 体验更大规模的 ChatGLM 模型。
在测试 vGPU 的功能的时候，给容器分配了半张 GPU 卡，然后想用 Tensorflow Benchmark 测试一下，却发现半张 V100 32GB 显存从一开始就被占满了，但是 vGPU 只给 16 GB，这样发现 Tensorflow 无法正常运行。
本文作者接触深度学习2个月后，开始进行目标检测实践。 本文作者的专题《目标检测》链接：https://www.jianshu.com/c/fd1d6f784c1f 此专题的宗旨是让基础较为薄弱的新手能够顺利实现目标检测，专题内容偏向于掌握技能，学会工具的使用。 本文作者尚未具备清楚讲述目标检测原理的能力，学习原理请自行另找文章。
点击【立即选购】可以进入选购页面。每种机型又对应不同的规格。基本上同机型（比如GN7）他们的显卡型号都是相同的，该机型下的不同规格（比如GN7.LARGE20、GN7.2XLARGE32)只是在CPU、内存、带宽以及显卡个数方面不同而已。下面简单列一下机型与显卡的对应关系（截至2022年5月）：
SD目前最大的问题还是显存占用问题，特别是个别视频插件，包括最近出的Stability videoAI，更是将显存占到了极致，再加上4090的禁售，这对硬件玩家很不友好,那么对此我总结了市面上最具性价比的6种解决方式，让你在Tensor RT的基础上利用LCM再搭配FO，将你的硬件利用率拉满的同时体验SDXL！！！
之前使用AIGC生成图片，一般都是生成512*512的图，然后再进行放大，以达到高清出图的要求。但是这里有个问题是底模其实都是海量的512*512图片训练出来的，所以出图效果上经常不如人意，在细节上会差一些。这次SDXL1.0直接使用1024*1024的海量图片训练底模，而且分为了文生图用的base模型和图生图进行优化和放大的refiner模型，从而在开源免费的文生图软件上实现了不输于Midjourney的出图效果。
Volcano 是基于 Kubernetes 的批处理系统，方便HPC、 AI、大数据、基因等诸多行业通用计算框架接入，提供高性能任务调度引擎，高性能异构芯片管理，高性能任务运行管理等能力。本文通过介绍Volcano提供的GPU Share调度功能来助力HPC作业在Kubernetes集群中落地。
之前和大家分享过一套如何给服务器安装 x2go 桌面，可以实现直接在服务器上debug，直接起飞的方案。对于新手特别友好，例如有时候想要显示图片或者视频等等，都是可以做到的。
腾讯云qGPU提供的GPU共享能力，支持在多个容器间共享 GPU 卡并提供容器间显存、算力强隔离能力，在使用中以更小的粒度进行调度。在保证业务稳定的前提下，为云上用户控制资源成本，提高运行效率提供帮助。
大模型具有庞大的参数量，内存开销大，7B模型仅权重就需要14+G内存，采用自回归生成token，需要缓存Attention 的k/v带来巨大的内存开销；动态shape，请求参数不固定，Token逐个生成，且数量不定，因此在部署上都存在一些挑战。
为什么需要GPU虚拟化 根据平台收集的GPU使用率的历史，我们发现独占卡的模式会对GPU这种宝贵计算资源存在浪费现象，即不同用户对模型的理解深度不同，导致申请了独立的卡却没有把资源用满的情况。针对这种情况，虚拟化GPU技术可以更好的解决这种痛点，让机器的计算资源得到充分利用。 现有技术情况 目前来看，绝大多数公司使用的是英伟达（NVIDIA）的公司的计算卡，所以下面主要介绍NVIDIA的技术现状。 NVIDIA在前几年释放出来一个NVIDIA vGPU的一个硬件虚拟化的技术，该技术的介绍是 NVIDIA
LVGL全称Light and Versatile Graphics Library，轻量化和多功能的图形库，遵循MIT开源许可协议，具有以下特性（what LVGL can do for you）。
这里在实验之前需要下载 Bochs-win32-2.6.11 作者使用的是Linux版本的，在Linux写代码不太舒服，所以最好在Windows上做实验，下载好虚拟机以后还需要下载Nasm汇编器，以及GCC编译器，为了能够使用DD命令实现磁盘拷贝，这里你可以安装windows 10 下面的子系统Ubuntu，需要使用命令时可以直接切换。
这篇文章，我们来聊聊如何本地运行最近争议颇多的，李开复带队的国产大模型：零一万物 34B。
执行nvidia-smi.exe，显示的显存差1G多，比如原本是24G显存，结果只显示了22G多。
几天前meta发布了史上最强开源大模型Llama3，要想免费使用Llama3，除了去官网 https://llama.meta.com/llama3/ 在线使用外，还可以本地部署。
版权声明：博主原创文章，微信公众号：素质云笔记,转载请注明来源“素质云博客”，谢谢合作！！ https://blog.csdn.net/sinat_26917383/article/details/82880021
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
