3.2.7. Unified Virtual Address Space【统一虚拟地址空间】 When the application is run as a 64-bit process, a single address space is used for the host and all the devices of compute capability 2.0 and higher. All host memory allocations made via CUDA API calls a
我们正带领大家开始阅读英文的《CUDA C Programming Guide》,今天是第89天，我们正在讲解Unified Memory Programming，希望在接下来的13天里，您可以学习到原汁原味的CUDA，同时能养成英文阅读的习惯。
我们正带领大家开始阅读英文的《CUDA C Programming Guide》,今天是第30天，我们正在讲解性能，希望在接下来的60天里，您可以学习到原汁原味的CUDA，同时能养成英文阅读的习惯。 本文共计273字，阅读时间15分钟 5.3.1. Data Transfer between Host and Device Applications should strive to minimize data transfer between the host and the device. On
dogecoin近期在具有如此大影响力的情况下，是否会促使黑灰产团队和疯狂的投机者们对公有云服务器开始疯狂挖币行为，影响公有云服务器安全和可用性呢？为此，研究一下狗狗币的挖矿模式。
============= 1.触摸屏原始数据解析 ===================
QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。
1.分配fb_info 2.设置 3.注册register_framebuffer 4.硬件相关操作
SD目前最大的问题还是显存占用问题，特别是个别视频插件，包括最近出的Stability videoAI，更是将显存占到了极致，再加上4090的禁售，这对硬件玩家很不友好,那么对此我总结了市面上最具性价比的6种解决方式，让你在Tensor RT的基础上利用LCM再搭配FO，将你的硬件利用率拉满的同时体验SDXL！！！
LVGL全称Light and Versatile Graphics Library，轻量化和多功能的图形库，遵循MIT开源许可协议，具有以下特性（what LVGL can do for you）。
显示设备例如 LCD，在 Linux 中用 Framebuffer 来表征， Framebuffer 翻译过来就是帧缓冲，简称 fb，在 /dev 目录下显示设备一般表示成这样：/dev/fbn，应用程序通过访问这个设备来访问 LCD，实际上应用程序通过操作显存来操作显示设备，显存由驱动程序设置。说白了，我们要在 linux 下操作屏幕进行显示那么直接对 /dev/fbn 进行操作即可。
AI绘画 关于 AI 绘画最近有多火，既然你有缘能看到这篇文章，那么相信也不需要我过多赘述了吧？ 随着 AI 绘画技术的发展，最新感到压力山大的应该属于那些设计师了吧，AI 不仅作图效率其高，而且画面超级逼真，甚至在很多细节处理方面都已经超过专业设计师的级别，是不是瞬间感觉自己的饭碗保不住了。 虽然很多人听说了这项技术，但是对于部署还是一知半解，到现在也只是只闻其声不见其物。这篇文章主要就是教大家如何部署最新版本的 Stable Diffusion 绘画工具。 图片 本地环境要求 在下载 AI 绘画工具前
每个外设，例如: 显示器有对应的显卡，显卡里面有相关的寄存器，通过往这些寄存器中设置对应的值，就可以控制该外设工作起来了。
在上一节LCD层次分析中,得出写个LCD驱动入口函数,需要以下4步: 1) 分配一个fb_info结构体: framebuffer_alloc(); 2) 设置fb_info 3) 设置硬件相关的操作
这里在实验之前需要下载 Bochs-win32-2.6.11 作者使用的是Linux版本的，在Linux写代码不太舒服，所以最好在Windows上做实验，下载好虚拟机以后还需要下载Nasm汇编器，以及GCC编译器，为了能够使用DD命令实现磁盘拷贝，这里你可以安装windows 10 下面的子系统Ubuntu，需要使用命令时可以直接切换。
本篇文章，我们聊聊如何使用 Docker 来本地部署使用 Stability AI 刚刚推出的 SDXL 1.0，新一代的开源图片生成模型，以及在当前如何高效的使用显卡进行推理。
我们知道，linux系统中用户空间和内核空间是隔离的，用户空间程序不能随意的访问内核空间数据，只能通过中断或者异常的方式进入内核态，一般情况下，我们使用copy_to_user和copy_from_user等内核api来实现用户空间和内核空间的数据拷贝，但是像显存这样的设备如果也采用这样的方式就显的效率非常底下，因为用户经常需要在屏幕上进行绘制，要消除这种复制的操作就需要应用程序直接能够访问显存，但是显存被映射到内核空间，应用程序是没有访问权限的，如果显存也能同时映射到用户空间那就不需要拷贝操作了，于是字符设备中提供了mmap接口，可以将内核空间映射的那块物理内存再次映射到用户空间，这样用户空间就可以直接访问不需要任何拷贝操作，这就是我们今天要说的0拷贝技术。
LCD Framebuffer 就是一块显存，在嵌入式系统中，显存是被包含在内存中。LCD Framebuffer里的若干字节（根据驱动程序对LCD控制器的配置而定）表示LCD屏幕中的一个像素点，一一对应整个LCD屏幕。举个例子，LCD屏幕是800*600的分辨率，即LCD屏幕存在480000个像素点，若每个像素点4个字节表示，那么LCD Framebuffer显存大小为480000 *4=960000字节，即1.92MB。因此我们的内存将会分割至少1.92MB的空间用作显存。具体地址在哪里，这个就是又驱动程序去定，应用程序只需直接使用即可，硬件相关操作已由驱动程序封装好。
CUDA是英伟达推出的GPU架构平台，通过GPU强大的并行执行效率，为计算密集型应用加速，CUDA文件以.cu结尾，支持C++语言编写，在使用CUDA前需要下载 CUDA Toolkit
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。欢迎通过 chatglm.cn 体验更大规模的 ChatGLM 模型。
大家好，我是来自PPTV的王斌。接下来我将围绕以下几个话题，为大家分享有关全平台硬件解码的渲染与优化的实践经验。
今年最为火爆的产业无疑就是AIGC，也就是以AI为主导的生成式内容，包括ChatGPT、AI画图、AI作诗等功能。可以说，只能玩游戏而不支持AIGC的显卡已经不符合时代的需求。如今NVIDIA 在AI时代一飞冲天，可能会让很多同学误认为只有NVIDIA显卡才支持Stable Diffusion这类的AI应用。但事实上，还有一家厂商对于AI的投入力度并不逊于NVIDIA，而且在多年前就开始布局AI，它就是芯片巨头Intel公司。
Management PCI-Express Runtime D3 (RTD3) Power Management是一种用于管理PCI-Express设备的低功耗模式的技术RTD3是一种睡眠状态，当PCI-Express设备处于空闲状态时，可以将其置于低功耗模式，以减少能源消耗和热量产生。英伟达™（NVIDIA®）图形处理器有许多省电机制。其中一些机制会降低芯片不同部分的时钟和电压，在某些情况下还会完全关闭芯片部分的时钟或电源，但不会影响功能或继续运行，只是速度较慢。然而，英伟达™（NVIDIA®）GPU 的最低能耗状态需要关闭整个芯片的电源，通常是通过调用 ACPI 来实现。这显然会影响功能。在关机状态下，GPU 无法运行任何功能。必须注意的是，只有在 GPU 上没有运行任何工作负载的情况下才能进入这种状态，而且在试图开始工作或进行任何内存映射 I/O (MMIO) 访问之前，必须先重新开启 GPU 并恢复任何必要的状态。
2020 开年，ZILLIZ 与 InfoQ 筹备了以异构计算为专题的一系列文章。此篇文章作为异构计算专题的开篇，整体性的介绍了异构计算的定义、场景与局限性。在后续的专题文章中，我们将深入不同的 AI 应用场景进一步解释异构计算的优势。
随着高清，4K视频的推广，视频GPU硬件编码，解码，转码已经开始成为主流。同时人工智能的兴起，深度学习也离不开硬件GPU的模型训练和计算。GPU硬件参数越来得到开发人员的关注，对GPU 温度，占用率，显存等参数也纳入监控平台的重要监控指标。本文以温度为例介绍如何监控显卡GPU相关参数。
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。
假如我们当前的显存分配如上图所示，假设当前想分配 800MB 显存，虽然空闲的总显存有 1000MB，但是上方图的空闲显存由地址不连续的两个 500MB 的块组成，不够分配这 800MB 显存；而下方的图中，如果两个 500MB 的空闲块地址连续，就可以通过显存碎片的整理组成一个 1000MB 的整块，足够分配 800MB。上方图的这种情况就被称为显存碎片化。
AI大模型部署到本地很耗资源，需要很大的内存和硬盘，很多电脑都满足不了要求。而且部署过程很复杂，非专业人士很难上手。
在深度学习和计算机图形学等领域，使用GPU进行加速已经成为常见的做法。然而，GPU的显存是一种有限的资源，我们需要时刻关注显存的使用情况，以避免显存溢出导致的程序错误。NVIDIA提供了一个命令行工具nvidia-smi，能够实时查看GPU的状态和显存使用情况。本文将介绍如何使用nvidia-smi命令在终端实时刷新GPU显存。
3.5. Mode Switches GPUs that have a display output dedicate some DRAM memory to the so-called primary surface, which is used to refresh the display device whose output is viewed by the user. When users initiate a mode switch of the display by changing th
帧缓冲（framebuffer）是Linux 系统为显示设备提供的一个接口，它将显示缓冲区抽象，屏蔽图像硬件的底层差异，允许上层应用程序在图形模式下直接对显示缓冲区进行读写操作。用户不必关心物理显示缓冲区的具体位置及存放方式，这些都由帧缓冲设备驱动本身来完成。
3.项目生生成成功 .cu文件就是跑在GPU上面的文件。文件夹里面是自动生成的一些要依赖的库文件你可以不用管
点击【立即选购】可以进入选购页面。每种机型又对应不同的规格。基本上同机型（比如GN7）他们的显卡型号都是相同的，该机型下的不同规格（比如GN7.LARGE20、GN7.2XLARGE32)只是在CPU、内存、带宽以及显卡个数方面不同而已。下面简单列一下机型与显卡的对应关系（截至2022年5月）：
应用程序和驱动程序之间传递数据时，可以通过read、write函数进行。这涉及在用户态buffer和内核态buffer之间传数据，如下图所示：
之前使用AIGC生成图片，一般都是生成512*512的图，然后再进行放大，以达到高清出图的要求。但是这里有个问题是底模其实都是海量的512*512图片训练出来的，所以出图效果上经常不如人意，在细节上会差一些。这次SDXL1.0直接使用1024*1024的海量图片训练底模，而且分为了文生图用的base模型和图生图进行优化和放大的refiner模型，从而在开源免费的文生图软件上实现了不输于Midjourney的出图效果。
本文整理自NVIDIA GTC2022讲座[SE2600] （另：本公众号没有测试PPT中代码，代码只代表原作者本人观点，欢迎大家留言讨论） 我们知道Jetson是一个被称为集成 gpu 的产品，这意味着我们的 cpu 和一个 gpu 共享一个物理统一的内存结果，这与你可能熟悉的典型独立 gpu 完全不同，独立gpu 显卡有自己的内存与cpu、内存的系统分开，所以cpu、内存和gpu内存之间有很多迁移。它也恰好是典型独立GPU 计算的最大瓶颈之一。因此，当我们在编写项目时，我们真的应该考虑到一些阴暗面，因
之前在Linux系统移植时提到过LCD驱动，本篇来看下Linux设备树如何配置LCD驱动。
“10b”、“13b”、“70b” 等术语通常指的是大型神经网络模型的参数数量。其中的 “b” 代表 “billion”，也就是十亿。表示模型中的参数量，每个参数用来存储模型的权重和偏差等信息。例如：
由于测试环境使用的是NVIDIA的显卡，这里直接通过lspci命令即可查询具体显卡信息
我们正带领大家开始阅读英文的《CUDA C Programming Guide》,今天是第六天，我们用几天时间来学习CUDA 的编程接口，其中最重要的部分就是CUDA C runtime.希望在接下来的95天里，您可以学习到原汁原味的CUDA，同时能养成英文阅读的习惯。 本文共计845字，阅读时间15分钟 3.2.4. Page-Locked Host Memory【锁页内存】 The runtime provides functions to allow the use of page-locked
前言 从刚开始接触Mxnet这个框架到现在已经大概四个月了。Mxnet最吸引我的地方就是它提供了 很多语言的接口，其中有Scala（my favorite），这是我从Caffe转过来的原因之一。 Mxnet是我第一个参与的开源项目，可以说这四个月来我学到了很多东西。 本文的其中目的在于介绍一下如何用 Mxnet Scala 包来开发自己的 deep learning 的应用，有 哪些坑需要注意的，最后就是安利一下Mxnet 这个框架了。 然后，还有就是Mxnet Scala Pack
为什么需要GPU虚拟化 根据平台收集的GPU使用率的历史，我们发现独占卡的模式会对GPU这种宝贵计算资源存在浪费现象，即不同用户对模型的理解深度不同，导致申请了独立的卡却没有把资源用满的情况。针对这种情况，虚拟化GPU技术可以更好的解决这种痛点，让机器的计算资源得到充分利用。 现有技术情况 目前来看，绝大多数公司使用的是英伟达（NVIDIA）的公司的计算卡，所以下面主要介绍NVIDIA的技术现状。 NVIDIA在前几年释放出来一个NVIDIA vGPU的一个硬件虚拟化的技术，该技术的介绍是 NVIDIA
GD32F450I开发板上配了一个OV2640摄像头，其最大像素尺寸可设置为1600*1200，板子上的RGB-LCD液晶屏的尺寸为480*272，本篇来测试摄像头在整个屏幕上的显示效果。
本篇详细的记录了如何使用STM32CubeMX配置 STM32F767IGT6 的 LTDC 外设驱动 TFT-LCD （RGB）屏幕。
链接：https://zhuanlan.zhihu.com/p/265673438
本文项目地址：Real-CUGAN at main · bilibili/ailab · GitHub
Hello，小伙伴们大家好，在上一篇文章中（传送门：没有操作系统，也能运行我们的程序？(理论部分)），我们已经知道了一台计算机是如何加载操作系统到内存之中的。在这里简单的回顾一下，首先CPU先执行ROM中的BIOS程序进行硬件自检，硬件没问题之后，BIOS程序开始加载硬盘第一个扇区共512个字节到内存中，这512个字节是操作系统的引导代码，是专门引导操作系统的，因此这个扇区也叫主引导扇区。CPU执行操作系统引导代码，将操作系统的核心部分加载到内存中，这样操作系统就跑起来了，计算机就有灵魂了。好了，当然，我们也可以把我们的代码放到硬盘的第一个扇区，然后按下开机键，让BIOS把我们的代码加载到内存中，让CPU去执行我们的代码，这样，就实现了在计算机裸机上直接去运行我们的代码了。OK，我们开始动手做下实验吧。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
