英伟达推出了全新的个人计算产品Project DIGITS。通过Project DIGITS,用户可以使用自己的桌面系统开发和运行模型推理,然后在加速云或数据中心基础设施上无缝部署模型。
英伟达创始人兼CEO黄仁勋表示,AI将成为各行各业中每一种应用的主流。借助Project DIGITS,Grace Blackwell超级芯片将惠及数百万开发者。而将AI超级计算机放在每一位数据科学家、AI研究人员和学生的桌子上,将使他们能够参与并塑造AI时代。
此外,若使用NVIDIA ConnectX网络,两台Project DIGITS可以连接起来,进而可运行多达4050亿参数的模型,这基本可以覆盖目前市面上所有大模型产品。
据英伟达方面透露,Project DIGITS将于今年5月上市,起售价为3000美元。
那么Project DIGITS又是如何做到又小又彪悍的呢?
丨搭载了全新的GB10超级芯片
Project DIGITS的关键,就在于它搭载的全新Grace Blackwell超级芯片(GB10)。
这个系列芯片想必大家并不陌生了,基于Grace Blackwell架构,是一款片上系统(SoC)。
在FP4精度下可以提供高达1千万亿次浮点运算的AI性能。
GB10包含了英伟达Blackwell GPU(具有最新一代 CUDA 核心和第五代 Tensor Cores),通过NVLink-C2C芯片到芯片互连连接到高性能NVIDIA Grace CPU(采用Arm 架构的20个节能核心)。
据了解,联发科参与了GB10的设计,对提升能效、性能和连接性等方面起到了一定作用。
基于这样的架构,企业和研究人员可以在本地运行Linux系统的Project DIGITS上进行模型原型设计、微调与测试,再部署到NVIDIA DGX Cloud等上面。
用户还可以访问应用大的AI软件库,包括NGC目录和开发者门户中的软件开发工具包、编排工具、框架和模型等,可用NVIDIA NeMo框架微调模型、NVIDIA RAPIDS库加速数据科学,运行PyTorch等常见框架。
还可利用NVIDIA Blueprints和NVIDIA NIM微服务构建智能AI应用;据了解,从实验到生产环境时,NVIDIA AI Enterprise许可证提供企业级安全等支持。
文章整理自网络搜集
领取专属 10元无门槛券
私享最新 技术干货