首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

英伟达推出H100 NVL:用于大语言模型训练

今年以ChatGPT为首的大语言模型突然在网上爆红,引起了人们对于AI的极度追求。而大语言模型的训练则需要大量的计算卡,这便是英伟达的优势。去年英伟达正式推出了H100计算卡,让计算卡的性能达到新的高度,而这一次英伟达又推出了H100 NVL,专门为大语言模型而打造。

英伟达表示H100 NVL是为大型语言模型所准备的产品,由2 H100计算卡通过PCIe桥接在一起,相比较单张H100计算卡,这套系统可以提供188GB的HBM 3显存。而英伟达称目前ChatGPT所采用的训练计算机搭载的是英伟达HGX A100,而如果说使用H100 NVL计算卡的话,基于四对H100以及双NVLINK的服务器可以让处理与计算速度提升10倍,从而让大语言模型的处理效率大幅提升,进而降低使用成本。甚至通过软硬件的优化,大语言模型的建模与训练速度最高可以提升30倍。预计H100 NVL计算卡将会在今年下半年和大家正式见面。

除此之外英伟达也推出了L4,专门为AI视频解码与转码打造,英伟达表示相比较传统的CPU转码,通过L4这样的专属芯片可以实现最高120倍的AI视频性能提升,并且能效比提升99%,英伟达称基于8块L4 GPU的视频解码服务器可以替代原有100多台的视频解码服务器,同样也是大幅提升工作效率,增加企业的生产力。可以说无论是H100 NVL还是L4,都是英伟达为专属领域所推出的计算设备,相比较过去的通用性芯片,这种专属芯片拥有更加出色的优化,能够为特定任务起到事半功倍的效果。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230322A039BS00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券