此刻，你应该是在电脑或手机上看这篇文章。不管怎样，这些机器都属于现代计算机，它们都有中央处理器（CPU）和其他为特定功能服务的专用芯片，例如显卡、声卡、网卡、传感器融合等。处理特定任务时，专用处理器往往比通用CPU更快更高效。
特别感谢：如果没有来自 Tuatini GODARD（他是我的一名好朋友，同时也是一名活跃的自由职业者）的帮助，这个基准比较工作是不可能完成的。如果你想了解更多关于他的信息，可以阅读这篇访谈：
基于安培体系结构的NVIDIA A100 GPU是为了从其许多新的体系结构特征和优化中提供尽可能多的AI和HPC计算能力而设计的。在台积电7nm N7 FinFET制造工艺上，A100提供了比Tesla V100中使用的12nm FFN工艺更高的晶体管密度、更好的性能和更好的功率效率。一种新的Multi-Instance GPU(MIG)能为多租户和虚拟化GPU环境提供了增强的客户端/应用程序故障隔离和QoS，这对云服务提供商特别有利。一个更快和更强的错误抗力的第三代NVIDIA的NVLink互连提供了改进的多GPU性能缩放的超尺度数据中心。
您是否知道反向传播算法是Geoffrey Hinton 在1986年的《自然》杂志上提出的？
本文没有任何的原理和解读，只有一些实验的结论，对于想使用混合精度训练的同学可以直接参考结论白嫖，或者直接拿github上的代码(文末放送)。
AI 科技评论消息，不久前，NVIDIA在SIGGRAPH 2018上正式发布了新一代GPU架构——Turing（图灵），黄仁勋称Turing架构是自2006年CUDA GPU发明以来最大的飞跃。Turing架构的两大重要特性便是集成了用于光线追踪的RT Core以及用于AI计算的Tensor Core，使其成为了全球首款支持实时光线追踪的GPU。
当年，阿基米德爷爷说出“给我一个支点，我就能撬动地球”这句话时，估计没少遭受嘲讽。
腾讯CVM标准型SR1是腾讯云推出的首款搭载ARM架构处理器的新一代CVM标准型计算实例规格。SR1基于全核一致主频3.0GHz的Ampere Altra处理器，实例核数从1核到64核，并支持1: 2、1: 4等多种处理器与内存配比，相对x86架构实例为用户提供卓越的性价比。
美国人工智能公司Lambda用TensorFlow测试了RTX 2080 Ti。相比1080 Ti， 2080 Ti值得买么？
在Detectron模型性能优化与部署(1)中，我们介绍了如何使用Caffe2/TRT加速Cascade R-CNN + FPN模型。我们会在本篇文章介绍如何实现FP16推理，如何实现图片输入大小可变，FP16相比FP32推理精度差别，如何避免推理精度损失，以及模型如何上线等。
英伟达在这篇「GPU Domain Specialization via Composable On-Package Architecture」（通过可组合式封装架构实现GPU领域的专业化）的论文中，谈到了下一代GPU设计。
PyTorch 1.6 nightly增加了一个子模块 amp ，支持自动混合精度训练。值得期待。来看看性能如何，相比Nvidia Apex 有哪些优势？
问：如何理解 NVIDIA 新 GPU 架构 Turing 的 Tensor Core？
放眼一看，世界把所有的⽬光都聚焦在数字格式上。因为在过去的⼗年中，AI硬件效率的提⾼有很⼤⼀部分要归功于数字格式。
前些天尝试使用TensorRT转换一个模型，模型用TensorFlow训练，包含LSTM+Transform+CNN，是一个典型的时序结构模型，包含编码解码结构，暂称为debug.onnx吧。
FP16是半精度浮点格式，相比常用的FP32单精度浮点，数据宽度降低了一半。2016年Arm更新了Armv8.2-A Extension扩展指令集，其中包含FP16半精度浮点运算。Arm NEON向量指令长度为128位，一条FP32向量可完成4个单精度浮点数运算，一条FP16向量可完成8个半精度浮点数运算，使理论峰值性能翻倍。如果该指令用于加速网络推理，相比于FP32预期能达到2倍加速。
AI科技评论消息: 在10月10日-11日在加拿大蒙特利尔召开的Rework Deep Learning Summit会议上，百度高级研究员Greg Diamos介绍了由百度硅谷AI实验室（SVAIL
机器之心编译 选自：arXiv 参与：李泽南、蒋思源 深度学习的模型正在变得越来越复杂，所需要的计算资源也越来越多，在开发更加强大的硬件的同时，很多人也在致力于改进算法。最近，百度和英伟达共同提出了一
GPU是一种专精浮点数运算的硬件设备，显然处理32位浮点数是处理16位浮点数计算量的2倍还多，在愿意损失一些精度的条件下使用fp16可以加速计算，而且也不会对模型最终的效果产生可感知影响。于是就有人提出了采用fp16来进行训练，具体而言在计算激活值和梯度的时候以fp16精度存储，执行优化算法的时候还原为fp32（缺失位补0），这样最终的效果是模型在GPU上以fp16和fp32两种方式加载，这被称为混合精度训练（mixed precision training），这种方式占用了更少的显存（全精度需要保存2份原始模型，混合精度保存1份原始模型，1份半精度模型，是原始模型的1.5倍），也加速了训练过程，即精度损失换时间。
数据预处理->分块（这一步骤很关键，有时候也决定了模型的效果）->文本向量化->query向量化->向量检索->重排->query+检索内容输入LLM->输出
老潘刚开始接触神经网络量化是2年前那会，用NCNN和TVM在树莓派上部署一个简单的SSD网络。那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化（训练后量化）模式，使用交叉熵的方式对模型进行量化，最终在树莓派3B+上部署一个简单的分类模型（识别剪刀石头布静态手势）。
日前，谷歌和英伟达宣布将 NVIDIA TensorRT 集成到 TensorFlow 1.7 中。在谷歌开发者博客中，他们介绍了此次合作的详细信息以及整合之后的性能，AI 研习社编译整理如下： TensorRT 是一个可以用于优化深度学习模型，以进行推理，并为生产环境中的 GPU 创建运行环境的库。它能优化 TensorFlow 中的 FP16 浮点数和 INT8 整型数，并能自动选择针对特定平台的内核，以最大化吞吐量，并最大限度的降低 GPU 推理期间的延迟。全新的集成工作流程简化了在 TensorFl
其中，性能最强大的RTX 3090具有24GB显存和10496个CUDA核心。而2018年推出的旗舰显卡Titan RTX同样具有24GB显存。
是属于有理数中某特定子集的数的数字表示，在计算机中用以近似表示任意某个实数，小数点可以“浮动”。实数由一个整数或定点数（即尾数/significand/mantissa）乘以某个基数exponent（计算机中通常是2）的整数次幂得到，这种表示方法类似于基数为10的科学计数法。
AI 研习社按，日前，谷歌和英伟达宣布将 NVIDIA TensorRT 集成到 TensorFlow 1.7 中。在谷歌开发者博客中，他们介绍了此次合作的详细信息以及整合之后的性能，AI 研习社编译整理如下：
我们在前文介绍过，微软 ZeRO 可以对一个万亿参数模型可以使用 8 路模型并行、64 路管道并行和 8 路数据并行在 4,096 个 NVIDIA A100 GPU 上进行扩展。而FSDP（Fully Sharded Data Parallel）是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，其本质是 parameter sharding。Parameter sharding 就是把模型参数等切分到各个GPU之上。我们会以 Google，微软和 Facebook 的论文，博客以及代码来进行学习分析。
近日，深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 在 CVPR 2023 上发表了主题演讲「Scaling PyTorch Model Training With Minimal Code Changes」。
AI模型近年来被广泛应用于图像、视频处理，并在超分、降噪、插帧等应用中展现了良好的效果。但由于图像AI模型的计算量大，即便部署在GPU上，有时仍达不到理想的运行速度。为此，NVIDIA推出了TensorRT，成倍提高了AI模型的推理效率。本次LiveVideoStack线上分享邀请到了英伟达DevTech团队技术负责人季光一起探讨把模型运行到TensorRT的简易方法，帮助GPU编程的初学者加速自己的AI模型。
使用精度低于FP32的系统可以减少内存使用，允许部署更大的网络。数据传输需要更少的时间，而且计算性能会提高，尤其是在NVIDIA gpu上，它的Tensor Core支持这种精度。DNNs的混合精度训练实现了两个主要目标:
可以说是万众期待下，老黄发布了消费级（民用级）显卡RTX2070、RTX2080、RTX2080TI，作为“大多数人”，不得不说在发布会即将结束的那一刻，真的很想预订一块。真的很有诱惑力啊，毕竟价格摆在那里，RTX2080TI显卡相比1080TI可是贵了许多，Founder Edition 版 京东上预订9999差不多1w了。
矩阵乘法是神经网络中最基础、最重要的一个运算。在用CUDA实现矩阵乘法时，不需要我们手动写，cuBLAS库提供了现成的矩阵乘法算子，例如cublasGemmEx和cublasLtMatmul。其中后者是轻量级版本，API调用更灵活。例如对于整数乘法，cublasLtMatmul支持int8的输入输出，而cublasGemmEx只支持int8输入，int32输出。
---- 新智元报道 编辑：David 好困 【新智元导读】手头只有鸡蛋和葱花，如何做出满汉全席？ 只要不差钱，人人都爱大模型！ 这不，Meta就计划把CV、NLP、语音识别等技术所需的模型都做到「数万亿」的参数量。 年初的时候就联合英伟达推出了一个全新的超算——「人工智能研究超级集群」（ AI Research SuperCluster，RSC）。 既然Meta都这么搞了，是不是拿超算「炼丹」很好用？ 答案是，并不……尤其是当你手里只有14纳米架构的芯片时。 为此，清华大学、阿里达摩院等机构的
机器之心报道 机器之心编辑部 在消费级 GPU 上运行大规模模型是机器学习社区正面临的挑战。 语言模型的规模一直在变大，PaLM 有 540B 参数，OPT、GPT-3 和 BLOOM 有大约 176B 参数，模型还在朝着更大的方向发展。 这些模型很难在易于访问的设备上运行。例如，BLOOM-176B 需要在 8 个 80GB A100 GPU（每个约 15000 美元）上运行才能完成推理任务，而微调 BLOOM-176B 则需要 72 个这样的 GPU。PaLM 等更大的模型将需要更多的资源。 我们需要
IBM的研究人员声称，他们已开发出一个更加高效的模型用于处理神经网络，该模型只需使用8位浮点精度进行训练，推理（inferencing）时更是仅需4位浮点精度。该研究的成果已于2018年12月初在国际电子元件会议（International Electron Devices Meeting，IEDM）和神经信息处理系统大会（Conference on NeuralInformation Processing Systems，NeurIPS）上发布。
KubeAI是得物AI平台，是我们在容器化过程中，逐步收集和挖掘公司各业务域在AI模型研究和生产迭代过程中的需求，逐步建设而成的一个云原生AI平台。KubeAI以模型为主线提供了从模型开发，到模型训练，再到推理(模型)服务管理，以及模型版本持续迭代的整个生命周期内的解决方案。
随着深度学习快速发展，同时伴随着模型参数的爆炸式增长，对显卡的显存容量提出了越来越高的要求，如何在单卡小容量显卡上面训练模型是一直以来大家关心的问题。
在保证可靠性的前提下如何提高存储利用率已成为当前 DFS 应用的主要问题之一。
关于SDXL的生态目前还未完全稳定，但是不得不提到的就是SDXL的在VAE,CLIP,UNET三大组件的巨大提升，其101亿的参数量是原本SD的N倍，那么对于SDXL的生态介绍我们再次重复一遍。4G的显存都能跑SDXL意味着将来大模型Lora将降低其大小，炼丹炉压力更小~
有同学问：NVIDIA手册上说Tesla P100用sp做半精度，理论计算能力是单精度的一倍，我在Tesla V100上用非tensor core测试，半精度并不如单精度。不知道是p100是不是也这样？
GitHub 地址：https://github.com/rasbt/cvpr2023
机器之心报道 编辑：CZ、Jenny Huang、李泽南、吴攀、蒋思源 当地时间 5 月 8-11 日，英伟达在加州圣何塞举行了 2017 年的 GPU 技术大会（GTC 2017）。机器之心作为本次大会的特邀媒体，也来到了现场，参阅《现场报道 | 英伟达 GTC 大会开幕，盘点首日三大亮点》。昨天，英伟达 CEO 黄仁勋在大会上正式发布了目前最先进的加速器 NVIDIA Tesla V100。之后，英伟达开发博客又更新了一篇深度解读文章，剖析了 Tesla V100 背后的新一代架构 Volta，其在提供
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 引言 YOLOv5最新版本的6.x已经支持直接导出engine文件并部署到TensorRT上了。 FP32推理TensorRT演示 可能很多人不知道YOLOv5新版本6.x中已经支持一键导出Tensor支持engine文件，而且只需要一条命令行就可以完成：演示如下： python export.py --weights yolov5s.pt --include onnx engine --device 0 其中on
从 Google 在 2017 年发表著名的「Attention is all you need」文章开始，Transformer 架构就开始攻占 AI 的多个领域：不仅成为自然语言处理（NLP）和语音等很多 AI 应用的默认核心架构，同时也成功跨界到计算机视觉方向，在超分辨率、图像识别和物体检测中取得 state-of-the-art 的性能。
作者：tomoyazhang，腾讯 PCG 后台开发工程师 随着软件从 1.0 进化到 2.0，也即从图灵机演进到类深度学习算法。计算用的硬件也在加速从 CPU 到 GPU 等迁移。本文试图整理从英伟达 2010 年开始，到 2020 年这十年间的架构演进历史。 CPU and GPU 我们先对 GPU 有一个直观的认识，如下图： 众所周知，由于存储器的发展慢于处理器，在 CPU 上发展出了多级高速缓存的结构，如上面左图所示。而在 GPU 中，也存在类似的多级高速缓存结构。只是相比 CPU，GPU
近期，AIGC领域呈现出一片繁荣景象，其背后离不开强大算力的支持。以ChatGPT为例，其高效的运行依赖于一台由微软投资建造的超级计算机。这台超级计算机配备了数万个NVIDIA A100 GPU，并利用60多个数据中心的数十万个GPU辅助，为ChatGPT提供了强大的算力支持。这种规模的算力部署不仅体现了AIGC技术的先进性，也预示着人工智能技术未来的发展趋势。这种集成了高性能计算、大数据处理和人工智能算法的超级计算机，将成为推动科技进步的重要引擎。
【GiantPandaCV导语】忙完手头工作，就赶紧来过了一遍 H100 白皮书。下面我就以框架开发和炼丹师的角度谈谈 H100 的一些新特性，如有说错的地方还望指正。
今天的分享，主要包括三个部分： 首先介绍我们为什么需要做 AI 训练加速，也就是整体背景和出发点是什么； 第二部分我们会系统性的分析实际训练过程中的可能会遇到的性能瓶颈问题，然后针对这些问题，介绍目前主要的加速方案； 第三部分介绍百度百舸平台的 AI 训练加速套件 AIAK-Training 在一些模型训练加速上的实践效果。 为什么需要 AI 训练加速？ 在 AI 系统中，一个模型从生产到应用，一般包括离线训练和推理部署两大阶段。 离线训练阶段，就是产生模型的过程，用户需要根据自己的任务场景，准备好训练
选自The Next Platform 机器之心编译 参与：王淑婷、刘晓坤 在今年的年度 I/O 大会上，谷歌给人留下深刻印象。它不仅推出了一系列基于 TPUv2 芯片的云计算 TPU 实例的基准测试，还透露了一些有关其下一代 TPU 芯片即 TPU3.0，以及其系统架构的简单细节。TIRIAS Research 的顶尖技术专家和首席分析师 Paul Teich 近日在 nextplatform 发文，对谷歌 TPU3.0 进行了深度揭秘。 谷歌将 TPUv2 版本升级为 TPU 3.0，但讽刺的是，据我们
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
