首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

观点 | 为什么 AI 芯片时代必然到来——从 TPU 开始的几十倍性能之旅

表 2 显示了部署在谷歌数据中心的服务器,可以将其与 TPU 进行比较。传统的 CPU 服务器以英特尔的 18 核双插槽 Haswell 处理器为代表,该平台也是 GPU 或 TPU 的主机服务器。...CPU 的主机服务器开销,展示了这六个 DNN 应用相对性能的加权平均值,表明 K80 芯片速度是 Haswell 的 1.9 倍,TPU 芯片速度是 Haswell 的 29.2 倍,TPU 芯片速度也就是...TPU' 是使用 K80 的 GDDR5 内存将 TPU 进行改进后的芯片 对于总性能/瓦特,K80 服务器Haswell 的2.1倍。...对于增量性能/瓦特,当忽略 Haswell 服务器电源时,K80 服务器Haswell 的 2.9 倍。...TPU 服务器的总性能/瓦特比 Haswell 要高出34倍,TPU 服务器的性能/功率也就是 K80 服务器的 16 倍。

89420
您找到你想要的搜索结果了吗?
是的
没有找到

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

昨日,谷歌资深硬件工程师Norman Jouppi刊文表示,谷歌的专用机器学习芯片TPU处理速度要比GPU和CPU快15-30倍(和TPU对比的是英特尔Haswell CPU以及Nvidia Tesla...TPU对比Haswell处理器 在和英特尔“Haswell”Xeon E5 v3处理器来的对比中,我们可以看到,TPU各方面的表现都要强于前者。...在Google的测试中,使用64位浮点数学运算器的18核心运行在2.3 GHz的Haswell Xeon E5-2699 v3处理器能够处理每秒1.3 TOPS的运算,并提供51GB/秒的内存带宽;Haswell...相比之下,TPU使用8位整数数学运算器,拥有256GB的主机内存以及32GB的内存,能够实现34GB/秒的内存带宽,处理速度高达92 TOPS ,这比Haswell提升了71倍,此外,TPU服务器的热功率只有...在Skylake是28核,而Haswell为18核,所以Xeon的总体吞吐量可能会上升80%。当然,这样的提升与TPU相比仍有差距。

1.1K100

【深度】基于论文,对谷歌 TPU 的最全分析和专业评价

表2: 评测服务器使用Haswell CPU,K80 GPU和TPU。Haswell有18个核心,而K80具有13个SMX流处理簇。图10评价了功耗。...传统的CPU服务器服务器是来自Intel的双路18核Haswell处理器。这一平台同时也构成了GPU和TPU的主机平台。Haswell以Intel的22nm工艺生产。...对于总性能功耗比,K80服务器Haswell的1.2倍到2.1倍。对于增量性能功耗比,当主机服务器功耗省略是,K80服务器的性能提升为1.7倍到2.9倍。...图10显示了服务器功耗按照每类服务器配置中芯片的数量,跟随CNN0负载变化的情况。GPU和TPU的总功耗(K80+Haswell/4和TPU+Haswell/2)和增量功耗(仅K80和TPU)。...结果是,Haswell服务器加上4颗TPU增加功耗少于20%,但运行CNN0速度比仅有Haswell处理服务器快80倍(4个TPU对比2颗CPU) ?

2.4K40

2017图灵奖得主:通用芯片每年仅提升3%,神经专用架构才是未来

表 2 显示了部署在谷歌数据中心的服务器,可以将其与 TPU 进行比较。传统的 CPU 服务器以英特尔的 18 核双插槽 Haswell 处理器为代表,该平台也是 GPU 或 TPU 的主机服务器。...谷歌工程师在服务器中使用四个 TPU 芯片。 ? 表 2. 基准测试的服务使用 Haswell CPU、K80 GPU 及 TPU。...(每秒推断和 7ms 的延迟包括服务器主机时间和加速器时间。)如果对响应时间的限制不严格,Haswell 和 K80 分别以 MLP0 最高吞吐量的 42% 和 37% 运行。...CPU 的主机服务器开销,展示了这六个 DNN 应用相对性能的加权平均值,表明 K80 芯片速度是 Haswell 的 1.9 倍,TPU 芯片速度是 Haswell 的 29.2 倍,TPU 芯片速度是...图 4:GPU 服务器与 CPU 服务器的性能/功耗对比(蓝色条)、TPU 服务器与 CPU 服务器的功耗对比(红色条)、TPU 服务器与 GPU 服务器的功耗对比(橙色条)。

87920

重磅 | 谷歌发布TPU研究论文,神经网络专用处理器是怎样炼成的?

我们将 TPU 和服务器级的英特尔 Haswell CPU 与现在同样也会在数据中心使用的英伟达 K80 GPU 进行了比较。...非 Boost 模式和单裸片 vs 双裸片性能把 K80 峰值 TOPS 从 8.7 降至 2.8(*TPU 压模小于等于半个 Haswell 压模大小)。 ?...图 9:GPU 服务器(蓝条)对比 CPU、TPU 服务器(红条)对比 CPU、TPU 服务器对比 GPU(橘黄)的相对性能表现/Watt(TDP)。TPU' 是改进版的 TPU(Sec.7)。...绿条显示了对比 CPU 服务器的比例,淡紫色显示了与 GPU 服务器的关系。整体包括了主服务器的能耗,但不包括增量(incremental)。GM 和 WM 分别是几何学图形与加权平均值。 ?...蓝色是英特尔 E5-2699 v3 Haswell CPU 的功率,绿色是英伟达 Tesla K80 的功率,紫色为谷歌 TPU。每个服务器通常有多个芯片组,以上所有数字都已被整除成单芯片功率。 ?

94890

丢人!Caffe2推出才几天,就被谷歌TensorFlow吊打了

TensorFlow GitHub hash: b1e174e Benchmark GitHub hash: 9165a70 创建命令: bazel build -c opt --copt=-march="haswell...TensorFlow GitHub hash: b1e174e Benchmark GitHub hash: 9165a70 创建命令:bazel build -c opt --copt=-march="haswell...TensorFlow GitHub hash: b1e174e Benchmark GitHub hash: 9165a70 创建命令: bazel build -c opt --copt=-march="haswell...每个模型使用的配置 为了简化服务器设置,亚马逊 EC2(p2.8xlarge)在运行工作服务器的同时还运行了参数服务器。...运行工作服务器时均使用了相同数量的参数服务器和工作服务器,但是以下几种情况例外: InceptionV3模型: 8个实例/ 6个参数服务器 ResNet-50模型:(批量大小为32)8个实例/ 4个参数服务器

1.2K60

手把手教你安装黑苹果之openCore-0.6.3 EFI制作全过程,非常详细

ACPI config.plist 配置config.plist 下载安装ProperTree 运行ProperTree 打开配置文件config.plist 调整config.plist参数 笔记本电脑Haswell...haswell笔记本平台的,所以是一面一篇文章。.../haswell.html#starting-point 这篇文档写的很详细,如果你的EFI启动不了,各种卡代码建议把这篇文档详细看一下。...笔记本电脑Haswell平台confg.plist配置信息 我以haswell为例,其他平台大同小异。 删除WARNING,选中后,右键 =》Remove 或者按 – 按键删除。...如下图 EFI效果实测与下载 理论上讲我们上面生成的EFI支持所有的 笔记本电脑Haswell平台 macOS 系统的安装。 我把这一把制作完成的EFI分享给大家。

17.6K21
领券