TPU一直是谷歌的秘密武器，皮查伊表示该芯片曾被用于驱动AlphaGo人工智能，后者打败了顶级围棋选手李世石。看来，TPU性能的优越性已经稍有体现了。 TPU是为机器学习应用特别开发的，以使芯片在计算精度降低的情况下更耐用，这意味每一个操作只需要更少的晶体管，可以构建更多精密且大功率的机器学习模型，并快速应用这些模型，使用户能得到更正确的结果。 遗憾的是，谷歌不愿准确透露目前正在使用的TPU芯片数量，但强调公司会继续大量使用其他公司生产的传统中央处理器和图形处理器。而谷歌也并未披露哪家公司为其生产这些专门设计的芯片。 与此同时，谷歌云服务高级副总裁戴安•格林(Diane Greene)表示，谷歌没有计划向第三方出售这种专用芯片。谷歌TPU通过PCI-E协议连接至计算机服务器，可以快速提升人工智能软件的性能。 曾出席谷歌I/O开发者大会的分析师帕特里克•摩尔哈德介绍说，目前专用集成电路存在的问题是成本高，且耐用性差，因此谷歌才需要研制新芯片来解决这个问题。
可是，当这些公司开始用新的方式——深度神经网络（人工智能的分支形式）来解决问题，提供服务时，他们就得使用与之相匹配的处理器了，如谷歌专为机器学习设计的 Tensor 处理器（TPU）。 而如果这其中的某家公司，如谷歌，用一种新型芯片替换掉现有芯片，这基本上就相当于颠覆了整个芯片行业。 英特尔和英伟达对谷歌自己制造 TPU 感到十分恐慌。 但是，公司还需要能够快速执行神经网络决策的芯片，这一过程称为推论（ inference）。上述提到的谷歌使用的 TPU 和微软使用的 FPGA 皆是为此服务。 除了计算机，还有智能硬件 与此同时，还有些公司在寻找芯片新市场时，把目光转向了智能硬件。他们希望设计出让神经网络在智能手机或其他设备上快速执行的芯片。 比如 IBM。 所以，它是谷歌这类公司改变芯片市场的直接见证者。英特尔现在是四处押注，除了收购 Altera 和 Movidius，它还和人工智能芯片公司 Nervana 达成兼并协议。
精美礼品等你拿！
谷歌TPU不是英特尔的对手 2018 年 5 月，谷歌在 I/O 大会上发布了第三代 TPU，由 TPU 3.0 组成的 TPUPod 运算阵列，性能相比上一代提升了 8 倍，每秒运算性能 “远超” 100PFLOPS 为了给 TPU 3.0 Pod 运算阵列降温，谷歌第一次在其数据中心引入了液冷 除了谷歌，微软、亚马逊等巨头都在研发自己的 AI 芯片。 但 Naveen 却说，“除了TPU（还仅供谷歌内部使用）和GPU，你还能再说出一款已经量产的AI训练芯片吗？” 我不认为他们会销售芯片，也不认为他们想要进入芯片行业，等到英特尔研发出工艺更好、价钱更便宜的芯片时——芯片制造工艺是英特尔的核心价值所在——大公司自然就会重新使用英特尔的产品，不再自己做芯片。” 最初是谷歌的XLA（Accelerated Linear Algebra/加速线性代数），但XLA是用于 TensorFlow的编译器，针对的也自然是谷歌的TPU。
在 25 年后，LeCun 认为市场现在非常需要像 ANNA 这样的芯片，很快，它们将大量涌现。 谷歌刚刚有了自己的人工智能芯片 TPU，这种芯片已经广泛用于谷歌的数据中心，成为其网络帝国的引擎。 这只是芯片业巨大变革的开始，CNBC 等媒体 4 月 20 日 的报道指出，谷歌 TPU 的开发者们正在秘密成立的创业公司 Groq 重新集结，开发类似的人工智能芯片；而传统芯片厂商，如英特尔、IBM 谷歌在本月初推出 TPU 时称：「它是我们的第一块机器学习芯片。」在谷歌发表的论文中，TPU 在一些任务中的处理速度可达到英伟达 K80 GPU 与英特尔 Haswell CPU 的 15-30 倍。 而在功耗测试中，TPU 的效率也比 CPU 和 GPU 高 30-80 倍（当然，作为对比的芯片并不是最新产品）。 ? 当使用特殊设计的芯片进行处理时，神经网络任务会运行得更快，消耗更少的电力。谷歌宣称随着 TPU 的应用，它为谷歌节约的成本可以打造另外 15 个数据中心。
原作 James Morra 1 编译 Root 量子位 出品 | 公众号 QbitAI 今年4月底，谷歌TPU核心团队的十个人里有8人离职创业，组建了新公司Groq。 近日Groq官网发布消息，打算在2018年发布第一代AI芯片产品。这款芯片对标英伟达的GPU，是专门为人工智能重新定制一款芯片。 ? 官网资料显示，这款芯片的运算速度将可以达到400万亿次每秒，每瓦特能进行8万亿次的运算。而谷歌最新一代的TPU才达到每秒180万亿次运算，Groq芯片的性能将会是谷歌TPU的两倍多。 ? 芯片工程师团队在Groq面临的研发压力，不亚于在谷歌工作的时候。研发第一代TPU时，他们用了14个月的时间。第二代TPU，研发耗时缩短至一年，就在Google I/O开发者大会上发布了。 CGRA，是类似于FPGAs编程芯片和ASICs定制芯片的混合体。另外据福布斯报道，估值8.6亿的Cerebras就已经融到了1.12亿美金。
编译：chux 出品：ATYUN订阅号 谷歌为其机器学习框架TensorFlow定制的芯片——TPU正在向边缘设备发展。 Edge TPU与加速谷歌数据中心算法的芯片不太相似，那些TPU是在5月份的I / O开发者大会上宣布的第三代TPU，是液体冷却设计用于插入服务器机架。 也就是说，两个TPU相当于从同一块布料上切割下来的，它们是专用集成电路（ASIC），针对特定工作负载进行了优化的可编程芯片。 谷歌还构建了一个开发套件，由Edge TPU，NXP芯片和Wi-Fi模块组成。开发套件将在10月对开发者开放。 LG的CNS集团首席技术官Shingyoon Hyun表示，这些芯片有助于在液晶电视面板生产过程中每秒检查200多张玻璃图像，准确度达到99.9％。
(Tensor Porcessing Unit)是一个专门为神经网络预测(inference)定制的ASIC芯片。 TPU 架构 TPU被设计成一个协处理器，通过PCI-E总线与CPU进行数据交换，同时，TPU自己不会主动去内存中取指令，所有运行指令都是CPU通过PICE主动发送到TPU的指令缓存buffer中去执行 ，所以其实TPU其实更像是一个单纯的计算单元协处理器。 [tpu-arct.png] TPU的核心是 256*256的矩阵运算单元，能够计算8bit的整数乘法及加法。 TPU使用了4级的流水线，来充分利用矩阵运算单元。TPU中，计算和存储单元占据了接近70%的面积，控制单元仅有2%。
谷歌的这款芯片被称作 Tensor Processing Unit，简称 TPU，是Google专门为深度学习定制的芯片。 第一次出现是在2016年的Google I/O大会上，最近在体系结构顶级会议 ISCA 2017 上面，描述 TPU 的论文被评为最佳论文，让TPU又火了一把。 不适合训练，适合做推断，TPU是一种ASIC，先用GPU训练神经网络，再用TPU做推断。 总结起来，就是为深度学习定制的ASCI芯片，要比FPGA/CPU/GPU做推断的时候都要快，能耗低。 二、快的原因是啥呢，关键是采用脉动阵列机架构： ? Jouppi说，虽然 TPU 有很多矩阵乘法单元，但 TPU 比“GPU 在思路上更接近浮点单元协处理器”，TPU 没有任何存储程序，仅执行从主机发送的指令。
新智元报道 编辑：文强、张乾、大明 【新智元导读】本周，亚马逊推出首款自研Arm架构云服务器CPU Graviton和首款云端AI推理芯片AWS Inferentia，拳打TPU，脚踢英特尔 亚马逊云首款AI芯片问世，降低推理成本75% 在亚马逊美国拉斯维加斯大会上，昨天还放出另一个炸弹——首款云端AI芯片AWS Inferentia。 ? 根据官网介绍，每个Inferentia芯片提供高达几百TOPS的算力，使复杂的模型能够做出快速的预测。多个AWS Inferentia芯片可以一起使用来驱动，形成成千上万的TOPS算力。 为了摆脱这种束缚，越来越多互联网巨头们正考虑使用Arm，OpenPower，RISC-V和AMD Epyc产品，定制自己的芯片，全球云计算巨头（包括微软，谷歌，Facebook，亚马逊，百度等） 都在寻找替代芯片供应商 Inferentia芯片的推出，就是AWS应对这种局面的杀手级武器，主要能够降低成本。 至此，主要云计算公司中，AWS、谷歌云、阿里云、华为云都布局了AI芯片。
此举意味着这种曾支持了著名 AI 围棋程序 AlphaGo 的强大芯片将很快成为各家科技公司开展人工智能业务的强大资源。 ? 2016 年 5 月，谷歌向世人发布了一款特别的机器学习专属芯片：张量处理器（Tensor Processing Unit，TPU），去年又推出了它的第二代产品（Cloud TPU）。 这是一种被认为比 CPU 、甚至 GPU 更加高效的机器学习专用芯片。 据谷歌称，第一代 TPU 仅能够处理推理任务，而第二代 TPU 还可以用于机器学习模型的训练，这个机器学习过程中重要的一部分完全可在单块、强大的芯片上进行。 在此之前，谷歌其实也并不是 TPU 的唯一使用者，美国出行服务公司 Lyft 在去年底开始参与了谷歌新型芯片的测试。
这次，是TPU团队。 他们的新公司（目前）名叫Groq，没有宣传资料，只在监管机构的文件中留下了一些痕迹。 外国记者说它没有网站，我们搜了一下，好像有，长这样： ? SEC文件还列出了Groq的三位主要成员：谷歌TPU团队的Jonathan Ross、Google X 前工程师Douglas Wightman、风投公司Social Capital创始人Chamath 不过，Groq的阵容可能远比SEC文件显示得豪华，Palihapitiya向CNBC透露，谷歌TPU团队最早期的10名成员，现在有8人在这家公司。 和TPU那篇论文的作者人数相比，8人也并不多。
划时代的TPU v4，碾压v3 TPU v4是谷歌在去年的I/O大会上推出的芯片。 在当时的开发者大会上，谷歌CEO Sundar Pichai花了1分42秒的时间介绍了这款芯片。 TPU v4是谷歌的第四代定制AI芯片，其算力是上一版本v3的两倍。性能相比前一代也提升了十倍多。 可以说，TPU v4芯片给谷歌谷歌云平台补上了十分关键的一环。机器学习的训练速度得以显著提升。 TPU是谷歌的第一批定制芯片之一，当包括微软在内的其他公司决定为其机器学习服务采用更灵活的FPGA时，谷歌很早就在这些定制芯片上下了赌注。 而且，TPU v4芯片每瓦特最大功率的峰值Flop还是上一代的3倍。 在去年推出这款芯片的时候，谷歌就承诺会在去年年底前推广。 谷歌表示，用户很喜欢新款芯片的性能和可扩展性，TPU v4的快速互连和优化的软件堆栈满足了他们的需求。客户可以通过该芯片优良的架构构建各自的交互发展环境。
1 TPU分类和收费标准 1.1 分类和计费说明 地区 抢占式TPU Cloud TPU 美国 \$1.35/hour \$4.5/hour 欧洲 \$1.485/hour \$4.95/ hour 亚太区地区 \$1.566/hour \$5.22/hour 抢占式 TPU 是 Cloud TPU 在需要将资源分配给另一项任务时，可以随时终止（抢占）的 TPU。 抢占式 TPU 的费用要比普通 TPU 低廉得多。 TPU 以 1 秒钟为增量单位进行计费。 为了连接到 TPU，我们必须配置一台虚拟机（单独结算）。要注意的是虚拟机和TPU是分别计费的。 也就是说仅在启动 TPU 之后，Cloud TPU 的计费才会开始；在停止或删除 TPU 之后，计费随即停止。 抢占式 TPU 的费用是每小时 $1.35，而非普通 TPU 的每小时 $4.50。
扯了这么多，本帖只想弄清楚下面 WHAT-WHY-HOW 灵魂三问： WHAT：TPU 是什么？ WHY：为什么 TPU 在神经网络上有效？ HOW：怎么玩 TPU + Keras？ 1 WHAT TPU 是什么？ 最后看看专门为矩阵计算设计的 TPU？ 1.4 TPU TPU 是 google 专门为大型神经网络里面的大型矩阵运算而设计的，因此不是通用处理器。 之所以叫「脉动」，是因为在此结构中，数据一波一波地流过芯片，与心脏跳动供血的方式类似。 让我们看看一个脉动数组如何执行神经网络计算，即执行 Y = WX + b 的计算，其中 ? try block 里面分别检测出 TPU，并创建 TPU 分布式策略，然后用 keras_to_tpu_model 来将 model 装成 tpu_model。 之后就可以愉快的训练模型了。
重点在于全栈，包含四个部分： 一是Ascend (昇腾) ，AI IP和芯片，皆是基于达芬奇架构。芯片分为5个系列，Max、Lite、Mini、Tiny、Nano。 昇腾910：计算密度最大的单芯片 在“达芬奇计划”中预热已久的华为自研云端芯片，现在终于暴露在聚光灯之下了。 徐直军说：“外界一直在传华为在研发AI芯片，今天我要告诉大家：这是事实！” ? 芯片的性能怎么样？华为和友商对比了一下。这场battle的参赛选手包括谷歌TPU v2、谷歌TPU v3、英伟达 V100和华为的昇腾910。 Naive，徐直军这次带来的，还有一张部署在边缘设备的芯片。 “这是一款极致高效计算低功耗的AI SoC。”徐直军这样说，从西服里掏出来一个芯片。 相比昇腾910，边缘系列的昇腾芯片用武之地要亲民得多，智能手机、智能附件、智能手表等边缘设备，都是边缘系列的昇腾芯片的容身之所。后续，华为还将推出一系列AI产品。 ?
Jeff Dean是最早意识到谷歌需要自己的专用人工智能芯片的人之一。右边是谷歌自己研发的专用芯片TPU。 来源：Ryan Young/NYT 谷歌在去年I/O大会上推出了自己的AI芯片——张量处理器TPU（第一代）。 在第二代TPU里，每个TPU都包含了一个定制的高速网络，构成了一个谷歌称之为“TPU舱室”（TPU POD）的机器学习超级计算机。 另外还有 IBM 的类脑芯片 TrueNorth。当然还有本文开头讲到的谷歌 TPU。 Amir表示，以谷歌TPU为代表的AI专用芯片“优势只是暂时的”，英特尔正在开发比TPU第二代更好的芯片。
月石一 发自 凹非寺 量子位 报道 | 公众号 QbitAI 设计一块AI芯片有多难？ 这么说吧，围棋的复杂度10360，而芯片则是102500，你感受一下…… ? △围棋的复杂度 一般来说，工程师们设计一块芯片，少则需要几周，多则好几个月。 现在，AI生产力来了！ AI自己动手，竟然用6小时就设计出一块芯片。 最近，这项谷歌的研究登上了Nature杂志。 ? 布局时间缩短数倍 小小的一块芯片包括了数十亿个晶体管，由它们组成的数千万个逻辑门就是标准单元，此外还有数千个存储块，称为宏块。 确定它们的位置，也就是布局规划，对芯片设计至关重要。 △人类设计和AI设计芯片的平面图（灰色块为宏块） 完成整个布局，则要花费数周甚至数月。 现在，谷歌的研究人员提出了一种具有泛化能力的芯片布局方法。 谷歌表示， 这一方法适用于任何类型的芯片。 目前已经被用于生产下一代Google TPU（加速器芯片）。 ?
1 TPU分类和收费标准 1.1 分类和计费说明 地区 抢占式TPU Cloud TPU 美国 $1.35/hour $4.5/hour 欧洲 $1.485/hour $4.95/hour 亚太区地区 $1.566/hour $5.22/hour 抢占式 TPU 是 Cloud TPU 在需要将资源分配给另一项任务时，可以随时终止（抢占）的 TPU。 抢占式 TPU 的费用要比普通 TPU 低廉得多。 TPU 以 1 秒钟为增量单位进行计费。 为了连接到 TPU，我们必须配置一台虚拟机（单独结算）。要注意的是虚拟机和TPU是分别计费的。 也就是说仅在启动 TPU 之后，Cloud TPU 的计费才会开始；在停止或删除 TPU 之后，计费随即停止。 = tpu.rewrite(axy_computation, inputs) tpu_grpc_url = TPUClusterResolver( tpu=[os.environ['TPU_NAME
谷歌在会上发布了两款AI硬件：售价仅千元搭载着TPU的开发板；可以为Linux机器学习推理加速的计算棒。它俩取代软件成了本次发布会的主角。 ? 发布会主角Coral Coral开发板（Coral Dev Board）是一款售价150美元（折合人民币约1000元）的小型计算机，具有可拆卸的模块化系统和一个定制的TPU芯片，类似于树莓派。 ? Coral中的Edge-TPU尺寸大约只有一枚硬币的1/4，拥有1GB的LPDDR4内存和8GB的eMMC存储，安装Mendel版Linux或者Android，可以进行本地的离线运算。 ? 同时，谷歌还发布了一款Coral USB加速器，体内同样包含一颗Edge TPU，可以在任何64位ARM或x86平台的Debian Linux上运行。 ? 经过TF Lite的优化后，设备在CPU上的性能达到原来的1.9倍，在Edge TPU上的性能最高提升了62倍。 ?
物联网设备身份认证（IoT TID）为客户提供多安全等级、跨平台、资源占用少的物联网设备身份认证服务。通过控制台全流程可视化配置，帮助客户快速对接 TID 设备身份认证服务，全面提升各种物联网设备接入认证与数据的安全性……
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
即时通信 IM
网站备案
对象存储
实时音视频
