黄仁勋：透过 GPU 加快人工智能运算速度是崭新的运算模型

Yann LeCun 邀请我出席本周在纽约大学举行的首届“人工智能的未来”学术研讨会，人工智能领域的多位重量级人士齐聚一堂，讨论这项技术的现况及未来发展。我在此想要说的是，深度学习这项新的软件模型为何需要搭配新的运算模型；人工智能研究人员采用 GPU 加速运算技术的原因；随着采用速度快速增加，NVIDIA 不断致力于推动人工智能领域的发展，以及在经过这些年后，人工智能蓬勃发展的原因。

大爆炸般的发展

在设计计算机的悠久历史过程中，人工智能是最后一个待开发的领域。在过去五十年间，计算机科学家致力打造能像我们一样理解四周环境、了解我们的语言、从各种例子进行学习的智慧机器。计算机科学家集合 Yann LeCun 的卷积神经网络、Geoff Hinton 的反向传播法，以及 Stochastic 的梯度下降（Gradient Descent）训练法，加上吴恩达（Andrew Ng）大规模应用 GPU 来加快深度神经网络（DNNs）的运算速度，促进“深度学习”这项现代人工智慧技术出现大爆炸般的发展。

当时 NVIDIA 忙着促进 GPU 加速运算技术的研发脚步，这项新的运算模型大量采用平行图形处理器，以平行运算方式加快应用程序的处理速度。科学家和研究人员纷纷使用 GPU 来进行分子等级的模拟运算内容，以判断能挽救生命之药物的效果、以 3D 立体方式来呈现人体器官（藉由微量剂量的计算机断层扫描结果进行重建），或是模拟银河星系以发现宇宙运行的规则。一名使用 GPU 进行量子色动力学模拟内容的研究人员对我说：“凭借 NVIDIA 的出色作为，让我在有生之年能成就毕生事业。”这真是莫大的鼓励。我们的使命就是让人们有能力去开创更美好的未来。NVIDIA 的 GPU 让人人都能享有超级计算机般的运算能力，而研究人员如今已经发现它的威力。

2011年，人工智能研究人员发现 NVIDIA GPU&Google 的“Brain”计划创下极为惊人的成果，通过观看 YouTube 上影片的方式学会如何辨识猫和人，但背后需要使用 Google 的一处巨型资料中心，在多具服务器里安装 2,000 颗 CPU，并且设法冷却这些 CPU。只有极少数单位拥有这般规模的计算机。再来就是进入 NVIDIA 与 GPU 的时期。NVIDIA 研究中心的 Bryan Catanzaro 与史丹佛大学的 Andrew Ng 团队合作，将 GPU 用在深度学习上。12 颗 NVIDIA GPU 的深度学习运算实力相当于 2,000 颗 CPU 的表现。纽约大学、多伦多大学及瑞士人工智慧实验室的研究人员使用 GPU 加快其 DNNs 的运算速度，而大爆炸时期就此揭开序幕。

深度学习技术施展魔法

多伦多大学的 Alex Krizhevsky 是2012年 ImageNet 计算机影像辨识竞赛(1)的冠军，他的计算机将计算机视觉专家以人工方式编写出的软件狠狠甩在脑后。Krizhevsky 跟他的团队并未编写任何计算机视觉程序码，而是使用深度学习技术让计算机自行学习辨识影像。他们设计一个名为“AlexNet”的神经网络，用上百万个范例影像来训练它，这得在 NVIDIA GPU 上运行数兆次的数学运算作业。Krizhevksy 的 AlexNet 打败了人工编写出最优秀的软件。

人工智能的竞赛战火已点燃，2015年达到另一项重大里程碑。

Google 与微软运用深度学习技术，在 ImageNet 竞赛(2、3) 里击败人类的辨识成绩，并且他们击败的对象不是人工编写的程序，而是真人。不久后，微软与中国科学技术大学宣布所开发的 DNN 达到大学毕业生的智商水平(4)。百度也宣布一项称为“Deep Speech 2”的深度学习系统，使用单一算法来学习中英两种语言(5)。2015年 ImageNet 竞赛的优胜者皆是使用深度学习技术、在 GPU 加速深度神经网络上运行，其中多项还击败人工辨识的准确度。

2012年，深度学习技术打败了人工编写的软件，而2015年时，深度学习技术在感知理解能力方面达到“超越人类”的水平。

用于新软件模型的全新运算平台

在计算机程序里包括了大部分是依顺序执行的指令，而深度学习是一项根本上截然不同的崭新软件模型，以平行方式训练数十亿个软件神经元和数兆个链结。运行 DNN 算法且从范例中学习，计算机会编写出自己的软件。这项与众不同的软件模型需要一项新的计算机平台，以提高其运算效率。

加速运算是一项理想的方法，GPU 也是最速配的处理器。英国著名《自然》杂志日前提出早期深度学习技术有所进步，原因在于“出现便于编写程序的高速图形处理单元（GPU），让研究人员将训练神经网络的速度提高10到20倍”(6)。集合效能、程序设计生产力及开放存取性这些因素，创造出新的运算平台。

效能——NVIDIA GPU 在平行处理工作负载方面拥有优异表现，可将 DNNs 的速度提高10到20倍，将个别反覆训练的周期从数周减少到数日。我们并不以此而自满。NVIDIA 与人工智能开发人员合作，不断改善 GPU 的设计方式、系统架构、编译器和算法，不过三年的时间就将训练深度神经网络的速度提高50倍，比摩尔定律所提出的时间还要快。我们期望在未来几年内能将速度再提高10倍。

可编程性——产学界持续以爆炸性的速度提出创新的人工智能技术，在可编程性和开发人员生产力方面皆呈现出无比灿烂的局面。NVIDIA CUDA 平台的可编程性及丰富性让研究人员能快速提出创新项目，打造 CNNs、DNNs、深度初始网络、RNNs、LSTMs 及强化学习网络等新的配置内容。

可存取性——开发人员无论何时何都想创作，也希望将成果部署到各个地方。从全球各地的每部 OEM PC；无论是桌机、笔电、服务器或超级计算机，还是 Amazon、IBM 及微软云端环境，开发人员都可以发现NVIDIA GPU 。所有重大人工智能发展架构皆采用 NVIDIA GPU 来加快运算速度，从网络公司、研究单位到新创公司。无论喜好使用哪一种人工智能开发系统，透过 GPU 均能提高运算速度。我们也为每种尺寸的计算机开发 GPU，让各类智慧机器都能享受到 DNNs 的能力，象是 GeForce 用于 PC、Tesla 用于云端和超级计算机、Jetson 用于机器人和无人机，而 DRIVE PX 则是用于车辆，这些 GPU 皆采用相同架构，能加快深度学习的运算速度。

每个产业皆想要智慧

百度、Google、Facebook、微软是第一批将 NVIDIA GPU 用在深度学习方面的业者，这项人工智能技术用于回应你说出的话、将口语或文字翻译为另一种语言、辨识影像并自动加上标签，以及按照我们喜欢和关心的项目，推荐新闻、娱乐跟产品。产业界里的业者无论新旧，竞相运用人工智能技术来开发新产品和服务，或是改善营运方式。只不过两年的时间，与 NVIDIA 合作进行深度学习企划案的业者数量成长近35倍，超过3,400家。医疗、生命科学、能源、金融服务、汽车、制造及娱乐等产业透过从海量资料中窥见未来趋势，而从中获益不少。再加上 Facebook、Google 与微软开放自家的深度学习平台供众人使用，采用人工智能技术的应用项目将会快速扩散，《Wired》杂志据此预告“GPU 的兴起”一事。

自动驾驶车。无论是为驾驶人增添一名拥有超凡能力的副驾驶、为个人行动服务带来革命性变化，或是减少对市区杂乱无章的停车场之需求，自动驾驶都可为社会带来好处。驾车这件事相当复杂，时常都会发生意外，冷冰冰的雨将道路变成溜冰场、前往目的地的道路封闭，一名孩童突然冲出巷弄出现在车头，你无法制作出一套能预测自动驾驶会遇到之各种路况的软件，而那正是深度学习的价值所在；它会学习、调整和改善。我们正在开发一套称为 NVIDIA DRIVE PX 的自动驾驶车用端对端深度学习平台，涵括从训练系统到车内人工智慧计算机的每个层面，而成果十分令人兴奋。未来车内搭载超越计算机副驾驶和无人交通车，再也不是只会出现在科幻作品里的剧情。

机器人。首屈一指的知名机器人制造商 FANUC，日前展示一具组装线机器人学会从篮子里“捡取”任一方向的物体。这具采用 GPU 技术的机器人从尝试及错误中汲取经验，而其中的深度学习技术是由日本 Preferred Networks 公司所开发，《华尔街日报》透过《Japan Seeks Tech Revival with Artificial Intelligence》这篇专文介绍了这家公司。

医疗与生命科学。深度学习基因（Deep Genomics）技术运用以 GPU 为基础的深度学习技术，来了解遗传变异如何会产生疾病。Arterys 运用以 GPU 为基础的深度学习技术来加快分析医疗影像的速度，这项技术会用在 GE Healthcare MRI 机器上以协助诊断心脏相关疾病。Enlitic 运用深度学习技术来分析医疗影像来找出肿瘤、近乎看不到的破裂处及其它病况。

以上只是举出一些例子，未来尚有无数潜在应用情况。

通过 GPU 加快人工智能的发展脚步：全新的运算模型

在深度学习技术方面的突破性进展，为人工智慧的发展带来革命性的变化。搭载人工智能深度神经网络的机器，解决了对人类程序设计师而言过于棘手的问题。这些机器从资料中学习经验，并且随着实际应用进行改善，就算不是程序设计师也能训练同一套 DNN 来解决新的问题。发展进度愈来愈快，采用数量愈来愈多，我们认为这也会为社会带来极大的影响力。一项日前由 KPMG 进行的研究预测在20年间，计算机化驾驶辅助技术将有助于减少八成的行车意外事件，相当于一年可挽救近百万人的生命，而深度学习人工智能将会是其中的关键技术。

深度学习对于计算机产业也会带来极大的影响性。深度学习是一项从根本上来说无比新颖的软件模型，我们需要新的运算平台来执行它，这个运算架构要能有效执行程序设计师的指令，并且大规模同时平行训练深度神经网络。我们确信 GPU 加速运算架构正是最理想的工具，《科技新时代》（Popular Science）杂志日前称 GPU 是“现代人工智慧的骨干主力”，我们同意这句话。