(图解)神经网络的复兴:重回风口的深度学习

2012年,「GPU+深度学习」真正引爆革命火花

由于多层神经网络的计算量庞大、训练时间过长,常常跑一次模型就喷掉数周、甚至数月的时间,2006年该时也仅是让学界知道:「深度神经网络这项技术是有可能实现的」而已,并没有真正火红起来。

真正的转折点,还是要到2012年——那年10月,机器学习界发生了一件大事。

还记得我们在【(图解)人工智能的黄金年代:机器学习】一文中提过的ImageNet吗?美国普林斯顿大学李飞飞与李凯教授在2007年合作开启了一个名为「ImageNet」的项目,他们下载了数以百万计的照片,供机器从图像资料中进行学习。每年史丹佛大学都会举办ImageNet图像识别竞赛,让各家企业或机构测试系统的效能极限,堪称机器学习界一大盛事。

以往无论是浅层、还是深度学习的机器学习模型,都是采用CPU进行运算。2012年10月,Hinton的两个学生使用辉达(NVIDIA)出产的GPU、加上深度学习模型 (他们采用了专做图像识别的卷积式神经网络CNN),一举拿下ImageNet的冠军,正确率更超过第二名将近10%。有兴趣的读者可以参考由Hinton撰写的这篇论文《Imagenet classification with deep convolutional neural networks》,内文详细介绍了相关模型与比赛结果。

看到此情此景,大家都疯了,NVIDIA也疯了。没想到采用GPU运算的深度学习能有如此杀伤力强大的效果,运算速度是CPU的70倍以上,终于让深度学习真正火爆起来。2012年之后的ImageNet竞赛,大家都纷纷采用GPU做运算;2015年,Microsoft更是以3.5%的错误率赢得冠军,超越人类肉眼5%错误率的辨识能力。

为什么GPU运算会比CPU更强呢?GPU不是用来处理图形运算的吗?由于图形运算需要大量的矢量和矩阵运算,这正是平行架构的GPU最擅长的事情,而深度学习正是使用大量的矢量和矩阵进行运算;CPU执行矩阵运算的速度则远远不及GPU。

事实上,CPU是用来进行更通用的运算,需要协调硬软件资源;而GPU计算是用于增大计算的吞吐量。CPU需要很快的将资料一个个的依次处理完毕,降低延迟时间;而GPU到存储器的抓资料回来运算的速度比CPU慢很多,所以GPU计算都是希望一下子有很多数据可以计算,然后一口气将这些数据计算光。

深度学习矩阵运算+大数据平行运算=首选GPU

注:流言终结者(Mythbuster)的两位主持人Adam Savage和Jamie Hynema曾以特效装置示范CPU和GPU平行运算的效能差异(还被NVIDIA官方频道贴出来lol),推荐读者可以看一看,好笑又好懂。

风口上的NVIDIA公司:从游戏、VR到深度学习

NVIDIA一直想从设计图形处理器的传统硬件公司转型、成为大规模运算服务器和整合软件公司;因而在深度学习爆红之前,早已推出了GPGPU(通用图形处理器)。

我们之所以能用CPU做运算,是因为CPU有编译器(Compiler)这样的设计,能让工程师写完程序后、经过编译器的转译、成为CPU看得懂的机械码。然而一般GPU并没有类似的设计,因此工程师难以直接写程序让GPU来运算

CUDA——NVIDIA成为深度学习运算必用硬件的关键。

2006到2007年间,NVIDIA发表了一项全新的运算架构,称为CUDA;这也是NVIDIA正式给GPGPU的名称。使用者可以撰写C语言、再透过CUDA底层架构转译成GPU看得懂的语言。这也是自GPU可以拿来做大规模运算的概念推出之后,首次可以让人使用C语言来运用GPU蕴藏已久的强大运算能力,故NVIDIA从GeForce 8系列之后的显示卡全开始支援CUDA技术。

GPGPU的兴起,大概就是CUDA带起来的;而CUDA的成功,更直接导致了深度学习的运算全部都使用NVIDIA家的GPU。这种惊人的影响力,不论是深度学习、机器学习、自动车、虚拟实境(VR)、电竞游戏,每一项都跟NVIDIA习习相关。Tesla创办人Elon Musk更是亲自写Email,向NVIDIA执行长黄仁勋表达希望成为第一个拿到最新AI GPU的人。

去年,NVIDIA在其每年举办的GTC大会上(GPU Technology Conference,俗称老黄的传教大会),执行长黄仁勋强调NVIDIA在人工智能领域上的深耕、能提供最完整的软硬件解决方案。整场大会以深度学习为重要主角,同时宣布推出全世界第一个专门用来运算深度学习的超级计算机——DGX-1服务器,售价129,000美金。

搭上人工智慧热潮,NVIDIA从12月开始连续9个交易日创历史收盘新高、今年迄今涨幅高达255.95%。MarketWatch报导,NVIDIA是今年迄今标准普尔500指数表现最好的成分股。

颠覆性的第四次工业革命:深度学习

如今深度学习技术对各大产业领域都将产生深远的影响,堪称第四次工业革命。从天气预测、医疗影像辨识、金融股市预测、电信商客户流失率预测、网络异常入侵侦测、智慧交通…无不采用深度学习技术。

基于深度学习方法,Facebook的DeepFace项目的人脸识别技术的识别率已经达到了97.25%,接近人类的97.5%的识别率,几乎可媲美人类。

Google现在则有超过1000个深度学习产品,包括地图、GMAIL、自动翻译、自动车、Android等。2013年7月,Google收购了DNNresearch公司,其背后创办人正是大名鼎鼎的深度学习之父Hinton教授;2014年1月,Google以逾6亿美元价码收购英国人工智慧公司DeepMind。

去年(2016)三月,由DeepMind团队所打造的AlphaGo围棋系统在击败的南韩围棋好手李世石之后声名大噪;随后Google也利用DeepMind的深度学习技术,把各资料中心的用电效率提高15%、成功让其庞大的资料中心冷却用电量减少了40%。

深度学习能推广应用的产业范畴非常的多,各家科技公司更是摩拳霍霍、无不想抢进最新发展。在人工智能领域中,目前领先的四大巨头分别为Google、Microsoft、Facebook与百度(Baidu);尤其在语音识别和图像辨识上,每个月都可以看到这四家公司公布新的技术发展。每分每秒,AI巨头们都在使用深度学习改变你我的生活。

当然你可能会想:说了这么多、什么机器学习、深度学习,还不是只有大公司玩得起。

2015年,约每22天就有一个深度学习的工具集(toolkit)被发布出来。深度学习正从高冷的数学模型、逐渐迈向黑盒子的过程。这是什么意思呢?

以网页开发来比喻——20年前架网站,工程师得用Perl、C++写CGI、了解TCP/IP标准、Solaris服务器、Oracle数据库;简单来说,写网页是一个具备高度Domain-knowhow的活儿。然而现在不需要了解底层架构,用Ruby on Rails、Bootstrap等框架,轻轻松松就能兜一个网页出来。市面上随意可见「1天教你学会架站」之类的书籍。

同样地,机器学习和深度学习模型在目前已经是一个封装地很好的黑盒子;使用者只要下载Package、透过Tensorflow、Caffe等开源平台Toolkit、调一下 API,把资料丢进去,就能神奇地完成某个任务。即使不了解背后的数学模型,仍然可以很轻松地使用深度学习做数据分析。

最近在日本就有个有趣的案例——小池诚原本在车厂当工程师,一年前辞去工作回到老家帮父母经营小黄瓜农场。农场并不大,然而小黄瓜分类的工作却让他吃了不少苦头。

小池诚不懂深度学习的数学模型,但透过TensorFlow平台、他成功利用深度学习来为自家的小黄瓜进行图像辨识和自动化分类。

你能想象在你家的农场使用深度学习技术吗?或许就像使用Excel做数据分析一般,在未来,人人都能轻易地使用深度学习模型来跑海量数据。

人工智能有可能取代人类吗?

在本篇系列的最后,让我们来讨论一下这个恒久不变的问题。

问题1. 人工智能有可能毁灭人类?

在许多科幻小说中,屡见不鲜人工智能程序透过自我学习,最终逐渐统治世界的故事。既然机器学习能自行从历史资料中学会技能,目前人工智能的技术发展有可能导致这种情况发生吗?会导致强人工智慧(Strong A.I.)的出现吗?

机器学习算是弱人工智能

目前人工智能的自我学习还是限定在人们指定的方式、只能学习解决特定的问题,比如说AlphaGo不能直接去下象棋,仍然不是通用的智慧、或能理解「下棋」的意义,对于AlphaGo来说只是跑完一个运算模型。

资料清整仍是机器学习的关键环节

还记得我们提过,机器要能从海量资料中挖掘出规律,必须经过资料清整 (Data Cleaning)的过程吗?资料科学家得为系统输入规整化的训练资料,格式要求相当严格。这也意味着即使把人工智能程序连到网上,它也不能直接对于网络上格式不一的「肮脏」资料进行学习。

问题2. 机器学习和深度学习是不是没有达不到的事?

这个问法或许可以改成:什么是机器学习能解的问题、什么是机器学习不能解的问题?

机器学习重预测、较缺乏解释现象的能力

机器学习是一门结合了机率学与统计学的学科,早期做机器学习的学者几乎都是统计学家,直到后来有计算机科学背景的研究人员进来、结合统计和资工两方的Domain-Knowledge,成为一个叫机器学习的新门派。因此无论是线性回归、Sigmoid函数逻辑回归、SVM、RBM…等模型,事实上都是统计学模型。

既然如此,统计和机器学习有什么差别呢?他们想要解决的问题是不一样的——传统统计更在乎解释能力(explanation power),机器学习则在乎预测能力(prediction power)。目标不一样,发展出的建模方法就不一样。

机器学习就像一个黑盒子,可能跑出了非常精准的预测结果、却不明白机器是透过什么样的过程、用什么方法预测出这个答案的。

对于统计学家而言,关心的问题则是:我的模型到底能不能解释整个母体的现象;如果预测错误率更低、但没办法解释原因,就会放弃该模型。若目标在于解释的话,不用做出一个「预测准到不行」的模型,但估计式要稳健(robust)。

你可能会想:预测准确不是比较重要吗?为什么要在乎解释能力呢?在发展科学理论的时候,若不解释、就算预测的再准,我们还是不能理解一个现象为什么会发生。比如说,我们可以透过机器学习模型很准确地预测点击率,但我们仍不知道是什么因素影响CTR,如此一来就很难去改良产品设计,就算将点击率预测地很准也没用。

因此在许多深度学习研究论文中,可以发现其理论都不太「漂亮」——理论不甚完备、但实务上的预测结果跑的不错。

机器学习需要大量的历史资料

既然说机器学习需要过去的资料来学会技能、并透过新进资料逐步优化,因而对于深度学习模型来说,十万笔资料都是小数字。但若是没有历史资料呢….?

比如我们可以从一个消费者过去的购买资料中,精准预测到他会买产品A,然而在公司想贩售一款新产品B时,由于无法解释他为什么会买产品A,也没有产品B的历史资料、因此无法预测该消费者会不会买这款新产品。

况且对一般人而言,很难轻易达到数十万笔以上的资料量,如此使用Excel进行一般统计运算即可。进一步说,多数台湾企业的数据库老旧、许久没有维护更新,说要能拿出够「干净」的海量数据来进行分析,也是颇为困难的事情。

针对上述问题,有时候用统计、另一种时候用机器学习模型。实务上,资料科学家会依据问题的类型和自身经验、考量后选择适当的工具。

大家对于人工智能、机器学习和深度学习有了更进一步的认识了吗?从人工智能、机器学习到深度学习,人工智能领域的发展日新月异;深度学习的浪潮方引爆,未来世界的运作方式将会如何受变化呢?就让我们拭目以待吧。

原文发布于微信公众号 - 吉浦迅科技(gpusolution)

原文发表时间:2017-02-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【Nature】拥抱深度学习,不要过多苛求黑箱

【新智元导读】Nature 昨日刊发新闻特写,针对AI,特别是深度学习中的黑箱问题的来龙去脉进行分析。AI 中神经网络深度学习方法的黑箱问题是科学家们一直在尝试...

43760
来自专栏AI研习社

如何看待「机器学习不需要数学,很多算法封装好了,调个包就行」这种说法?

不抖机灵,想从接触过机器学习学术圈但已投身工业界的角度来回答。 我认为:大部分机器学习从业者不需要过度的把时间精力放在数学上,而该用于熟悉不同算法的应用场景和掌...

386100
来自专栏数据派THU

谷歌大脑2017技术研究总结 | Jeff Dean执笔(附论文、 数据集)

本文经AI新媒体量子位(公众号ID:qbitai)授权转载,转载请联系出处 本文长度为8311字,建议阅读10分钟 Jeff Dean回顾了谷歌大脑团队过去一年...

45250
来自专栏数据派THU

清华大学张长水教授:机器学习和图像识别(附视频、PPT下载)

本篇干货整理自清华大学自动化系教授张长水于2018年4月27日在清华大学数据科学研究院第二届“大数据在清华”高峰论坛主论坛所做的题为《机器学习和图像识别》的演讲...

50830
来自专栏新智元

红色预警尚未结束,北京启用机器学习预测空气污染

【新智元导读】今年冬天北京启用雾霾预警系统,将传统的大气化学物理模型与机器学习相结合,力求在更短的时间内做出更精确的预测。12月16日启动的今年首次空气重污染红...

39750
来自专栏量子位

吴恩达对话LeCun:神经网络跌宕四十年

最近,这位AI领域的传奇大牛,接受了另一位大牛吴恩达的视频专访。在这次对话中,LeCun回顾了卷积神经网络、反向传播的历史,以及他如何从一个默默无闻的“法国小孩...

12520
来自专栏AI科技大本营的专栏

黑人小哥四个月速成全栈机器学习全程解密

程序员转型AI、机器学习需要学多久?1年?3年?这是绝大多数考虑转型的人,从一开始就要认真思考的问题。光说不练在这里没用,咱们还是要看真实的故事,来看看黑人小哥...

1.8K10
来自专栏京东技术

AAAI 2018快报:京东公布基于计算机视觉的电商推荐技术

AAAI会议(Associationfor the Advancement of Artificial Intelligence)是人工智能领域的顶级学术会议,...

39860
来自专栏新智元

【机器学习圈子里的裙带关系】学术“朋友圈”罪与罚

来源:Reddit 作者:闻菲 【新智元导读】或许你以为搞学术做研究可以不受世俗干扰,殊不知有人在的地方就有江湖。在学术圈,跟对人或许跟做好事情一样重要...

32370
来自专栏智能计算时代

神经网络计算爆炸

深度挖掘的公司开始为特定应用定制这种方法,并花费大量资金来获得初创公司。 具有先进并行处理的神经网络已经开始扎根于预测地震和飓风到解析MRI图像数据的许多市场,...

34050

扫码关注云+社区

领取腾讯云代金券