专栏首页量子位伯克利用120万美元设备24分钟训练ImageNet,刷新Facebook成绩

伯克利用120万美元设备24分钟训练ImageNet,刷新Facebook成绩

李林 编译整理 量子位 报道 | 公众号 QbitAI

最近,加州大学伯克利分校的研究人员用120万美元的设备,24分钟完成了ImageNet的训练。

在最近公布的论文ImageNet Training in 24 Minutes中,伯克利的Yang You、James Demmel、Kurt Keutzer、TACC(德克萨斯高级计算中心)的Zhao Zhang、和加州大学戴维斯分校的Cho-Jui Hsieh展示了他们的最新成果。

他们在论文中说,目前快速训练深度神经网络(DNN)所遇到的瓶颈,主要是批次(batch)过小。比如说常用的批次大小是512,这就很难充分利用很多处理器的性能。

但是,如果将批次增大,通常会导致结果准确率明显降低。

而伯克利的研究人员在这篇论文中,使用了You, Gitman, Ginsburg, 2017提出的LARS(Layer-wise Adaptive Rate Scaling)算法,将批次大幅度增大,达到比如说32k的大小。

通过这种方法,他们只用了24分钟,就在ImageNet上完成了100个epoch的AlexNet训练,完成90个epoch的ResNet-50训练则用来1小时。

这个成绩,和Facebook之前(Goyal et al 2017)达到的一样,但是,伯克利团队的设备预算只有120万美元,而Facebook的设备花了410万美元。

附上文提到的几篇论文地址:

ImageNet Training in 24 Minutes arxiv.org/abs/1709.05011

提出LARS的You, Gitman, Ginsburg, 2017 https://arxiv.org/abs/1708.03888

Facebook的1小时训练ImageNet https://arxiv.org/abs/1706.02677

这篇论文昨天在Twitter上引发了一轮关注和讨论,不少人吐槽“只有120万美元”是怎样一种炫富。

不过,谷歌大脑的David Ha解释说,120万美元看起来很多,但是和昂贵的科学家、工程师团队比起来,对企业来说简直太便宜了。

这个ImageNet Training in 24 Minutes的论文标题,也招来了不少质疑。Twitter网友们纷纷认为它虽然说不上错,也确实是有点标题党。

特斯拉AI总监Andrej Karpathy说,直接在标题上写个24分钟过于简略了,作者们应该明确指出24分钟是AlexNet的时间,而不是ResNet-50,他们训练ResNet-50并没有比Facebook更快。

David Ha紧接着补刀说这种做法有点dishonest。

论文第一作者Yang You在twitter上回应了这些质疑。他说,如果论文中有错误,他们在更新下一版时会作出修改,120万美元,是按英特尔、英伟达设备的官方价格算出来的,这两家都是他们实验室的赞助商。

而对关于论文标题直接写了个24分钟,没有提及这是AlexNet的训练结果一事,Yang You回应说,其实AlexNet比ResNet更难规模化,comm/comp比值太高了。在这项工作之前,人们最高只能把AlexNet的批次大小扩大到1024。

?最后,附David Ha为此论文所作的诗:

I wanna be a billionaire so frickn’ bad Buy all the GPUs I never had I wanna be on cover of Forbes magazine Smiling next Oprah and the Queen

本文分享自微信公众号 - 量子位(QbitAI),作者:专注报道AI

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-09-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 东芝新传感器为廉价激光雷达铺平道路:普通镜头即可接入,探测能力提升4倍,最大有效距离可达200米

    在激光雷达的赛道内,搞出了新型传感器,引得IEEE旗下媒体评价:进一步为廉价激光雷达铺平道路。

    量子位
  • ImageNet这八年:李飞飞和被她改变的AI世界

    李杉 安妮 编译自 QZ 量子位 报道 | 公众号 QbitAI ? 2006年,李飞飞开始考虑一个想法。 当时刚刚出任伊利诺伊大学香槟分校计算机教授的她发现,...

    量子位
  • ICLR19论文:口哨声变交响乐,神经网络一键改变音乐风格,LeCun推荐 | 已开源

    它将海顿的弦乐四重奏转换成巴赫的大合唱、贝多芬的钢琴曲。让经典的吉他演奏,摇身一变成了优雅的莫扎特交响乐。

    量子位
  • 被做空五次的跟谁学,到底跟谁有仇?

    在瑞幸惨遭做空自爆财务造假之后,众多做空机构像饿狼一样死死盯着小绵羊般瑟瑟发抖的中概股,想尽办法找出漏洞,争做合格的“空军”。

    金融外参
  • 张义飞: Container技术之cgroup入门

    Cgroups 是 control groups 的缩写,是 Linux 内核提供的一种可以限制、记录、隔离进程组(process groups)所使用的物理资...

    Linux阅码场
  • 福利来一枚:虚拟云服务器

    逆天博客所作的服务器还有1天就过期了,发挥点余热,送个没有部署过的同志练练手(本来准备还有7天的时候放出来的,忘记。。。) ? 说来惭愧,博客开了一年了,没怎么...

    逸鹏
  • 在 k8s集群中安装 metrics-server

    keepyan
  • Ajax发送PUT/DELETE请求时出现错误的原因及解决方案

    大家应该都知道.在HTTP中,规定了很多种请求方式,包括POST,PUT,GET,DELETE等.每一种方式都有这种方式的独特的用处,根据英文名称,我们能够很清...

    roobtyan
  • Python Socket传输图片

    我们在传输数据时,经常使用tcp/ip的服务器和客户端模型,很多设备也经常将网口作为硬件接口预留出来。可以使用tcp/ip传输图像、大的文件等,如果图片过大,还...

    用户5908113
  • Js递归

    任我行RQ

扫码关注云+社区

领取腾讯云代金券