Facebook新方法加速计算机视觉训练,120万张图只用1小时(附论文)

陈桦 编译自 Facebook 量子位出品 | 公众号 QbitAI

知乎上有个问题,大意是你在等待机器学习模型训练的时候,都做些什么。

Facebook今天在西雅图Data@Scale大会上公布的一篇新论文说,他们用不着花太长时间等待,在ImageNet -1k的120万张图片上完成训练,以前需要几天,现在只要1小时。

该公司的工程师Pieter Noordhuis分享了新发表的论文《准确、大规模的小批量SGD:在1小时内训练ImageNet》。这篇论文展示了,具有创新性的基础设计如何规模提高深度学习的效率。

论文作者包括贾扬清、何凯明等。

Paper下载链接: https://research.fb.com/wp-content/uploads/2017/06/imagenet1kin1h3.pdf

在Facebook人工智能研究院和应用机器学习团队的密切合作下,这篇论文描述了Facebook研究员如何将同样任务上的训练时间,从几天减少至1小时。

他们在试验中,用基于Caffe2的系统,以高达8192张图的minibatch大小,在256个GPU上用包含120万张图片的ImageNet -1k来训练ResNet-50,只花了1个小时,同时确保了准确性。

该团队使用Caffe2和Gloo库去实现合作通信(这两个库文件都已上传至Github),以及Facebook的下一代GPU服务器Big Basin。这一服务的设计已于今年早些时候提交给了“开放计算项目”。

凭借这些成果,机器学习研究员可以开展试验,测试假设,以及推动一系列有依赖关系的技术的发展,无论是有趣的头像滤镜,还是用于现实增强的360度视频。

Facebook的照片滤镜

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-06-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

干货 | 1400篇机器学习的文章中,这10篇是最棒的!

【导读】在过去的一个月中, 作者从近 1400 篇有关机器学习的文章中挑选了最有可能帮助职业生涯发展的 10 篇推荐给大家(入选比率为0.7%)。

1424
来自专栏机器之心

资源 | 让AI学会刨根问底和放飞自我,斯坦福最新问答数据集CoQA

作者:Siva Reddy、Danqi Chen、Christopher D. Manning

891
来自专栏人工智能头条

算法、应用与计算平台,讯飞百度阿里360的深度学习经

2794
来自专栏AI科技大本营的专栏

干货 | 1400篇机器学习的文章中,这10篇是最棒的!

【导读】在过去的一个月中, 作者从近 1400 篇有关机器学习的文章中挑选了最有可能帮助职业生涯发展的 10 篇推荐给大家(入选比率为0.7%)。

1072
来自专栏量子位

连AI都在看《英雄联盟》游戏直播

原作:Robert Hunt(FormDs创始人) 李林 问耕 编译整理 量子位 出品 | 公众号 QbitAI 打游戏和看人打游戏,都是一种乐趣。 最近,吃鸡...

3788
来自专栏ATYUN订阅号

【业界】是时候解决深度学习的生产力问题了

深度学习正在推动从消费者的手机应用到图像识别等各个领域的突破。然而,运行基于深度学习的人工智能模型带来了许多挑战。最困难的障碍之一是训练模型所需的时间。 ? 需...

3486
来自专栏数据派THU

独家 | 如何改善你的训练数据集?(附案例)

这张幻灯片是Andrej Karpathy 在Train AI 演讲的一部分,我很赞同它表达的观点。它充分体现了深度学习在研究和应用上的差异。学术论文几乎全部集...

1124
来自专栏专知

【下载】面向机器智能的TensorFlow实践书籍和代码

【导读】自2015年11月TensorFlow第一个开源版本发布以来,它便迅速跻身于最激动人心的机器学习库的行列,并在科研、产品和教育等领域正在得到日益广泛的应...

4488
来自专栏量子位

深度学习入门该用PyTorch还是Keras?热门公开课换框架背后的学问

李林 问耕 编译整理 量子位 出品 | 公众号 QbitAI ? 你知道fast.ai么? 他们以提供零基础的深度学习课程而闻名,宣称:只要你有高中数学基础、一...

3955
来自专栏机器人网

强化学习方法汇总,以及他们的区别

了解强化学习中常用到的几种方法,以及他们的区别, 对我们根据特定问题选择方法时很有帮助. 强化学习是一个大家族, 发展历史也不短, 具有很多种不同方法. 比如...

3174

扫码关注云+社区

领取腾讯云代金券