腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
机器学习算法工程师
机器学习、深度学习、数据挖掘等人工智能领域的技术实战干货文章,这里都有!
专栏作者
举报
197
文章
321411
阅读量
118
订阅数
订阅专栏
申请加入专栏
全部文章(197)
编程算法(69)
机器学习(56)
其他(52)
深度学习(34)
神经网络(21)
python(12)
tensorflow(8)
人工智能(8)
卷积神经网络(7)
决策树(6)
监督学习(5)
https(5)
html(4)
网络安全(4)
线性回归(4)
scikit-learn(4)
数据挖掘(3)
github(3)
http(3)
强化学习(3)
推荐系统(3)
大数据(3)
NLP 服务(2)
自动驾驶(2)
go(2)
opencv(2)
keras(2)
无监督学习(2)
机器人(2)
windows(2)
人脸识别(1)
java(1)
c 语言(1)
c++(1)
css(1)
打包(1)
机器翻译(1)
开源(1)
分布式(1)
spark(1)
无人驾驶(1)
图像识别(1)
二叉树(1)
pytorch(1)
kernel(1)
迁移学习(1)
数据处理(1)
数据结构(1)
max(1)
min(1)
搜索文章
搜索
搜索
关闭
分布式TensorFlow入门教程
分布式
tensorflow
深度学习
大数据
神经网络
深度学习在各个领域实现突破的一部分原因是我们使用了更多的数据(大数据)来训练更复杂的模型(深度神经网络),并且可以利用一些高性能并行计算设备如GPU和FPGA来加速模型训练。但是有时候,模型之大或者训练数据量之多可能超出我们的想象,这个时候就需要分布式训练系统,利用分布式系统我们可以训练更加复杂的模型(单机无法装载),还可以加速我们的训练过程,这对于研究者实现模型的超参数优化是非常有意义的。2017年6月,Facebook发布了他们的论文Accurate, Large Minibatch SGD:Training ImageNet in 1 Hour,文中指出他们采用分布在32个服务器上的256块GPUs将Resnet-50模型在ImageNet数据集上的训练时间从两周缩短为1个小时。在软件层面,他们使用了很大的minibatch(8192)来训练模型,并且使学习速率正比于minibatch的大小。这意味着,采用分布式系统可以实现模型在成百个GPUs上的训练,从而大大减少训练时间,你也将有更多的机会去尝试各种各样的超参数组合。作为使用人数最多的深度学习框架,TensorFlow从version 0.8开始支持模型的分布式训练,现在的TensorFlow支持模型的多机多卡(GPUs和 CPUs)训练。在这篇文章里面,我将简单介绍分布式TensorFlow的基础知识,并通过实例来讲解如何使用分布式TensorFlow来训练模型。
机器学习算法工程师
2018-07-27
966
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
立即发文
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档