专栏首页技术随笔Machine Learning 硬件投入调研GPU分布式云硬件投入的建议参考服务器SpecReference

Machine Learning 硬件投入调研GPU分布式云硬件投入的建议参考服务器SpecReference

GPU

在HPC领域,GPU比CPU运算速度快是显而易见的。在此简单的调研了一下,如何挑选GPU。

[Tesla K40] Tesla系列是N厂专门为HPC退出的GPU产品,无视频输出,仅能做计算。系列型号有K20, K40, K80。其中K40是最强单芯产品,K80是双core。 从N厂给出的评测可以看出,在HPC计算中,K40的性能是CPU的10倍以上

CPU:12 核,E5-2697v2 @ 2.70 GHz。64 GB 系统内存,CentOS 6.2。GPU:单个 Tesla K80(启用 Boost)或单个 Tesla K40(启用 Boost) K40在amazon售价$3k,K80为$4k。K40国内应该在¥25k左右。 结论: 太贵,不实惠

[GeForce Titan X] Titan X号称是N厂“核弹”,GeForce最强显卡。Titan X的运算性能强于K40,但限制了双精度运算。 评测文章可参见: 深度信仰对决:TitanX和TeslaK40c对阵Caffe深度学习其结论是Titan X在运算性能上要比K40更高。 结论: Titan X的价格在¥8k左右,12G显存,性价比较高

[GTX 970] GTX系列是主流游戏显卡,目前算起来性价比比较高的是GTX970(~¥2500),CUDA数量是Titan X的一半,一般为4G显存。单从GPU来说,组3块显卡的机器比Titan X要更实惠,不过组多台机器分布式就不太划算,因为还要算上其他CPU主板电源一大堆,而且占地方。 结论: 可以在前期花比较少的钱达到不错的效果,后期不能大规模上

【Updated】 GTX1080 是16年新出的卡,5600一块,8G显存,速度比老Titan快30%,经济实惠。新Pascal架构Titan X是最好选择,9000+一块,但一直缺货。后期采购混合搭配新Titan X和GTX1080。

分布式

Jeff Dean在NIPS 2015的slides(Large-Scale Distributed Systems for Training Neural Networks)中讲到了TensorFlow在分布式上的性能提升情况。主要结论为: ImageNet Inception的训练使用50GPU,~40X提升 从描述来看,在几十个replica的规模下,基本上性能提升是线性的。 结论: 在调研阶段结束后,真正真正开始上真实场景时,组集群是非常有必要的

TF已经被人跑在了spark上,spark可以直接跑在云服务器上,所以使用云服务器也是一个选择。 不过目前个人认为云服务器并不是一个很划算的选择,有如下几个原因: 从CPU和GPU的运算性能来看,需要非常多的CPU才能达到一块GPU的性能,云主机在这方面算起来非常不划算 spark也是个规模比较大的项目,坑多,目前团队并没有太多实践积累,应尽量避免陷入处理各种spark的问题的循环中,更专注于DL本身。

另外,阿里云的提供了HPC云服务器,但价格较高,网页报价如下

结论: 使用云服务器搭建集群为时尚早,云HPC服务器太贵。

硬件投入的建议

硬件可以逐步升级

  • Step 0. 两台i7 CPU服务器 (Current)
  • Step 1. 单服务器,2 x GTX 970,要看现有的服务器能插几块 (需要确认目前的主机是否支持)
  • Step 2. 用Titan X来组服务器
  • Step 3. 云服务商 or 自组集群

参考服务器Spec

(From 李沐's blog: GPU集群折腾手记)

(From 淘宝, 北京思腾合力科技有限公司)

Reference


(注:感谢您的阅读,希望本文对您有所帮助。如果觉得不错欢迎分享转载,但请先点击 这里 获取授权。本文由 版权印 提供保护,禁止任何形式的未授权违规转载,谢谢!)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度神经网络可视化工具集锦

    zhwhong
  • [译] A Neural Algorithm of Artistic Style

    zhwhong
  • 棋盘覆盖问题

    zhwhong
  • 实战|对朋友的公司官网做个友情检测

    这次的渗透目标是我朋友的官网,做完这次渗透测试以后已经告诉我朋友了。问题有点小严重,而且他的网站是托管在建站公司。直接开始吧。

    7089bAt@PowerLi
  • 实战|对朋友的公司官网做个友情检测

    看到脚本语言是PHP的,我就习惯性的在域名后面加上robots.txt,robots.txt是什么文件呢?

    用户6343818
  • Leetcode 系列 | 反转链表

    链接 | https://leetcode.com/problems/reverse-linked-list/

    材ccc
  • Linux网络数据转发平面的变迁-从内核协议栈到DPDK/XDP

    昨晚读了一篇Paper:https://penberg.org/parakernel-hotos19.pdf

    Linux阅码场
  • Facebook:对比COPA 与CUBIC,BBR v1在拥塞控制及视频质量的表现

    原文 https://engineering.fb.com/video-engineering/copa/

    LiveVideoStack
  • Facebook:对比COPA 与CUBIC,BBR v1在拥塞控制及视频质量的表现

    原文 https://engineering.fb.com/video-engineering/copa/

    LiveVideoStack
  • 漫画家Pat Lee现场手绘!

    腾讯ISUX

扫码关注云+社区

领取腾讯云代金券