机器学习人工学2017/12/31

这周国外过节比较清净。注意下面很多链接需要开学上网,无奈国情如此

1. Facebook AML团队发文,从应用的角度披露了很多FB内部用的机器学习系统,其中Sigma(做异常检测的)好像是第一次对外说,其他的比如FBFlow, Lumos, Facer等等之前都有讲过

很有意思的是inference全部是CPU,GPU只是用来做training。而且各种算法都有

也会针对不同的问题使用不同的硬件做优化,训练频率和时间也各不相同

文章里面还谈到针对神经网络的拓扑结构优化硬件调度算法等等,是一篇信息量很大的文章

链接:https://research.fb.com/publications/applied-machine-learning-at-facebook-a-datacenter-infrastructure-perspective/

2. Uber一口气发了5篇进化算法的论文,有一篇使用gradient做变异的挺有意思,还有一篇分析进化算法和SGD关系。感觉进化算法今年大复苏,OpenAI也在搞,DeepMind也在搞

链接:https://eng.uber.com/deep-neuroevolution/

Uber之前也发过一个blog post,介绍了他们用机器学习的很多案例,感觉这类物流,交通的应用都还挺相似的(之前参加过几次滴滴,饿了么的讲座)

链接:https://eng.uber.com/machine-learning/

顺便提一句,Uber把Peter Dayan也拉了过去(目测Zoubin Ghahramani起了大作用,毕竟都是Gatsby的人)。 Dayan是Gatsby的director(Gatsby unit是Hinton老人家当年创办的),也是Baysian方法的大牛,同时还跟Chris Watkins一起发明了Q-learning(DeepMind的一堆东西都基于这个)

3. Salesforce发了一篇architecture search的文章(作者之一是Richard Socher,看过CS224的人都知道),跟Barret Zoph和Quoc Le的NAS非常像,也是用REINFORCE但是结果更好

链接:https://arxiv.org/pdf/1712.07316.pdf

Btw,搞meta-learning前途大大滴,NIPS上DeepMind tutorial Oriol Vinyals大神也专门提到这个趋势

4. NIPS上的这篇expert iteration,这周又被人翻出来。其实跟AlphaGo Zero很像,David Silver就说是Policy evaluation+Policy improvement,但是他们比较潮的是联想到了Daniel Kahneman的那本有名的书Thinking, fast and slow。大意就是人有两套思维方式,一种超快用直觉,另一种就是沉思,所以他们也是希望用结合System 1和2。这个工作虽然也很不错,但是绝对是被AlphaGo Zero outshine了

论文链接:https://arxiv.org/pdf/1705.08439.pdf

blog链接:https://davidbarber.github.io/blog/2017/11/07/Learning-From-Scratch-by-Thinking-Fast-and-Slow-with-Deep-Learning-and-Tree-Search/

5. 一篇关于NVidia/AMD/Intel Nervana硬件对比的文章。之前对硬件的关注不多,除了TPU稍微了解一点,这篇文章介绍了这三家的最新趋势,A/I两家看起来很有潜力,当然N也不是吃干饭的,不过最近的GeForce事件也对N家用户有很大震动,总之还是希望多一些竞争吧,一家独大对一个行业肯定不是好事

链接:http://timdettmers.com/2017/12/21/deep-learning-hardware-limbo/

6. NUS发布了ThunderSVM,优化了SMO算法在GPU/CPU上的并行化,跟libsvm对比起来效果快了10-100倍

链接:https://github.com/zeyiwen/thundersvm

7. Berkeley发布了Ray 0.3,分布式机器学习调度系统,增加了对PyTorch的初步支持,以及调超参的功能

链接:https://ray-project.github.io/2017/11/30/ray-0.3-release.html

8. 这周在看Kaggle的blog,除了很多比赛的winner interview,还有很多教程什么的,内容都很不错,值得跟踪

链接:http://blog.kaggle.com

9. 用机器学习破解CAPTCHA的15分钟教程,这个东西不是很难,可以看着玩玩。不过作者的medium值得follow一下,会经常发一些有意思的文章

链接:https://medium.com/@ageitgey/how-to-break-a-captcha-system-in-15-minutes-with-machine-learning-dbebb035a710

原文发布于微信公众号 - 机器学习人工学weekly(MLandHuman)

原文发表时间:2017-12-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

AI摩尔定律继续超速?2028年,1美元能买200GFLOPS计算力!

【新智元导读】摩尔定律不断给人这种感觉:就是在此时此刻,我们正处于人工智能行业独一无二的大变革时期。然而,只要计算力的增长继续遵循指数级的价格-性能曲线,那么未...

1033
来自专栏大数据文摘

有了800件T恤测量数据,能选出最合身的尺寸吗?

22812
来自专栏AI科技大本营的专栏

实战干货 | 这位成功转型机器学习的老炮,想把他多年的经验分享给你

这个年代,不怕你是大牛,就怕大牛还会写文章。 作为AI100智库专家,智亮总是能在口若悬河中,让人深入浅出地学到一堆堆干货,掏心窝子的干货。 多年的实战经验...

38410
来自专栏量子位

用深度学习检测冠心病:不依赖血管造影且成本下降25%

安妮 编译自 英伟达官方博客 量子位出品 | 公众号 QbitAI 冠心病是人类的一大杀手,全球每年将近900万人死于冠心病。在美国,每年有1200万到1300...

3585
来自专栏大数据文摘

如何把各类难题变得数据可解?Get与数据科学家聊天的正确姿势

934
来自专栏大数据文摘

谷歌领头、大牛联合强推的ML可交互期刊平台Distill:解析其意义与质疑

1664
来自专栏AI科技评论

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势

进行深度学习的训练向来不被认为是CPU的强项,但是以CPU研发见长的英特尔并不甘心屈服于这个定位,在过去的几年里,英特尔及其合作伙伴一直在探索用CPU来进行快速...

3464
来自专栏量子位

机器学习项目到处都是坑?你需要谷歌的工程实践“葵花宝典”

今天,谷歌开发者推特账号终于上线了《机器学习规则(Rules of Mahchine Learning)》的中文版(撒花.gif)。

1283
来自专栏专知

【专知AI日报0930】一文了解最新AI业界动态

【导读】《专知AI日报》,每天精选AI业界发生的最新最具有影响力的动态事件,为你简文速读了解。 1. 【Yoshua Bengio宣布即将终止Theano的开发...

3067
来自专栏量子位

Google大脑工程师详解:深度学习技术能带来哪些新产品?

量子位 | 李林 整理编译 提到深度学习,你可能会想到认猫、认脸,或者下围棋、翻译……其实,这项技术还能用在很多你意想不到的地方。 那么,“深度学习的最新进展能...

3377

扫码关注云+社区