机器学习人工学2017/12/31

这周国外过节比较清净。注意下面很多链接需要开学上网,无奈国情如此

1. Facebook AML团队发文,从应用的角度披露了很多FB内部用的机器学习系统,其中Sigma(做异常检测的)好像是第一次对外说,其他的比如FBFlow, Lumos, Facer等等之前都有讲过

很有意思的是inference全部是CPU,GPU只是用来做training。而且各种算法都有

也会针对不同的问题使用不同的硬件做优化,训练频率和时间也各不相同

文章里面还谈到针对神经网络的拓扑结构优化硬件调度算法等等,是一篇信息量很大的文章

链接:https://research.fb.com/publications/applied-machine-learning-at-facebook-a-datacenter-infrastructure-perspective/

2. Uber一口气发了5篇进化算法的论文,有一篇使用gradient做变异的挺有意思,还有一篇分析进化算法和SGD关系。感觉进化算法今年大复苏,OpenAI也在搞,DeepMind也在搞

链接:https://eng.uber.com/deep-neuroevolution/

Uber之前也发过一个blog post,介绍了他们用机器学习的很多案例,感觉这类物流,交通的应用都还挺相似的(之前参加过几次滴滴,饿了么的讲座)

链接:https://eng.uber.com/machine-learning/

顺便提一句,Uber把Peter Dayan也拉了过去(目测Zoubin Ghahramani起了大作用,毕竟都是Gatsby的人)。 Dayan是Gatsby的director(Gatsby unit是Hinton老人家当年创办的),也是Baysian方法的大牛,同时还跟Chris Watkins一起发明了Q-learning(DeepMind的一堆东西都基于这个)

3. Salesforce发了一篇architecture search的文章(作者之一是Richard Socher,看过CS224的人都知道),跟Barret Zoph和Quoc Le的NAS非常像,也是用REINFORCE但是结果更好

链接:https://arxiv.org/pdf/1712.07316.pdf

Btw,搞meta-learning前途大大滴,NIPS上DeepMind tutorial Oriol Vinyals大神也专门提到这个趋势

4. NIPS上的这篇expert iteration,这周又被人翻出来。其实跟AlphaGo Zero很像,David Silver就说是Policy evaluation+Policy improvement,但是他们比较潮的是联想到了Daniel Kahneman的那本有名的书Thinking, fast and slow。大意就是人有两套思维方式,一种超快用直觉,另一种就是沉思,所以他们也是希望用结合System 1和2。这个工作虽然也很不错,但是绝对是被AlphaGo Zero outshine了

论文链接:https://arxiv.org/pdf/1705.08439.pdf

blog链接:https://davidbarber.github.io/blog/2017/11/07/Learning-From-Scratch-by-Thinking-Fast-and-Slow-with-Deep-Learning-and-Tree-Search/

5. 一篇关于NVidia/AMD/Intel Nervana硬件对比的文章。之前对硬件的关注不多,除了TPU稍微了解一点,这篇文章介绍了这三家的最新趋势,A/I两家看起来很有潜力,当然N也不是吃干饭的,不过最近的GeForce事件也对N家用户有很大震动,总之还是希望多一些竞争吧,一家独大对一个行业肯定不是好事

链接:http://timdettmers.com/2017/12/21/deep-learning-hardware-limbo/

6. NUS发布了ThunderSVM,优化了SMO算法在GPU/CPU上的并行化,跟libsvm对比起来效果快了10-100倍

链接:https://github.com/zeyiwen/thundersvm

7. Berkeley发布了Ray 0.3,分布式机器学习调度系统,增加了对PyTorch的初步支持,以及调超参的功能

链接:https://ray-project.github.io/2017/11/30/ray-0.3-release.html

8. 这周在看Kaggle的blog,除了很多比赛的winner interview,还有很多教程什么的,内容都很不错,值得跟踪

链接:http://blog.kaggle.com

9. 用机器学习破解CAPTCHA的15分钟教程,这个东西不是很难,可以看着玩玩。不过作者的medium值得follow一下,会经常发一些有意思的文章

链接:https://medium.com/@ageitgey/how-to-break-a-captcha-system-in-15-minutes-with-machine-learning-dbebb035a710

原文发布于微信公众号 - 机器学习人工学weekly(MLandHuman)

原文发表时间:2017-12-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

训练史上最佳GAN用了512块TPU,一作自述:这不是算法进步,是算力进步

最近,一场“大GAN(BigGAN)”浪潮让机器学习界的行家沸腾了一次。看到这个生成图片质量足以以假乱真的神经网络,网友齐声称赞“算法好棒”。

692
来自专栏企鹅号快讯

机器学习人工学2017/12/31

这周国外过节比较清净。注意下面很多链接需要开学上网,无奈国情如此 1. Facebook AML团队发文,从应用的角度披露了很多FB内部用的机器学习系统,其中S...

1907
来自专栏新智元

【强化学习炼金术】李飞飞高徒带你一文读懂RL来龙去脉

来源: 心有麟熙 作者: Jim 范麟熙 编辑:常佩琦 【新智元导读】斯坦福大学博士生、师从李飞飞教授的Jim Fan(范麟熙)带你一文读懂强化学习的来龙去脉。...

3979
来自专栏机器学习人工学weekly

机器学习人工学weekly-2018/1/28

注意下面很多链接需要科学上网,无奈国情如此 1. Google Brain年终总结part 2,总结2017年在医疗,机器人,文艺创作等等方面的成果,我个人对r...

36110
来自专栏AI研习社

有没有必要把机器学习算法自己实现一遍?

哈哈哈哈,我觉得很多人都有这个疑问吧。机器学习好高大上,多么牛逼的东西,光是看公式就已经眼花缭乱了,总觉得自己该全部去实现一遍,有的时候太懒,有的时候觉得能力不...

3745
来自专栏PPV课数据科学社区

【经典】用五个趣味案例教你数据分析的基本思想

今天和大家分享一下数据分析的一些基本思想,我给它起了个名字叫做用数据说话。内容都是个人的一些心得,比较肤浅!如有不足之处,希望大家谅解!废话不说了,现在咱正式开...

2483
来自专栏AI科技评论

苹果首份AI论文横空出世,提出SimGAN训练方法

当AI浪潮袭来,谷歌、Facebook、微软等几个山头恨不得把自己都浸没在潮水里,可劲打滚儿的时候,苹果这座孤岛却始终有一种不愿被沾湿的姿态。 12月初,在洒满...

35311
来自专栏CDA数据分析师

22本数据分析、挖掘的好书推荐—绝对干货,不看后悔!

1. 深入浅出数据分析 这书挺简单的,基本的内容都涉及了,说得也比较清楚,最后谈到了R是大加分。 难易程度:非常易。 2.啤酒与尿布 通过案例来说事情,而且是...

1985
来自专栏AI研习社

6 次 Kaggle 计算机视觉类比赛赛后感

我从 2017 年年初开始接触 Kaggle。曾翻阅知乎上很多关于 Kaggle 的回答和文章,然而逐渐发现大部分文章中提到的经验和技巧是针对传统 machin...

1532
来自专栏大数据文摘

12位古代数学家的现代化成就

1297

扫码关注云+社区