这周国外过节比较清净。注意下面很多链接需要开学上网,无奈国情如此
1. Facebook AML团队发文,从应用的角度披露了很多FB内部用的机器学习系统,其中Sigma(做异常检测的)好像是第一次对外说,其他的比如FBFlow, Lumos, Facer等等之前都有讲过
很有意思的是inference全部是CPU,GPU只是用来做training。而且各种算法都有
也会针对不同的问题使用不同的硬件做优化,训练频率和时间也各不相同
文章里面还谈到针对神经网络的拓扑结构优化硬件调度算法等等,是一篇信息量很大的文章
链接:https://research.fb.com/publications/applied-machine-learning-at-facebook-a-datacenter-infrastructure-perspective/
2. Uber一口气发了5篇进化算法的论文,有一篇使用gradient做变异的挺有意思,还有一篇分析进化算法和SGD关系。感觉进化算法今年大复苏,OpenAI也在搞,DeepMind也在搞
链接:https://eng.uber.com/deep-neuroevolution/
Uber之前也发过一个blog post,介绍了他们用机器学习的很多案例,感觉这类物流,交通的应用都还挺相似的(之前参加过几次滴滴,饿了么的讲座)
链接:https://eng.uber.com/machine-learning/
顺便提一句,Uber把Peter Dayan也拉了过去(目测Zoubin Ghahramani起了大作用,毕竟都是Gatsby的人)。 Dayan是Gatsby的director(Gatsby unit是Hinton老人家当年创办的),也是Baysian方法的大牛,同时还跟Chris Watkins一起发明了Q-learning(DeepMind的一堆东西都基于这个)
3. Salesforce发了一篇architecture search的文章(作者之一是Richard Socher,看过CS224的人都知道),跟Barret Zoph和Quoc Le的NAS非常像,也是用REINFORCE但是结果更好
链接:https://arxiv.org/pdf/1712.07316.pdf
Btw,搞meta-learning前途大大滴,NIPS上DeepMind tutorial Oriol Vinyals大神也专门提到这个趋势
4. NIPS上的这篇expert iteration,这周又被人翻出来。其实跟AlphaGo Zero很像,David Silver就说是Policy evaluation+Policy improvement,但是他们比较潮的是联想到了Daniel Kahneman的那本有名的书Thinking, fast and slow。大意就是人有两套思维方式,一种超快用直觉,另一种就是沉思,所以他们也是希望用结合System 1和2。这个工作虽然也很不错,但是绝对是被AlphaGo Zero outshine了
论文链接:https://arxiv.org/pdf/1705.08439.pdf
blog链接:https://davidbarber.github.io/blog/2017/11/07/Learning-From-Scratch-by-Thinking-Fast-and-Slow-with-Deep-Learning-and-Tree-Search/
5. 一篇关于NVidia/AMD/Intel Nervana硬件对比的文章。之前对硬件的关注不多,除了TPU稍微了解一点,这篇文章介绍了这三家的最新趋势,A/I两家看起来很有潜力,当然N也不是吃干饭的,不过最近的GeForce事件也对N家用户有很大震动,总之还是希望多一些竞争吧,一家独大对一个行业肯定不是好事
链接:http://timdettmers.com/2017/12/21/deep-learning-hardware-limbo/
6. NUS发布了ThunderSVM,优化了SMO算法在GPU/CPU上的并行化,跟libsvm对比起来效果快了10-100倍
链接:https://github.com/zeyiwen/thundersvm
7. Berkeley发布了Ray 0.3,分布式机器学习调度系统,增加了对PyTorch的初步支持,以及调超参的功能
链接:https://ray-project.github.io/2017/11/30/ray-0.3-release.html
8. 这周在看Kaggle的blog,除了很多比赛的winner interview,还有很多教程什么的,内容都很不错,值得跟踪
链接:http://blog.kaggle.com
9. 用机器学习破解CAPTCHA的15分钟教程,这个东西不是很难,可以看着玩玩。不过作者的medium值得follow一下,会经常发一些有意思的文章
链接:https://medium.com/@ageitgey/how-to-break-a-captcha-system-in-15-minutes-with-machine-learning-dbebb035a710
本文分享自 机器学习人工学weekly 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!