机器学习人工学2017/12/31

这周国外过节比较清净。注意下面很多链接需要开学上网，无奈国情如此

1. Facebook AML团队发文，从应用的角度披露了很多FB内部用的机器学习系统，其中Sigma（做异常检测的）好像是第一次对外说，其他的比如FBFlow, Lumos, Facer等等之前都有讲过

很有意思的是inference全部是CPU，GPU只是用来做training。而且各种算法都有

也会针对不同的问题使用不同的硬件做优化，训练频率和时间也各不相同

文章里面还谈到针对神经网络的拓扑结构优化硬件调度算法等等，是一篇信息量很大的文章

链接：https://research.fb.com/publications/applied-machine-learning-at-facebook-a-datacenter-infrastructure-perspective/

2. Uber一口气发了5篇进化算法的论文，有一篇使用gradient做变异的挺有意思，还有一篇分析进化算法和SGD关系。感觉进化算法今年大复苏，OpenAI也在搞，DeepMind也在搞

链接：https://eng.uber.com/deep-neuroevolution/

Uber之前也发过一个blog post，介绍了他们用机器学习的很多案例，感觉这类物流，交通的应用都还挺相似的（之前参加过几次滴滴，饿了么的讲座）

链接：https://eng.uber.com/machine-learning/

顺便提一句，Uber把Peter Dayan也拉了过去（目测Zoubin Ghahramani起了大作用，毕竟都是Gatsby的人）。 Dayan是Gatsby的director（Gatsby unit是Hinton老人家当年创办的），也是Baysian方法的大牛，同时还跟Chris Watkins一起发明了Q-learning（DeepMind的一堆东西都基于这个）

3. Salesforce发了一篇architecture search的文章（作者之一是Richard Socher，看过CS224的人都知道），跟Barret Zoph和Quoc Le的NAS非常像，也是用REINFORCE但是结果更好

链接：https://arxiv.org/pdf/1712.07316.pdf

Btw，搞meta-learning前途大大滴，NIPS上DeepMind tutorial Oriol Vinyals大神也专门提到这个趋势

4. NIPS上的这篇expert iteration，这周又被人翻出来。其实跟AlphaGo Zero很像，David Silver就说是Policy evaluation+Policy improvement，但是他们比较潮的是联想到了Daniel Kahneman的那本有名的书Thinking, fast and slow。大意就是人有两套思维方式，一种超快用直觉，另一种就是沉思，所以他们也是希望用结合System 1和2。这个工作虽然也很不错，但是绝对是被AlphaGo Zero outshine了

论文链接：https://arxiv.org/pdf/1705.08439.pdf

blog链接：https://davidbarber.github.io/blog/2017/11/07/Learning-From-Scratch-by-Thinking-Fast-and-Slow-with-Deep-Learning-and-Tree-Search/

5. 一篇关于NVidia/AMD/Intel Nervana硬件对比的文章。之前对硬件的关注不多，除了TPU稍微了解一点，这篇文章介绍了这三家的最新趋势，A/I两家看起来很有潜力，当然N也不是吃干饭的，不过最近的GeForce事件也对N家用户有很大震动，总之还是希望多一些竞争吧，一家独大对一个行业肯定不是好事

链接：http://timdettmers.com/2017/12/21/deep-learning-hardware-limbo/

6. NUS发布了ThunderSVM，优化了SMO算法在GPU/CPU上的并行化，跟libsvm对比起来效果快了10-100倍

链接：https://github.com/zeyiwen/thundersvm

7. Berkeley发布了Ray 0.3，分布式机器学习调度系统，增加了对PyTorch的初步支持，以及调超参的功能

链接：https://ray-project.github.io/2017/11/30/ray-0.3-release.html

8. 这周在看Kaggle的blog，除了很多比赛的winner interview，还有很多教程什么的，内容都很不错，值得跟踪

9. 用机器学习破解CAPTCHA的15分钟教程，这个东西不是很难，可以看着玩玩。不过作者的medium值得follow一下，会经常发一些有意思的文章

链接：https://medium.com/@ageitgey/how-to-break-a-captcha-system-in-15-minutes-with-machine-learning-dbebb035a710