机器学习人工学2017/12/31

这周国外过节比较清净。注意下面很多链接需要开学上网,无奈国情如此

1. Facebook AML团队发文,从应用的角度披露了很多FB内部用的机器学习系统,其中Sigma(做异常检测的)好像是第一次对外说,其他的比如FBFlow, Lumos, Facer等等之前都有讲过

很有意思的是inference全部是CPU,GPU只是用来做training。而且各种算法都有

也会针对不同的问题使用不同的硬件做优化,训练频率和时间也各不相同

文章里面还谈到针对神经网络的拓扑结构优化硬件调度算法等等,是一篇信息量很大的文章

链接:https://research.fb.com/publications/applied-machine-learning-at-facebook-a-datacenter-infrastructure-perspective/

2. Uber一口气发了5篇进化算法的论文,有一篇使用gradient做变异的挺有意思,还有一篇分析进化算法和SGD关系。感觉进化算法今年大复苏,OpenAI也在搞,DeepMind也在搞

链接:https://eng.uber.com/deep-neuroevolution/

Uber之前也发过一个blog post,介绍了他们用机器学习的很多案例,感觉这类物流,交通的应用都还挺相似的(之前参加过几次滴滴,饿了么的讲座)

链接:https://eng.uber.com/machine-learning/

顺便提一句,Uber把Peter Dayan也拉了过去(目测Zoubin Ghahramani起了大作用,毕竟都是Gatsby的人)。 Dayan是Gatsby的director(Gatsby unit是Hinton老人家当年创办的),也是Baysian方法的大牛,同时还跟Chris Watkins一起发明了Q-learning(DeepMind的一堆东西都基于这个)

3. Salesforce发了一篇architecture search的文章(作者之一是Richard Socher,看过CS224的人都知道),跟Barret Zoph和Quoc Le的NAS非常像,也是用REINFORCE但是结果更好

链接:https://arxiv.org/pdf/1712.07316.pdf

Btw,搞meta-learning前途大大滴,NIPS上DeepMind tutorial Oriol Vinyals大神也专门提到这个趋势

4. NIPS上的这篇expert iteration,这周又被人翻出来。其实跟AlphaGo Zero很像,David Silver就说是Policy evaluation+Policy improvement,但是他们比较潮的是联想到了Daniel Kahneman的那本有名的书Thinking, fast and slow。大意就是人有两套思维方式,一种超快用直觉,另一种就是沉思,所以他们也是希望用结合System 1和2。这个工作虽然也很不错,但是绝对是被AlphaGo Zero outshine了

论文链接:https://arxiv.org/pdf/1705.08439.pdf

blog链接:https://davidbarber.github.io/blog/2017/11/07/Learning-From-Scratch-by-Thinking-Fast-and-Slow-with-Deep-Learning-and-Tree-Search/

5. 一篇关于NVidia/AMD/Intel Nervana硬件对比的文章。之前对硬件的关注不多,除了TPU稍微了解一点,这篇文章介绍了这三家的最新趋势,A/I两家看起来很有潜力,当然N也不是吃干饭的,不过最近的GeForce事件也对N家用户有很大震动,总之还是希望多一些竞争吧,一家独大对一个行业肯定不是好事

链接:http://timdettmers.com/2017/12/21/deep-learning-hardware-limbo/

6. NUS发布了ThunderSVM,优化了SMO算法在GPU/CPU上的并行化,跟libsvm对比起来效果快了10-100倍

链接:https://github.com/zeyiwen/thundersvm

7. Berkeley发布了Ray 0.3,分布式机器学习调度系统,增加了对PyTorch的初步支持,以及调超参的功能

链接:https://ray-project.github.io/2017/11/30/ray-0.3-release.html

8. 这周在看Kaggle的blog,除了很多比赛的winner interview,还有很多教程什么的,内容都很不错,值得跟踪

链接:http://blog.kaggle.com

9. 用机器学习破解CAPTCHA的15分钟教程,这个东西不是很难,可以看着玩玩。不过作者的medium值得follow一下,会经常发一些有意思的文章

链接:https://medium.com/@ageitgey/how-to-break-a-captcha-system-in-15-minutes-with-machine-learning-dbebb035a710

原文发布于微信公众号 - 机器学习人工学weekly(MLandHuman)

原文发表时间:2017-12-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

机器学习人工学2017/12/31

这周国外过节比较清净。注意下面很多链接需要开学上网,无奈国情如此 1. Facebook AML团队发文,从应用的角度披露了很多FB内部用的机器学习系统,其中S...

1937
来自专栏CreateAMind

狂扫谷歌tesla的开源自动驾驶!

1091
来自专栏机器人网

机器人新里程碑:观察1次,就能模仿人类操作

OpenAI是一家由伊隆·马斯克赞助,总部位于旧金山的非营利研究实验室,近日实验室宣布在机器人工作领域取得了里程碑式研究成果。基于全新算法,人类在虚拟现实环境中...

2885
来自专栏磐创AI技术团队的专栏

热点 | 四月最佳Github项目库与最有趣Reddit热点讨论(文末免费送百G数据集)

922
来自专栏ATYUN订阅号

OpenAI:人工智能程序在Dota2的5V5比赛在中击败人类玩家

国外人工智能团队OpenAI在一篇博客文章中透露,为Dota 2设计的最新版本AI击败了五支业余选手团队,其中包括一个由Valve员工组成的团队。上一代 Ope...

1014
来自专栏AI科技评论

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势

进行深度学习的训练向来不被认为是CPU的强项,但是以CPU研发见长的英特尔并不甘心屈服于这个定位,在过去的几年里,英特尔及其合作伙伴一直在探索用CPU来进行快速...

3324
来自专栏大数据文摘

谷歌领头、大牛联合强推的ML可交互期刊平台Distill:解析其意义与质疑

1624
来自专栏大数据文摘

有了800件T恤测量数据,能选出最合身的尺寸吗?

22212
来自专栏PaddlePaddle

一周AI资讯|以后的视频解说,可能是AI写出来的?

刚刚过去的一周,AI不仅晋升为游戏赢家,还逐步掌握看视频写故事和看笔迹鉴定国籍的能力。更多精彩可来围观本周AI资讯,预计阅读时间4分钟。

841
来自专栏量子位

用深度学习检测冠心病:不依赖血管造影且成本下降25%

安妮 编译自 英伟达官方博客 量子位出品 | 公众号 QbitAI 冠心病是人类的一大杀手,全球每年将近900万人死于冠心病。在美国,每年有1200万到1300...

3485

扫码关注云+社区