机器学习人工学2017/12/31

这周国外过节比较清净。注意下面很多链接需要开学上网,无奈国情如此

1. Facebook AML团队发文,从应用的角度披露了很多FB内部用的机器学习系统,其中Sigma(做异常检测的)好像是第一次对外说,其他的比如FBFlow, Lumos, Facer等等之前都有讲过

很有意思的是inference全部是CPU,GPU只是用来做training。而且各种算法都有

也会针对不同的问题使用不同的硬件做优化,训练频率和时间也各不相同

文章里面还谈到针对神经网络的拓扑结构优化硬件调度算法等等,是一篇信息量很大的文章

链接:https://research.fb.com/publications/applied-machine-learning-at-facebook-a-datacenter-infrastructure-perspective/

2. Uber一口气发了5篇进化算法的论文,有一篇使用gradient做变异的挺有意思,还有一篇分析进化算法和SGD关系。感觉进化算法今年大复苏,OpenAI也在搞,DeepMind也在搞

链接:https://eng.uber.com/deep-neuroevolution/

Uber之前也发过一个blog post,介绍了他们用机器学习的很多案例,感觉这类物流,交通的应用都还挺相似的(之前参加过几次滴滴,饿了么的讲座)

链接:https://eng.uber.com/machine-learning/

顺便提一句,Uber把Peter Dayan也拉了过去(目测Zoubin Ghahramani起了大作用,毕竟都是Gatsby的人)。 Dayan是Gatsby的director(Gatsby unit是Hinton老人家当年创办的),也是Baysian方法的大牛,同时还跟Chris Watkins一起发明了Q-learning(DeepMind的一堆东西都基于这个)

3. Salesforce发了一篇architecture search的文章(作者之一是Richard Socher,看过CS224的人都知道),跟Barret Zoph和Quoc Le的NAS非常像,也是用REINFORCE但是结果更好

链接:https://arxiv.org/pdf/1712.07316.pdf

Btw,搞meta-learning前途大大滴,NIPS上DeepMind tutorial Oriol Vinyals大神也专门提到这个趋势

4. NIPS上的这篇expert iteration,这周又被人翻出来。其实跟AlphaGo Zero很像,David Silver就说是Policy evaluation+Policy improvement,但是他们比较潮的是联想到了Daniel Kahneman的那本有名的书Thinking, fast and slow。大意就是人有两套思维方式,一种超快用直觉,另一种就是沉思,所以他们也是希望用结合System 1和2。这个工作虽然也很不错,但是绝对是被AlphaGo Zero outshine了

论文链接:https://arxiv.org/pdf/1705.08439.pdf

blog链接:https://davidbarber.github.io/blog/2017/11/07/Learning-From-Scratch-by-Thinking-Fast-and-Slow-with-Deep-Learning-and-Tree-Search/

5. 一篇关于NVidia/AMD/Intel Nervana硬件对比的文章。之前对硬件的关注不多,除了TPU稍微了解一点,这篇文章介绍了这三家的最新趋势,A/I两家看起来很有潜力,当然N也不是吃干饭的,不过最近的GeForce事件也对N家用户有很大震动,总之还是希望多一些竞争吧,一家独大对一个行业肯定不是好事

链接:http://timdettmers.com/2017/12/21/deep-learning-hardware-limbo/

6. NUS发布了ThunderSVM,优化了SMO算法在GPU/CPU上的并行化,跟libsvm对比起来效果快了10-100倍

链接:https://github.com/zeyiwen/thundersvm

7. Berkeley发布了Ray 0.3,分布式机器学习调度系统,增加了对PyTorch的初步支持,以及调超参的功能

链接:https://ray-project.github.io/2017/11/30/ray-0.3-release.html

8. 这周在看Kaggle的blog,除了很多比赛的winner interview,还有很多教程什么的,内容都很不错,值得跟踪

9. 用机器学习破解CAPTCHA的15分钟教程,这个东西不是很难,可以看着玩玩。不过作者的medium值得follow一下,会经常发一些有意思的文章

链接:https://medium.com/@ageitgey/how-to-break-a-captcha-system-in-15-minutes-with-machine-learning-dbebb035a710

本文来自企鹅号 - 机器学习人工学weekly媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

当人工智能开始料理螃蟹并达到专业水准了,还有什么是它做不到的?

1. “亲爱的,你说说看,谁是世界上最美丽的人?” 是白雪公主。 “嗯?请你再说一遍,谁是世界上最美丽的人?” 是白雪公主。 “哼,我生气了,最后说一遍,谁是世...

21500
来自专栏人工智能

逻辑回归算法学习与思考

本文是作者对于逻辑回归算法的学习和思考,主要介绍:逻辑回归的算法介绍、逻辑回归的数学原理、逻辑回归的实际应用、逻辑回归的总结以及网络安全场景预测,欢迎大家参考讨...

26500
来自专栏编程

游戏开发中的人工智能:遗传算法

本文内容:遗传算法提供游戏软件 AI 演化的可能。虽然遗传算法不是经常被应用于游戏中,但是它们在某些特定应用方面的潜力是值得令人期待的,尤其是结合其他方法使用的...

30700
来自专栏编程

当今最火10大统计算法,你用过几个?

为什么学习统计学习?理解不同技术背后的理念非常重要,它可以帮助你了解如何使用以及什么时候使用。同时,准确评估一种方法的性能也非常重要,因为它能告诉我们某种方法在...

69100
来自专栏人工智能

機器學習算法起航系列一·支持向量機

上期我們分享了線性SVM的內容,並對凸二次規劃問題的求解進行了簡單的推導,最後得到分離超平面的函數能夠對新輸入的樣本進行分類。本期我們將繼續探討非線性SVM,了...

22300
来自专栏企鹅号快讯

乌镇峰会:人工智能的主场

这些大佬的讨论,让乌镇峰会成了人工智能的主场 当关注互联网大会的相关报道时,人们容易流于大会饭局等这类表面事件,而内在的重要话题其实有许多值得关注的干货。本次大...

19300
来自专栏挖掘大数据

如何利用已有的大数据技术,搭建机器学习平台

人脑具备不断积累经验的能力,依赖经验我们便具备了分析处理的能力,比如我们要去菜场挑一个西瓜,别人或者自己的经验告诉我们色泽青绿、根蒂蜷缩、纹路清晰、敲声浑响的西...

72600
来自专栏企鹅号快讯

完爆阿尔法狗元,DeepMind用5000台TPU训练出新算法,1天内称霸3种棋类

大数据文摘作品 作者:姜范波、Aileen、Yawei Xia、龙牧雪、魏子敏 距离阿尔法狗元版本刷屏一个多月时间,阿尔法狗又进化了,这次不光可以玩围棋,不再是...

22000
来自专栏人工智能

如何用机器学习满足产品需求

关于机器学习有太多的文章介绍了,如果还对机器学习一知半解的可以参考一下其他文章,我的其他文章中也有简单介绍了机器学习。本文主要介绍机器学习的应用以及我们如何使用...

23910
来自专栏人工智能

技术干货:一文详解LDA主题模型

原标题:专栏 | 技术干货:一文详解LDA主题模型 达观数据专栏 作者:达观数据NLP组-夏琦 本篇博文将详细讲解LDA主题模型,从最底层数学推导的角度来详细讲...

36300

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励