机器学习人工学2017/12/31

这周国外过节比较清净。注意下面很多链接需要开学上网,无奈国情如此

1. Facebook AML团队发文,从应用的角度披露了很多FB内部用的机器学习系统,其中Sigma(做异常检测的)好像是第一次对外说,其他的比如FBFlow, Lumos, Facer等等之前都有讲过

很有意思的是inference全部是CPU,GPU只是用来做training。而且各种算法都有

也会针对不同的问题使用不同的硬件做优化,训练频率和时间也各不相同

文章里面还谈到针对神经网络的拓扑结构优化硬件调度算法等等,是一篇信息量很大的文章

链接:https://research.fb.com/publications/applied-machine-learning-at-facebook-a-datacenter-infrastructure-perspective/

2. Uber一口气发了5篇进化算法的论文,有一篇使用gradient做变异的挺有意思,还有一篇分析进化算法和SGD关系。感觉进化算法今年大复苏,OpenAI也在搞,DeepMind也在搞

链接:https://eng.uber.com/deep-neuroevolution/

Uber之前也发过一个blog post,介绍了他们用机器学习的很多案例,感觉这类物流,交通的应用都还挺相似的(之前参加过几次滴滴,饿了么的讲座)

链接:https://eng.uber.com/machine-learning/

顺便提一句,Uber把Peter Dayan也拉了过去(目测Zoubin Ghahramani起了大作用,毕竟都是Gatsby的人)。 Dayan是Gatsby的director(Gatsby unit是Hinton老人家当年创办的),也是Baysian方法的大牛,同时还跟Chris Watkins一起发明了Q-learning(DeepMind的一堆东西都基于这个)

3. Salesforce发了一篇architecture search的文章(作者之一是Richard Socher,看过CS224的人都知道),跟Barret Zoph和Quoc Le的NAS非常像,也是用REINFORCE但是结果更好

链接:https://arxiv.org/pdf/1712.07316.pdf

Btw,搞meta-learning前途大大滴,NIPS上DeepMind tutorial Oriol Vinyals大神也专门提到这个趋势

4. NIPS上的这篇expert iteration,这周又被人翻出来。其实跟AlphaGo Zero很像,David Silver就说是Policy evaluation+Policy improvement,但是他们比较潮的是联想到了Daniel Kahneman的那本有名的书Thinking, fast and slow。大意就是人有两套思维方式,一种超快用直觉,另一种就是沉思,所以他们也是希望用结合System 1和2。这个工作虽然也很不错,但是绝对是被AlphaGo Zero outshine了

论文链接:https://arxiv.org/pdf/1705.08439.pdf

blog链接:https://davidbarber.github.io/blog/2017/11/07/Learning-From-Scratch-by-Thinking-Fast-and-Slow-with-Deep-Learning-and-Tree-Search/

5. 一篇关于NVidia/AMD/Intel Nervana硬件对比的文章。之前对硬件的关注不多,除了TPU稍微了解一点,这篇文章介绍了这三家的最新趋势,A/I两家看起来很有潜力,当然N也不是吃干饭的,不过最近的GeForce事件也对N家用户有很大震动,总之还是希望多一些竞争吧,一家独大对一个行业肯定不是好事

链接:http://timdettmers.com/2017/12/21/deep-learning-hardware-limbo/

6. NUS发布了ThunderSVM,优化了SMO算法在GPU/CPU上的并行化,跟libsvm对比起来效果快了10-100倍

链接:https://github.com/zeyiwen/thundersvm

7. Berkeley发布了Ray 0.3,分布式机器学习调度系统,增加了对PyTorch的初步支持,以及调超参的功能

链接:https://ray-project.github.io/2017/11/30/ray-0.3-release.html

8. 这周在看Kaggle的blog,除了很多比赛的winner interview,还有很多教程什么的,内容都很不错,值得跟踪

链接:http://blog.kaggle.com

9. 用机器学习破解CAPTCHA的15分钟教程,这个东西不是很难,可以看着玩玩。不过作者的medium值得follow一下,会经常发一些有意思的文章

链接:https://medium.com/@ageitgey/how-to-break-a-captcha-system-in-15-minutes-with-machine-learning-dbebb035a710

原文发布于微信公众号 - 机器学习人工学weekly(MLandHuman)

原文发表时间:2017-12-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java帮帮-微信公众号-技术文章全总结

如何在新公司建立良好形象

如何在新公司建立良好形象 1、着装要适当   穿着不一定要名贵,但一定要合体、干净、整洁,而且颜色和图案的搭配一定要协调。鞋子应该是舒服而又引人注目的。对于男士...

3205
来自专栏新智元

【机器学习经典案例】从白富美相亲看特征选择与预处理( 上篇 )

1.引言 再过一个月就是春节,相信有很多码农就要准备欢天喜地地回家过(xiang)年(qin)了。我们今天也打算讲一个相亲的故事。 讲机器学习为什么要讲相亲?被...

25610
来自专栏PPV课数据科学社区

【学习】如何修炼成大数据高手?推荐你看这些书

首先声明一点,千万不要以为看了这篇文章就能成为大数据高手了,不然就不会用“修炼”这个词了,要修炼成大数据高手决不是件容易的事,可以说是非常 难的一...

2694
来自专栏大数据文摘

Reading Club | 算法和人生抉择:午饭到底吃什么?

1334
来自专栏新智元

【Nature封面论文】大脑词汇地图

【新智元导读】Nature 4月27日发表封面论文 The Brain Dictionary ,美国加州大学伯克利分校的科学家将常见的985个英语词汇相对应大脑...

3287
来自专栏IT派

在人工智能的浪尖上,如何抉择?

知友:李麟 人工智能可以说是一门高尖端学科,属于社会科学和自然科学的交叉,涉及了数学、心理学、神经生理学、信息论、计算机科学、哲学和认知科学、不定性论以及控制论...

4038
来自专栏量子位

AI何时能懂环境会沟通?别急,这个“你说我画”小游戏开了个好头 | 论文

安妮 夏乙 编译整理 量子位 出品 | 公众号 QbitAI 晚上9点,一下午开了3个会的你终于回到家,换了衣服瘫倒在沙发里。放空了三分钟之后,你缓过神来,喊了...

2435
来自专栏CDA数据分析师

【Big Data】如何修炼成大数据高手?推荐你看这些书

首先声明一点,千万不要以为看了这篇文章就能成为大数据高手了,不然就不会用“修炼”这个词了,要修炼成大数据高手决不是件容易的事,可以说是非常难的一件事。要不也不会...

19110
来自专栏CSDN技术头条

Quora 问答:不懂算法却善于开发,如何去大公司工作呢?

题主在很多面试过程中,因不懂基础算法而面试失败。正文的两个回答,分别从两种角度来回答了题主的问题。题目为译者自拟。 ? Jim的回答: 每个人都能有所成就,除...

1975
来自专栏量子位

照片有灵异鬼影?伯克利 x 陈启峰培育高能FCN“除灵师” | CVPR论文

图像(I),可以被建模成,透射层(T)与反光层 (R) 之和,即I = T + R。

1053

扫描关注云+社区