机器学习人工学weekly-2018/2/4

注意下面很多链接需要科学上网,无奈国情如此

1. Google相关的消息:

1.1 TF发布1.5正式版,跟之前提到的RC差不多,主要是增加了eager和lite,升级了CUDA和cuDNN的支持版本

链接:https://github.com/tensorflow/tensorflow/releases/tag/v1.5.0

1.2 Google和UCSF/Stanford/Chicago合作发的一篇用深度学习从EHR预测医院事件(病亡,住院等)论文。不太懂医学上应用,不过看到不光预测准确率提高了,而且在dnn里面加weight做attribution。这种工作估计也只有Google能做,首先那几个牛医院是不会把数据随便给一般公司的,其次看计算量,差不多要22年的GPU hours,没几个公司有那么多资源做这个事

Scalable and accurate deep learning for electronic healthrecords

链接:https://arxiv.org/pdf/1801.07860.pdf

1.3 DeepMind开源Psychlab,在Lab环境里面模拟心理学和认知科学tasks,并用UNREAL做了一些测试,看起来UNREAL跟人类比起来还是有一些明显的短板

Open-sourcing Psychlab

博客链接:https://deepmind.com/blog/open-sourcing-psychlab/

1.4 Google Brain的Eric Jang(青年才俊)写了2篇blog讲normalizing flow(autoregressive模型比如wavenet用)

part 1:https://blog.evjang.com/2018/01/nf1.html

part 2:https://blog.evjang.com/2018/01/nf2.html

1.5 Sara Sabour(Capsule Network作者)公布了胶囊网络的代码

链接:https://github.com/Sarasra/models/tree/master/research/capsules

1.6 Google Colab现在可以用免费的K80 GPU了,大利好

教程:https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d

2. 这周EmTech China在北京开AI大会,去了很多大牛。可惜没有机会去现场,不过在头条上看到有一些视频。建议有兴趣的同学可以在头条上搜"DeepTech深科技",他们有发一些现场视频(非广告)

3. 这周看到一篇机器学习在金融领域(股价预测,return prediction等等)方面的应用,文章我都没看,但是看摘要基本上就是RNN跟传统方法的对抗 :) 对fintech或者投资有兴趣的同学可以看看

2017's Deep Learning Papers on Investing

链接:https://medium.com/@dmitryrastorguev/2017s-deep-learning-papers-on-investing-7489e8f59487

4. Bengio的MILA实验室发了他们参加Amazon Alexa chatbot比赛的MILABOT的短论文(这个是精简版,之前有一篇巨长的),用reinforcement learning做chatbot, 主要是用off-policy REINFORCE和Q-learning with the Abstract Discourse MDP

A Deep Reinforcement Learning Chatbot

链接:https://arxiv.org/pdf/1801.06700.pdf

其实用RL做对话也不是一个新鲜的idea,之前Stanford李纪为(牛人啊,从生物转CS在Stanford3年就PhD毕业然后去做香侬科技AI创业了)就用RL和GAN做对话生成,建议去读读他的博士论文:

Teaching Machines to Converse

链接:https://github.com/jiweil/Jiwei-Thesis

5. AlphaGo系列

5.1 这周看到2017 ICML Test of Time Award的视频,这个奖给了Google Brain Zurich的Sylvain Gelly和DeepMind的David Silver,他们的工作就是2007年用的online/offline 知识训练下围棋

在视频里面他们回顾了2007年的做法,online部分就是用MCTS,offline基本上是用手工特征的方法估算value/policy,所以不是很scalable。等到deep learning的时候他们把offline部分大大推进了(当然还有一些其他的改进),于是搞定了Go。这个过程花了10年时间啊,pretty amazing to take a retrospective view。看下面这个进展过程,最开始用的traditional search,很快就plateau了,然后用Monte Carlo有了一大步进展,但是也plateau了,最后用deep learning,几乎是直线上升,it's fabulous!

他们还在07年的时候就打赌说10年之后会完美解决Go,果然2017年彻底解决了。Sylvain Gelly早已经不做围棋了,David Silver坚持了10+才做出来,真心佩服!

强烈推荐视频:https://www.youtube.com/watch?v=Bm7zah_LrmE

5.2 David Silver在NIPS上的演讲清晰版视频出来了

链接:https://www.youtube.com/watch?v=Wujy7OzvdJk

5.3 Google的人在tensorflow repository里面发布了Minigo,相当于AlphaGo的开源版,虽然不是Google的官方项目

链接:https://github.com/tensorflow/minigo

5.4 AlphaZero我之前也写过快报,不过感觉下面这篇文章写的更清晰,是从AlphaGo一路讲,而且visualization也很漂亮,所以推荐

AlphaGo Zero - How and Why it Works

链接:http://tim.hibal.org/blog/alpha-zero-how-and-why-it-works/

5.5 另外这篇文章手把手教你怎么把AlphaZero用到另外游戏Connect4上

How to build your own AlphaZero AI using Python and Keras

链接:https://medium.com/applied-data-science/how-to-build-your-own-alphazero-ai-using-python-and-keras-7f664945c188

6. 模型解释性一向是ML被人诟病的大问题,这周看到的这个XGBoost Explainer(R)工具不错,可以解释boosting模型。GitHub上好像也有python版的

链接:https://medium.com/applied-data-science/new-r-package-the-xgboost-explainer-51dd7d1aa211

GitHub:https://github.com/AppliedDataSciencePartners/xgboostExplainer

7. tyro labs blog详解Faster R-CNN,通俗易懂,适合我这种不怎么看视觉文章的懒人

链接:https://tryolabs.com/blog/2018/01/18/faster-r-cnn-down-the-rabbit-hole-of-modern-object-detection/

8. 这个比较有趣,用YOLO做英雄联盟人物的识别,打游戏的人应该会觉得好玩

part1:https://medium.com/@farzatv/deepleague-leveraging-computer-vision-and-deep-learning-on-the-league-of-legends-mini-map-giving-d275fd17c4e0

part2:https://medium.com/@farzatv/deepleague-part-2-the-technical-details-374439e7e09a

9. NLP入门教程,涵盖了大部分的NLP基础人物,适合初学

教程:https://blog.insightdatascience.com/how-to-solve-90-of-nlp-problems-a-step-by-step-guide-fda605278e4e

10. CMU春节深度学习课程开始,视频slides皆有,初学可以去跟

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180204A05SOR00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券