注意下面很多链接需要访问外国网站,无奈国情如此
1. Google相关的消息:
1.1 TF发布1.5正式版,跟之前提到的RC差不多,主要是增加了eager和lite,升级了CUDA和cuDNN的支持版本
链接:https://github.com/tensorflow/tensorflow/releases/tag/v1.5.0
1.2 Google和UCSF/Stanford/Chicago合作发的一篇用深度学习从EHR预测医院事件(病亡,住院等)论文。不太懂医学上应用,不过看到不光预测准确率提高了,而且在dnn里面加weight做attribution。这种工作估计也只有Google能做,首先那几个牛医院是不会把数据随便给一般公司的,其次看计算量,差不多要22年的GPU hours,没几个公司有那么多资源做这个事
Scalable and accurate deep learning for electronic health records
链接:https://arxiv.org/pdf/1801.07860.pdf
1.3 DeepMind开源Psychlab,在Lab环境里面模拟心理学和认知科学tasks,并用UNREAL做了一些测试,看起来UNREAL跟人类比起来还是有一些明显的短板
Open-sourcing Psychlab
博客链接:https://deepmind.com/blog/open-sourcing-psychlab/
1.4 Google Brain的Eric Jang(青年才俊)写了2篇blog讲normalizing flow(autoregressive模型比如wavenet用)
part 1: https://blog.evjang.com/2018/01/nf1.html
part 2: https://blog.evjang.com/2018/01/nf2.html
1.5 Sara Sabour(Capsule Network作者)公布了胶囊网络的代码
链接:https://github.com/Sarasra/models/tree/master/research/capsules
1.6 Google Colab现在可以用免费的K80 GPU了,大利好
教程:https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d
2. 这周EmTech China在北京开AI大会,去了很多大牛。可惜没有机会去现场,不过在头条上看到有一些视频。建议有兴趣的同学可以在头条上搜"DeepTech深科技",他们有发一些现场视频(非广告)
官网(无视频):http://www.emtechchina.cn/?lang=1
3. 这周看到一篇机器学习在金融领域(股价预测,return prediction等等)方面的应用,文章我都没看,但是看摘要基本上就是RNN跟传统方法的对抗 :) 对fintech或者投资有兴趣的同学可以看看
2017's Deep Learning Papers on Investing
链接:https://medium.com/@dmitryrastorguev/2017s-deep-learning-papers-on-investing-7489e8f59487
4. Bengio的MILA实验室发了他们参加Amazon Alexa chatbot比赛的MILABOT的短论文(这个是精简版,之前有一篇巨长的),用reinforcement learning做chatbot, 主要是用off-policy REINFORCE和Q-learning with the Abstract Discourse MDP
A Deep Reinforcement Learning Chatbot
链接:https://arxiv.org/pdf/1801.06700.pdf
其实用RL做对话也不是一个新鲜的idea,之前Stanford李纪为(牛人啊,从生物转CS在Stanford3年就PhD毕业然后去做香侬科技AI创业了)就用RL和GAN做对话生成,建议去读读他的博士论文:
Teaching Machines to Converse
链接:https://github.com/jiweil/Jiwei-Thesis
5. AlphaGo系列
5.1 这周看到2017 ICML Test of Time Award的视频,这个奖给了Google Brain Zurich的Sylvain Gelly和DeepMind的David Silver,他们的工作就是2007年用的online/offline 知识训练下围棋
在视频里面他们回顾了2007年的做法,online部分就是用MCTS,offline基本上是用手工特征的方法估算value/policy,所以不是很scalable。等到deep learning的时候他们把offline部分大大推进了(当然还有一些其他的改进),于是搞定了Go。这个过程花了10年时间啊,pretty amazing to take a retrospective view。看下面这个进展过程,最开始用的traditional search,很快就plateau了,然后用Monte Carlo有了一大步进展,但是也plateau了,最后用deep learning,几乎是直线上升,it's fabulous!
他们还在07年的时候就打赌说10年之后会完美解决Go,果然2017年彻底解决了。Sylvain Gelly早已经不做围棋了,David Silver坚持了10+才做出来,真心佩服!
强烈推荐视频:https://www.youtube.com/watch?v=Bm7zah_LrmE
5.2 David Silver在NIPS上的演讲清晰版视频出来了
链接:https://www.youtube.com/watch?v=Wujy7OzvdJk
5.3 Google的人在tensorflow repository里面发布了Minigo,相当于AlphaGo的开源版,虽然不是Google的官方项目
链接:https://github.com/tensorflow/minigo
5.4 AlphaZero我之前也写过快报,不过感觉下面这篇文章写的更清晰,是从AlphaGo一路讲,而且visualization也很漂亮,所以推荐
AlphaGo Zero - How and Why it Works
链接:http://tim.hibal.org/blog/alpha-zero-how-and-why-it-works/
5.5 另外这篇文章手把手教你怎么把AlphaZero用到另外游戏Connect4上
How to build your own AlphaZero AI using Python and Keras
链接:https://medium.com/applied-data-science/how-to-build-your-own-alphazero-ai-using-python-and-keras-7f664945c188
6. 模型解释性一向是ML被人诟病的大问题,这周看到的这个XGBoost Explainer(R)工具不错,可以解释boosting模型。GitHub上好像也有python版的
链接:https://medium.com/applied-data-science/new-r-package-the-xgboost-explainer-51dd7d1aa211
GitHub:https://github.com/AppliedDataSciencePartners/xgboostExplainer
7. tyro labs blog详解Faster R-CNN,通俗易懂,适合我这种不怎么看视觉文章的懒人
链接:https://tryolabs.com/blog/2018/01/18/faster-r-cnn-down-the-rabbit-hole-of-modern-object-detection/
8. 这个比较有趣,用YOLO做英雄联盟人物的识别,打游戏的人应该会觉得好玩
part1:https://medium.com/@farzatv/deepleague-leveraging-computer-vision-and-deep-learning-on-the-league-of-legends-mini-map-giving-d275fd17c4e0
part2:https://medium.com/@farzatv/deepleague-part-2-the-technical-details-374439e7e09a
9. NLP入门教程,涵盖了大部分的NLP基础人物,适合初学
教程:https://blog.insightdatascience.com/how-to-solve-90-of-nlp-problems-a-step-by-step-guide-fda605278e4e
10. CMU春节深度学习课程开始,视频slides皆有,初学可以去跟
链接:http://deeplearning.cs.cmu.edu/
本文分享自 机器学习人工学weekly 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!