【AI100 导读】选 CNN 模型还是 RNN 模型?对于初学者来说,这是个很困难的问题。读博还是赌博?李沐写下了自己的经历,也许会有一些启发。
1. One Paper
Comparative Study of CNN and RNN for Natural Language Processing
本文系统地对比了 CNN 和 RNN 在 NLP 各大任务上的表现,包括:情感分类、关系分类、文本蕴含、答案选择、问题关系匹配、PQA、词性标注等。RNN 在大部分任务上都表现的更好,除了在关键词匹配和识别这类任务不如 CNN。这篇文章有很多不错的结论,值得一读!
链接:
https://arxiv.org/abs/1702.01923
2. One Code
TensorFlow Fold
TensorFlow 也开始支持动态计算图,与 PyTorch 和 DyNet 一比高下。
项目主页:
https://github.com/tensorflow/fold/
详细介绍:
https://research.googleblog.com/2017/02/announcing-tensorflow-fold-deep.html
3. One Course
牛津大学2017年 NLP 课程
课程讲稿地址:
https://github.com/oxford-cs-deepnlp-2017/lectures
4. One Deep
引自李沐对 CMU 博士五年的总结文章《博士这五年》
“对于第一个问题,这五年时间自然学到了很多东西,例如系统的学习了分布式系统,紧跟了机器学习这五年的发展,写文章做幻灯片做报告水平有提升,代码能力也加强了些。自信上有所提高,觉得既可以做一流的研究,也可以写跟大团队 PK 的代码。只要努力,对手没什么可怕的。但更重要的是博士的五年的时间可以专注的把一些事情从技术上做到最好,做出新的突破,这个氛围没有其他地方能给予。”
“不过我觉得还是会选择读博。赚钱以后还有大把时间可以,但是能花几年时间在某个领域从入门到精通甚至到推动这个领域发展的机会就一次。站在这个领域的高点会发现世界虽然很大,但其实其他领域也使用差不多的技术,有着同样的发展规律。博士期间领悟到的学习的方法可以在各个方向上都会大有作为。”
“更重要的是理想和情怀。人一生要工作五十年,为什么不花五年来追求下理想和情怀呢?”
本文为 AI100 原创,转载需获同意。