谈谈我在自然语言处理进阶上的一些个人拙见

阅读大概需要6分钟

导读

自然语言处理这个方向我感觉已经泛滥了,很多方向的人都开始转向该专业,当然也包括转向计算机视觉的。之前我写过一篇文章

谈谈我在自然语言处理入门的一些个人拙见

对很多人有过帮助,我感到很开心。但是现在已经不同往日了,很多人早已经入门了。当然,如果你已经进阶了,就忽略这个文章吧。嘿嘿。很多人通过微信,公众号等问我:现在已经看完深度学习视频了,我该怎么办?或者我早已经写完分类器了,接下来怎么办?等等。

我就不一一解答了,其实我也很不好意思解答的,因为我自己现在也没啥成就,研究生3个多月了,论文还木有idea。。啊。我自己都头疼。但是,我可以通过自己,和身边师兄师姐,以及导师的经验来给大家说说。

放下书,动手实践

我导师是最不推荐看书的,当然我刚开始还是反对的,但是时间长了,觉得说的确实很对,很多资料网上都会有。而且,看书也有个问题,你虽然可以系统的学,但是有些东西你一般不会用到的,这就导致时间长了,你不用,你就忘了。其实你目前的知识已经可以了,你了解了深度学习,早就把CNN,RNN(LSTM等变形)懒熟于心,听都听烦了。其实基础已经可以了。该动手实践了。咳咳,马克思说过,实践是检验真理的唯一途径。是吧。

灵活掌握各种常用模型

那么怎么实践呢?我的建议是从学会玩模型开始。当然你有更好的方法,更好。

简单的CNN你已经会了,你应该知道咱们通常用的是单通道的CNN,那么你会写多通道的吗?(多通道其实NLP中用了也是最多2通道,一个是随机化embedding,一个是预训练embedding)然后多层CNN也可以尝试呀。

word级别的你是经常用了,那么char的呢?写写CharCNN(Char经过CNN 然后和Word的embedding cat到一起,得到新的embedding然后再经过CNN)

LSTM你会了,那么和CNN结合怎么用呢?先CNN在LSTM或者先LSTM再CNN都可以,你试试。

之前用的都是线性的,那么非线性的,比如句法树呢?又该怎么用呢?现在常用的有TreeGRU和TreeLSTM,你都可以试试。

再进阶就是seq2seq模型,这个很常用的,别名也可以说是encoder-decoder模型(这里的attention机制你需要具体了解下)。

如果你想挑战下自己,可以看看去年google刚提出的模型Transformer!地址为

http://nlp.seas.harvard.edu/2018/04/03/attention.html

当然,上述只是说了一部分,你有自己的模型学习路线更好啦。

基础的都掌握之后,感觉你就不会定性到最初的CNN,LSTM模型当中了。觉得模型原来可以这么灵活?就会对自己产生了自信感。

然后就可以看论文,看别人的模型怎么实现。最之前的时候,我看别人论文的模型的时候,都是,额,这是怎么搭建的?如果你会了上述的模型,你再看别人论文的时候,心里起码比之前更有底气,更好的情况是论文的模型图你一看心里就已经用代码搭建完毕这个模型!

上面的模型,网上其实很多的,推荐用github搜索,然后选择自己的编程偏好的代码即可。

这个时候我得附上我师兄写的各种模型了,虽然没有包括上述所有的模型,但是可以借鉴!

当然也可以看我自己最近刚搭建的模型框架(我自己都不好意思放出来,还不完整,每天会抽时间完善下)

欢迎大家star和fork

搭建自己的代码框架

我之前写代码都不怎么考虑可读性,别人的可用性。既然是进阶阶段,就要学会自己搭建自己的框架。看看导师的github的代码风格,看看你敬佩的师兄的代码风格,或者看看国外大佬的代码风格等。多看看,最终形成自己的代码风格。看看模块怎么搭建?代码怎么注释?哪些函数用起来即简单又方便等。

搭建自己github项目时,记得写readme!(额,我现在还没写,但是马上就会完善的,咳咳)要把readme写的越详细越好,最好能让别人看到你的readme直接就能灵活运用你的代码。

对了,这里说下为什么要搭建自己的模型框架:因为自己的框架搭建好之后,以后无论写写什么模型,都可以直接套过来用,不用再重新实现一些重复的代码。

其他建议

CRF你需要了解;要实时关注咱们这个方向的国际大牛的动态;慢慢补充自己的概率论,线数的短板(这个目前我刚开始要补,哎,加油加油);每天学点英语吧,为以后写论文打基础(我坚持了很长时间后,现在有点松懈,不行不行,继续坚持)

好了,就到这里吧,有什么问题,留言告诉我


原文发布于微信公众号 - 深度学习自然语言处理(zenRRan)

原文发表时间:2018-11-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

IBM提出深度学习模型水印方法,可防止侵权

如果机器学习模型可以在照片,电影,音乐和手稿添加水印以表明所有权,防止知识产权窃取,并防止攻击者损害其完整性,该会如何呢?IBM正在申请新的专利,他们可以做到这...

24620
来自专栏人工智能头条

Etsy 数据科学主管洪亮劼带你读:WWW 2017 精选论文

15940
来自专栏数据小魔方

一点儿建议、一枚彩蛋~~~

这段时间写了太多的教程,感觉自己都写烦了,不知道大家看的烦不烦,今天没有教程,写一点儿心得总结下这段时间以来的经验和体会,顺便介绍一款图表插件,也将是小魔方下一...

44750
来自专栏marsggbo

[转载] 机器学习数据集统计系列一

作者:宋天龙 链接:https://www.zhihu.com/question/63383992/answer/222718972 来源:知乎

17520
来自专栏AI科技评论

深度学习——你需要了解的八大开源框架

导读:深度学习(Deep Learning)是机器学习中一种基于对数据进行表征学习的方法,深度学习的好处是用非监督式或半监督式的特征学习、分层特征提取高效算法来...

49160
来自专栏机器之心

业界 | 百度人机交互新研究:仅用少量样本生成高质量多说话者语音

28850
来自专栏Hadoop数据仓库

HAWQ取代传统数仓实践(十二)——维度表技术之分段维度

一、分段维度简介         在客户维度中,最具有分析价值的属性就是各种分类,这些属性的变化范围比较大。对某个个体客户来说,可能的分类属性包括:性别、年龄、...

262100
来自专栏大数据文摘

分辨真假数据科学家的20个问题及回答

22130
来自专栏人工智能LeadAI

我与Python | 从Hacker到探索Deep Learning

为什么是Python 人生苦短,我用Python... ? 'Life is short, you need Python!' 进入大学之后,我们逐渐“被教授”...

52770
来自专栏机器之心

资源 | 吴恩达《ML Yearning》52章译文,一份很有诚意的GitHub项目

在该 GitHub 项目中,读者可直接下载各章节译文的 MarkDown 文档,也可以下载 PDF 版的英文原版。此外为了有更好的阅读体验,作者为这个项目构建了...

8510

扫码关注云+社区

领取腾讯云代金券