如何评价AllenNLP？

重磅干货，第一时间送达

编辑：忆臻

https://www.zhihu.com/question/65122939

本文仅作为学术分享，如果侵权，会删文处理

如何评价AllenNLP？

作者：Suneburg

https://www.zhihu.com/question/65122939/answer/527370392

参与AllenNLP的几位大哥(Matt Gardner, Mark Neumann, Joel Grus)在刚完事儿的EMNLP 2018上给了一个tutorial，主要是探讨一下NLP研究中的最佳搬砖实践：

allenai/writing-code-for-nlp-research-emnlp2018

github.com

而AllenNLP正是他们在ppt中的精神指导下不断迭代后的产物。

除了少部分工程能力极强的大神，大部分研究者的code在“软件工程”这个范畴之内是与工业界有着一定的差距的。可能有人会说作为一个researcher，我只需快速迭代idea，验证想法就可以了。但是一份遵循规范的code恰恰可以加速实验的迭代。例如单元测试可以更好的确保code没有bug，设计良好的模块化可以更方便的帮助我们构建模型的不同变种等等。

如果你还没有一套自己熟悉的workflow，可以尝试用AllenNLP来跑一下自己的模型，它可以让你专注于自己模型的实现，用一套规范并且可方便配置(json)的流程为你接管training，evaluate，inference的过程，并且有一套解决NLP痛点的数据预处理流程(allennlp.data)，它将每条input建模成由不同field组成的Instance，什么tokenization，vocabulary building，embedding lookup全部帮你搞定，更是帮你写了N个主流dataset的reader，安排的明明白白。不提设计的合理性，光是实现上述这些功能要占多少代码量大家可以自己掂量一下。

如果你是一个老手，当然也可以扫一扫AllenNLP的框架，取其精华。

当然这个框架也有他自己的不足之处，不过因为其基于Pytorch实现，大家可以方便的DIY已满足自己的需求，另外其github repo还算比较活跃，没事儿提个issue什么的基本都能很快回复。

最后说两句题外话，现在AllenNLP这个项目在AI2里边由刚去的Noah Smith(a href="https://twitter.com/nlpnoah">@nlpnoah)领导，Matt Gardner(a href="https://twitter.com/nlpmattg">@nlpmattg)的twitter干货很多，Joel Grus(a href="https://twitter.com/joelgrus">@joelgrus)以前直播手撸深度学习框架，录像在youtube上有，大家有时间可以瞄一眼，围观一下大佬是怎么敲代码的。

作者：赤乐君

https://www.zhihu.com/question/65122939/answer/707023439

一律0元，一律0元，买不了吃亏买不了上当！

最近正式开始使用AllenNLP作为研究工具了，能方便调用各种模型并用json配置的写法非常方便。

不仅仅是源码值得学习，面向对象的代码结构组织的非常好，也非常值得借鉴。本来我参考了几个pytorch style guide自己组织项目结构，结果用了AllenNLP才发现，还是人家的架构更合理。

最令我感动的自动保持最佳模型，记录所有训练log，这些贴心的小功能真得能感受到这是个能提高生产力的学术工具。

作者：赵俊博 Jake

https://www.zhihu.com/question/65122939/answer/521744061

ELMO, ELMO, ELMO

https://allennlp.org/elmo

allennlp.org

这个工作是个先驱，领导了2018年在NLP上做迁移学习的风潮。

实现原理

非常简单的模型，几乎是2015年我们也可以想出来的：RNN的语言模型，双向，大规模语料库上训练。可能技术上的新的一点是学习一个mixture来结合不同层在LSTM的output。

效果

我本人亲测过，惊过。

后续影响

BERT, BERT, BERT

https://arxiv.org/abs/1810.04805Pre-training of Deep Bidirectional Transformers for Language UnderstandingPre-training of Deep Bidirectional Transformers for Language Understanding

这基本上是两三周之前的事情，刷爆了各种数据集。

其他

其实还有很多AllenNLP的工作成果，比如说BiDAF:https://arxiv.org/pdf/1611.01603.pdf

他们还有个podcast关于NLP的，比较推荐。

我个人觉得是很solid的research institute。值得关注