以下资料整理自比赛论坛,感谢这些无私开源的选手们,以下是整理TOP5方案的主要思路和模型,以便大家学习
代码:https://github.com/kangyishuai/NEWS-TEXT-CLASSIFICATION?spm=5176.12282029.0.0.36fa49f5Gm3dpr
主要思路:
代码:https://github.com/ZhouNLP/tcnlp
主要思路:
尝试了NLP文本分类任务中常用的思路,并且给出了实验中的一些总结,给我比较大的启发的地方是:
RNN网络,最大的亮点就是seq_len使用了2000个字符。令人震惊的原因有2点:一是长文本分类不通过HAN网络,而是单纯增加截取字符的长度是有用的;我们被bert等预训练模型限制了思维方式,对RNN来说,将seq_len增加到2000甚至更长是比较轻松的,但这对预训练模型来说是不可想象的。因为预训练模型的参数太多了,占用了太多内存。相比Bert模型的资源消耗,这种方法还是值的尝试的。
主要模型:
代码:https://github.com/Warrenheww/rank6_NLP_newstextclassification
所用模型及总体效果: