首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

XLNet : 运行机制及和 Bert 的异同比较

这两天,XLNet 貌似也引起了 NLP 圈的极大关注,从实验数据看,在某些场景下,确实 XLNet 相对 Bert 有很大幅度的提升。就像我们之前说的,感觉 Bert 打开两阶段模式的魔法盒开关后,在这条路上,会有越来越多的同行者,而 XLNet 就是其中比较引人注目的一位。当然,我估计很快我们会看到更多的这个模式下的新工作。未来两年,在两阶段新模式 ( 预训练 + Finetuning ) 下,应该会有更多的好工作涌现出来。根本原因在于:这个模式的潜力还没有被充分挖掘,貌似还有很大的提升空间。当然,这也意味着 NLP 在未来两年会有各种技术或者应用的突破,现在其实是进入 NLP 领域非常好的时机。原因有两个,一个是 NLP 正面临一个技术栈大的改朝换代的时刻,有很多空白等着你去填补,容易出成绩;另外一点,貌似 Bert+Transformer 有统一 NLP 各个应用领域的趋向,这意味着此时进入 NLP 领域,具备学习成本非常低的好处,和之前相比,投入产出比非常合算。这是两个原因。当然,即使如此,想要学好 NLP ,持续的精力投入是必不可少的。有句老话说得好:“永恒的爱大约持续三个月”,这句话其实对于很多对 NLP 感兴趣的同学也成立:“对 NLP 的永恒的热情大约能够持续3到5天”,希望真的有兴趣的同学能坚持一下,起码持续7到8天,凑够一个星期…..

03
领券