首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Prompt+对比学习,更好地学习句子表征

虽然BERT等语言模型有很大的成果,但在对句子表征方面(sentence embeddings)上表现依然不佳,因为BERT存在 sentence bias 、 anisotropy 问题; 我们发现prompt...现有的研究表明,BERT的句向量存在一个 坍缩现象 ,也就是句向量受到高频词的影响,进而坍缩在一个凸锥,也就是各向异性,这个性质导致度量句子相似性的时候存在一定的问题,这也就是 anisotropy 问题...{n^2-n}\left|\sum_i \sum_{j \neq i} \cos \left(M\left(s_i\right), M\left(s_j\right)\right)\right| anisotropy...对比了不同的语言模型,预实验如下所示: 从上表可以看出,貌似anisotropy对应的spearman系数比较低,说明相关性不大。...比如bert-base-uncased, 可以看出static token embedding的anisotropy很大,但是最终的效果也差不多。

50840
您找到你想要的搜索结果了吗?
是的
没有找到

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券