首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

ESimCSE:无监督语义新SOTA,引入动量对比学习扩展负样本,效果远超SimCSE

因此,我们提出了一种更安全的方法,称为“Word Repetition”,它随机复制句子中的一些单词,如下图所示: 原句翻译为“我喜欢这个苹果,因为它看起来很新鲜,我认为它应该很好吃”。...相反,“Word Repetition”的方法可能会得到“我喜欢这个苹果,因为它看起来很新鲜,我认为它应该很好吃。”或“我喜欢这个苹果,因为它看起来很新鲜”我认为它应该很好吃。”...ESimCSE 在本节中,我们首先介绍ESimCSE构建正例对的方法:Word Repetition(单词重复)和 Momentum Contrast(动量对比学习)扩展负样本对。...Word Repetition Word Repetition单词重复机制会随机复制句子中的一些单词/子词。...作者还探讨了仅使用Word Repetition或Momentum Contrast时可以为 unsup-SimCSE带来多少改进。

1K20

ESimCSE:无监督语义新SOTA,引入动量对比学习扩展负样本,效果远超SimCSE

因此,我们提出了一种更安全的方法,称为“Word Repetition”,它随机复制句子中的一些单词,如下图所示: 原句翻译为“我喜欢这个苹果,因为它看起来很新鲜,我认为它应该很好吃”。...相反,“Word Repetition”的方法可能会得到“我喜欢这个苹果,因为它看起来很新鲜,我认为它应该很好吃。”或“我喜欢这个苹果,因为它看起来很新鲜”我认为它应该很好吃。”...ESimCSE 在本节中,我们首先介绍ESimCSE构建正例对的方法:Word Repetition(单词重复)和 Momentum Contrast(动量对比学习)扩展负样本对。...Word Repetition Word Repetition单词重复机制会随机复制句子中的一些单词/子词。...作者还探讨了仅使用Word Repetition或Momentum Contrast时可以为 unsup-SimCSE带来多少改进。

49410
领券