陈丹琦的这个工作不错,之前的文本相似度基本只是一个分数,而其实可以分为很多不同视角下的相似情况,这里相当于重新定义了任务。另外,数据构建也是通过模型生成,一切都很方便快捷。最后实验也表明GPT4也时而会出错,这个开拓的方向可以继续深入研究个探讨。
下面站在作者角度具体了解下吧。
论文:C-STS: Conditional Semantic Textual Similarity 地址:https://arxiv.org/abs/2305.15093 单位:Princeton、Allen AI等
语义文本相似性(STS)一直是NLP中的一项基石任务,它测量一对句子之间的相似程度,在信息检索,问答和嵌入方法中得到了应用。
然而,这是一项固有的模棱两可的任务,句子相似性取决于感兴趣的特定方面。
我们通过提出一项称为条件STS(C-STS)的新任务来解决这种歧义,该任务以自然语言阐明的方面(此处为条件)来衡量相似性。
例如,句子“NBA球员投三分球”和“一个人将网球抛向空中发球”之间的相似性对于“球的运动”条件更高(向上)。和较低的“球的大小”(一大一小)。
C-STS具有双重优势:(1)它降低了STS的主观性和模糊性, (2)可以使用不同的条件进行细粒度的相似性评估。
数据的智能构建过程
C-STS 包含来自不同领域的近 20,000 个实例,我们评估了几个最先进的模型,以证明即使是性能最高的微调和上下文学习模型(GPT-4、Flan、SimCSE)也发现它具有挑战性,Spearman 相关分数为 <50。
我们鼓励社区在 C-STS 上评估他们的模型,以提供更全面的语义相似性和自然语言理解视图。