首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【AI大模型】Transformers大模型库(十):repetition_penalty惩罚系数

本文重点介绍惩罚系数repetition_penalty。...二、惩罚系数repetition_penalty 2.1 概述 repetition_penalty是在使用预训练语言模型进行文本生成时,用于控制生成文本中重复词或短语的惩罚系数。...model.generate(input_ids, max_length=100, repetition_penalty=1.2) 在这个例子中,repetition_penalty设置为1.2,意味着模型在生成文本时会轻微惩罚重复的词组...如果repetition_penalty大于1,减少重复词的生成概率。 如果repetition_penalty等于1,保持原有生成策略。...如果repetition_penalty小于1,增加重复词的生成概率。 三、总结 本文先对大语言模型生成参数repetition_penalty进行讲解,希望可以帮助到您。

10010
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    ESimCSE:无监督语义新SOTA,引入动量对比学习扩展负样本,效果远超SimCSE

    因此,我们提出了一种更安全的方法,称为“Word Repetition”,它随机复制句子中的一些单词,如下图所示: 原句翻译为“我喜欢这个苹果,因为它看起来很新鲜,我认为它应该很好吃”。...相反,“Word Repetition”的方法可能会得到“我喜欢这个苹果,因为它看起来很新鲜,我认为它应该很好吃。”或“我喜欢这个苹果,因为它看起来很新鲜”我认为它应该很好吃。”...ESimCSE 在本节中,我们首先介绍ESimCSE构建正例对的方法:Word Repetition(单词重复)和 Momentum Contrast(动量对比学习)扩展负样本对。...Word Repetition Word Repetition单词重复机制会随机复制句子中的一些单词/子词。...作者还探讨了仅使用Word Repetition或Momentum Contrast时可以为 unsup-SimCSE带来多少改进。

    1K20

    ESimCSE:无监督语义新SOTA,引入动量对比学习扩展负样本,效果远超SimCSE

    因此,我们提出了一种更安全的方法,称为“Word Repetition”,它随机复制句子中的一些单词,如下图所示: 原句翻译为“我喜欢这个苹果,因为它看起来很新鲜,我认为它应该很好吃”。...相反,“Word Repetition”的方法可能会得到“我喜欢这个苹果,因为它看起来很新鲜,我认为它应该很好吃。”或“我喜欢这个苹果,因为它看起来很新鲜”我认为它应该很好吃。”...ESimCSE 在本节中,我们首先介绍ESimCSE构建正例对的方法:Word Repetition(单词重复)和 Momentum Contrast(动量对比学习)扩展负样本对。...Word Repetition Word Repetition单词重复机制会随机复制句子中的一些单词/子词。...作者还探讨了仅使用Word Repetition或Momentum Contrast时可以为 unsup-SimCSE带来多少改进。

    50810
    领券