文章/答案/技术大牛

发布

社区首页 >问答首页 >禁止HuggingFace日志记录警告：“将`pad_token_id`设置为`eos_token_id`:{eos_token_id}用于开放端生成.”

问禁止HuggingFace日志记录警告：“将`pad_token_id`设置为`eos_token_id`:{eos_token_id}用于开放端生成.”
EN

Stack Overflow用户

提问于 2021-10-17 23:40:40

回答 1查看 3.3K关注 0票数 4

在HuggingFace中，每次调用pipeline()对象时都会收到警告：

`"Setting `pad_token_id` to `eos_token_id`:{eos_token_id} for open-end generation."

如何在不禁用所有日志记录警告的情况下抑制此警告？我想要其他的警告，但我不想要这个。

发布于 2022-03-08 15:42:40

警告是针对HuggingFace完成的任何文本生成任务的。这是对这里的解释，您可以看到代码这里。您可以通过手动将pad_token_id设置为eos_token_id来避免这种警告。

当你打电话的时候

model.generate(**encoded_input)

只要把它改成

model.generate(**encoded_input，pad_token_id=tokenizer.eos_token_id)

这样就可以消除错误了。但是，我还没有找到从管道接口直接设置这个值的方法。我猜您可以将一些参数传递给ArgumentHandler。但我还没试过。

票数 4

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/69609401

复制

相似问题

问禁止HuggingFace日志记录警告：“将`pad_token_id`设置为`eos_token_id`:{eos_token_id}用于开放端生成.”EN