AttributeError: ‘Qwen2ForCausalLM‘ object has no attribute ‘chat‘ 解决方案

ApacheCN_飞龙

发布于 2024-04-02 09:27:27

2880

发布于 2024-04-02 09:27:27

解决方案是参照其它LLM给它补上chat()方法：

def chat(model, tok, ques, history=[], **kw):
    iids = tok.apply_chat_template(
		history + [{'role': 'user', 'content': ques}], 
		add_generation_prompt=1,
	)
	oids = model.generate(
		inputs=torch.tensor([iids]).to(model.device),
		**(model.generation_config.to_dict() | kw),
	)
	oids = oids[0][len(iids):].tolist()
	if oids[-1] == tok.eos_token_id:
		oids = oids[:-1]
	ans = tok.decode(oids)
	
	return ans

Qwen2ForCausalLM.chat = chat

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2024-04-01，如有侵权请联系 cloudcommunity@tencent.com 删除

解决方案