pydantic实现的LLM ReAct - plus studio - StudyingLover

def calculate(what):
    return eval(what)


def average_dog_weight(name):
    if name in "Scottish Terrier":
        return "Scottish Terriers average 20 lbs"
    elif name in "Border Collie":
        return "a Border Collies average weight is 37 lbs"
    elif name in "玩具贵宾犬":
        return "玩具贵宾犬的平均体重为 7 磅"
    else:
        return "An average dog weights 50 lbs"

system_prompt = f"""
你是一个结构化数据的处理器,你精通json格式的数据,并且可以输出结构化的json数据。你可以根据给定的文字和json scheme,输出符合scheme的json数据。请注意,你的输出会直接被解析,如果格式不正确,会导致解析失败,你会被狠狠地批评的。
"""

react_prompt = f"""
你在一个思考、行动、暂停、观察的循环中运行。

你可用的操作是：

1. 计算：
例如计算：4 * 7 / 3
运行计算并返回数字 - 使用 Python，因此请确保在必要时使用浮点语法

2. 平均狗体重：
例如平均狗体重：牧羊犬
在给定品种的情况下返回狗的平均体重

下面是acions的文档：
{action_doc}

你的输出应该是一个json格式的字符串，输出需要遵循的json scheme如下：{LLMOutput.model_json_schema()}
其中
- thinkint 是你的思考
- actions 是你的行动
- parameter 是你需要执行行动的参数
- observation 是你的观察
- answer 是你的答案


当你认为自己已经找到了答案时，不输出actions,同时输出answer。
输出时，**直接返回json字符串**，不需要任何额外的输出，你的输出将被直接解析为json字符串，所以请确保你的输出是一个合法的json字符串。
不要在输出中包含任何额外的信息，只需返回json字符串。你的输出将被使用LLMOutput.model_validate_json建立一个LLMOutput对象
每次输出之进行一步操作，不要在一个输出中包含多个操作。
"""

class Agent:
    def __init__(self, system="你好"):
        self.system = system
        self.messages = []
        if self.system:
            self.messages.append({"role": "system", "content": system})

    def __call__(self, message):
        self.messages.append({"role": "user", "content": message})
        result = self.execute()
        self.messages.append({"role": "assistant", "content": result})
        return result

    def execute(self):
        completion = client.chat.completions.create(
            model="deepseek-chat", messages=self.messages
        )
        return completion.choices[0].message.content

def query(question, max_turns=5):
    i = 0
    bot = Agent(system_prompt)
    next_prompt = react_prompt + question
    while i < max_turns:
        i += 1
        result = extract_json(bot(next_prompt))
        print("*" * 80)
        print("Output: ", result)
        llm_output = LLMOutput.model_validate_json(result)
        if llm_output.actions:
            print("Actions:", llm_output.actions)
            # There is an action to run

            if llm_output.actions not in Actions.__members__.keys():
                raise Exception(
                    "Unknown action: {}: {}".format(
                        llm_output.actions, llm_output.parameter
                    )
                )
            print(" -- running {} {}".format(llm_output.actions, llm_output.parameter))
            observation = eval(Actions[llm_output.actions])(**(llm_output.parameter))
            print("Observation:", observation)
            next_prompt = "Observation: {}".format(observation)
        else:
            return llm_output.answer

Output:  {
  "thinkint": "我需要计算两只狗的总体重",
  "actions": "average_dog_weight",
  "parameter": {
    "name": "Border Collie"
  },
  "observation": "获取边境牧羊犬的平均体重",
  "answer": ""
}
Actions: Actions.average_dog_weight
 -- running Actions.average_dog_weight {'name': 'Border Collie'}
Observation: a Border Collies average weight is 37 lbs
********************************************************************************
Output:  {
  "thinkint": "我已经知道边境牧羊犬的平均体重是37磅，现在需要获取苏格兰梗犬的平均体重",
  "actions": "average_dog_weight",
  "parameter": {
    "name": "Scottish Terrier"
  },
  "observation": "获取苏格兰梗犬的平均体重",
  "answer": ""
}
Actions: Actions.average_dog_weight
 -- running Actions.average_dog_weight {'name': 'Scottish Terrier'}
Observation: Scottish Terriers average 20 lbs
********************************************************************************
Output:  {
  "thinkint": "我已经知道苏格兰梗犬的平均体重是20磅，现在可以计算两只狗的总体重",
  "actions": null,
  "parameter": null,
  "observation": "计算两只狗的总体重",
  "answer": "两只狗的总体重是57磅"
}
两只狗的总体重是57磅