AutoGen完整教程和加载本地LLM示例

Autogen是一个卓越的人工智能系统，它可以创建多个人工智能代理，这些代理能够协作完成任务，包括自动生成代码，并有效地执行任务。

在本文中，我们将深入探讨Autogen，并介绍如何让AutoGen使用本地的LLM

AutoGen

Autogen能够设置多个人工智能代理，它们协同工作以实现特定目标。以下截图来自微软官方博客

使用conda创建环境：

conda create -n pyautogen python=3.10

conda activate pyautogen

AutoGen需要Python版本>= 3.8。它可以从pip安装:

pip install pyautogen

编辑Python脚本(app.py)，导入Autogen并设置配置。此配置包括定义想要使用的模型(例如，GPT 3.5 turbo)并提供API密钥。

目前AutoGen只能使用OpenAI的API，所以我们在后面介绍如何使用本地的LLM。

可以定义多个代理来处理不同的角色或任务,比如下面就创建了2个角色

autogen.AssistantAgent(assistantname="CTO",Illm_config=llm_config)

autogen.AssistantAgent(assistantname="CEO", Illm_config=llm_config)

定义任务和说明:希望代理执行的特定任务。这可以是任何指令，从编码到数据分析。

这样代理将根据指示开始执行任务。Assistant代理使用结果或代码片段进行响应。

使用本地的LLM

下面我们将演示如何让autogen使用本地的LLM。这里将使用FastChat作为LLM的本地媒介。

FastChat为其支持的模型提供了与OpenAI兼容的api，所以可以使用FastChat作为OpenAI api的本地替代。但是它的代码需要稍加修改才能正常工作。

git clone https://github.com/lm-sys/FastChat.git

cd FastChat

ChatGLM-6B是基于通用语言模型(General language model, GLM)框架的开放式双语语言模型，具有62亿个参数。ChatGLM2-6B是其第二代产品。

git clone https://huggingface.co/THUDM/chatglm2-6b

都下载完成后就可以使用了,先启动控制器：

然后就是启动模型工作线程。

最后是API:

注意：如果遇到这样的错误

/root/anaconda3/envs/fastchat/lib/python3.9/runpy.py:197 in _run_module_as_main │

│ │

│ 194 │ main_globals = sys.modules["main"].dict │

│ 195 │ if alter_argv: │

│ 196 │ │ sys.argv[0] = mod_spec.origin │

│ 197 │ return _run_code(code, main_globals, None, │

│ 198 │ │ │ │ │ "main", mod_spec) │

│ 199 │

│ 200 def run_module(mod_name, init_globals=None, │

注释掉fastchat/protocol/ api_protocol.py和fastchat/protocol/openai_api_protocol.py中包含finish_reason的所有行将解决问题。修改后的代码如下:

class CompletionResponseChoice(BaseModel):

   index: int

   text: str

   logprobs: Optional[int] = None

   # finish_reason: Optional[Literal["stop", "length"]]

class CompletionResponseStreamChoice(BaseModel):

   index: int

   text: str

   logprobs: Optional[float] = None

   # finish_reason: Optional[Literal["stop", "length"]] = None

使用下面的配置，autogen.oai.Completion和autogen.oai.ChatCompletion可以直接访问模型。

from autogen import oai

# create a text completion request

response = oai.Completion.create(

   config_list=[

      {

           "model": "chatglm2-6b",

           "api_base": "http://localhost:8000/v1",

           "api_type": "open_ai",

           "api_key": "NULL", # just a placeholder

      }

  ],

   prompt="Hi",

)

print(response)

# create a chat completion request

response = oai.ChatCompletion.create(

   config_list=[

      {

           "model": "chatglm2-6b",

           "api_base": "http://localhost:8000/v1",

           "api_type": "open_ai",

           "api_key": "NULL",

      }

  ],

   messages=[{"role": "user", "content": "Hi"}]

)

print(response)

在本地也可以使用多个模型：

那么推理的代码如下（注意，你要有多卡或者显存足够）：

from autogen import oai

# create a chat completion request

response = oai.ChatCompletion.create(

   config_list=[

      {

           "model": "chatglm2-6b",

           "api_base": "http://localhost:8000/v1",

           "api_type": "open_ai",

           "api_key": "NULL",

      },

      {

           "model": "vicuna-7b-v1.3",

           "api_base": "http://localhost:8000/v1",

           "api_type": "open_ai",

           "api_key": "NULL",

      }

  ],

   messages=[{"role": "user", "content": "Hi"}]

)

print(response)总结

Autogen代理可以根据需要执行代码、生成报告和自动执行任务。他们可以协同高效地工作，节省时间和精力，我们还介绍了如何在本地使用，这样可以在本地进行测试，而不需要OpenAI的API。

微软的Autogen官网

https://microsoft.github.io/autogen/docs/Examples/AutoGen-AgentChat/