在本地部署大模型的两种快捷方法

Langchain部署：方便快捷

可以用langchain框架搭建一个本地的AI聊天界面。

目前这个框架支持多种模型：

首先我们可以登录它的GitHub网站，然后下载它的源码：

https://github.com/chatchat-space/Langchain-Chatchat

1.安装 Langchain-Chatchat

pip install langchain-chatchat -U

2. 模型推理框架并加载模型

3. 初始化项目配置与数据目录

Langchain-Chatchat 使用本地 yaml 文件的方式进行配置，用户可以直接查看并修改其中的内容，服务器会自动更新无需重启

• 设置 Chatchat 存储配置文件和数据文件的根目录（可选）

# on linux or macos
export CHATCHAT_ROOT=/path/to/chatchat_data

# on windows
set CHATCHAT_ROOT=/path/to/chatchat_data

若不设置该环境变量，则自动使用当前目录。

• 执行初始化

chatchat init

4.启动项目

chatchat start -a

出现以下界面即为启动成功:

源码部署

这部分其实每个大模型都有各自部署的文档，但是一般我最喜欢用的还是直接通过transformers架构来部署。这样从代码层面上只需要几行就可以快速部署一个大模型了。

这里我以Qwen2.5大模型为例子，教大家如何快速部署一个大模型。

首先可以打开Qwen2.5代码仓库：

https://github.com/QwenLM/Qwen2.5?tab=readme-ov-file

可以看到官方其实已经写好了transformers如何调用这个模型的代码了，我们只需要拷贝下来：

然后去到transfromers官网，找到Qwen2.5的模型参数进行下载：

把下面的所有文件下载下来：

然后把代码中 model_name = "Qwen/Qwen2.5-7B-Instruct”这一行改成你下载的文件目录就可以了，只需要点击运行就可以快速部署一个大模型出来。

写在最后

上面两种方法是我自己常用的，不过个人还是喜欢源代码部署，毕竟源代码可以有更多的修改空间，也可以直接替换自己微调过后的大模型，所以还是方便更多。