清华大语言模型chatGLM的安装使用

介绍

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 [General Language Model (GLM)] 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，

安装

安装常规的软件python 3.8以上

安装git LFS 下载模型用

```

git clone https://github.com/THUDM/ChatGLM-6B.git

cd ChatGLM-6B

pip install -r requirements.txt

pip install gradio

python web_demo.py

```

下载模型（保证安装了GIT LFS）

```

git clone https://huggingface.co/THUDM/chatglm-6b

```

下载完成后，把运行的web_demo.py或者其它文件里面的模型径路修改

API部署

首先需要安装额外的依赖 `pip install fastapi uvicorn`

```

python api.py

```

默认部署在本地的 8000 端口，通过 POST 方法进行调用

```

curl -X POST "http://127.0.0.1:8000" \

-H 'Content-Type: application/json' \

-d '{"prompt": "你好", "history": []}'

```

得到的返回值为

```

{

"response":"你好！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。",

"history":[["你好","你好！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。"]],

"status":200,

"time":"2023-03-23 21:38:40"

}

```

注意

MAC用户运行的时候打开运行文件，把这一段换掉

```

# model = AutoModel.from_pretrained("chatglm-6b", trust_remote_code=True).half().cuda()

model = AutoModel.from_pretrained("chatglm-6b", trust_remote_code=True).half().to('mps')