使用ChatGLM记录

ChatGLM

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。

• 官方网站：https://chatglm.cn/
• 项目地址：https://github.com/THUDM/ChatGLM-6B
• 相关PPT：ChatGLM: 从千亿模型到ChatGPT
• 相关实践：https://www.heywhale.com/mw/project/643977aa446c45f4592a1e59

安装

先clone项目：

git clone https://github.com/THUDM/ChatGLM-6B.git

然后进入项目ChatGLM-6B后，安装需要的环境

pip install -r requirements.txt

其中 transformers 库版本推荐为 4.27.1，但理论上不低于 4.23.1 即可。

此外，如果需要在 cpu 上运行量化后的模型，还需要安装 gcc 与 openmp。多数 Linux 发行版默认已安装。对于 Windows ，可在安装 TDM-GCC 时勾选 openmp。 Windows 测试环境 gcc 版本为 TDM-GCC 10.3.0， Linux 为 gcc 11.3.0。在 MacOS 上请参考 Q1。

下载本地模型

基于自己硬件条件来安排：

目前模型越大，性能越好，对应的地址有：

• https://huggingface.co/THUDM/chatglm-6b/
• https://huggingface.co/THUDM/chatglm-6b-int8
• https://huggingface.co/THUDM/chatglm-6b-int4

这里以fp16为例，不做量化处理。进入https://huggingface.co/THUDM/chatglm-6b/tree/main

创建chatglm-6b文件夹并进入

image-20230615171758763.png

将所有的文件都下载到该文件夹下：

image-20230615163508460.png

如果是已联网的远程服务器，可以直接通过wget下载，下载链接就是那个下载符号对应的链接：

image-20230615163604209.png

wget https://huggingface.co/THUDM/chatglm-6b/resolve/main/pytorch_model-00001-of-00008.bin

image-20230615164007802.png

代码调用

可以通过如下代码调用 ChatGLM-6B 模型来生成对话：

>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-fp16", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
>>> model = model.eval()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。
>>> response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
>>> print(response)
晚上睡不着可能会让你感到焦虑或不舒服,但以下是一些可以帮助你入睡的方法:

1. 制定规律的睡眠时间表:保持规律的睡眠时间表可以帮助你建立健康的睡眠习惯,使你更容易入睡。尽量在每天的相同时间上床,并在同一时间起床。
2. 创造一个舒适的睡眠环境:确保睡眠环境舒适,安静,黑暗且温度适宜。可以使用舒适的床上用品,并保持房间通风。
3. 放松身心:在睡前做些放松的活动,例如泡个热水澡,听些轻柔的音乐,阅读一些有趣的书籍等,有助于缓解紧张和焦虑,使你更容易入睡。
4. 避免饮用含有咖啡因的饮料:咖啡因是一种刺激性物质,会影响你的睡眠质量。尽量避免在睡前饮用含有咖啡因的饮料,例如咖啡,茶和可乐。
5. 避免在床上做与睡眠无关的事情:在床上做些与睡眠无关的事情,例如看电影,玩游戏或工作等,可能会干扰你的睡眠。
6. 尝试呼吸技巧:深呼吸是一种放松技巧,可以帮助你缓解紧张和焦虑,使你更容易入睡。试着慢慢吸气,保持几秒钟,然后缓慢呼气。

如果这些方法无法帮助你入睡,你可以考虑咨询医生或睡眠专家,寻求进一步的建议。

Demo & API

先确认相关代码的模型文件名是否跟自己下载的模型文件名一致，如果不一致先进行修改。

• web_demo.py

image-20230615170548214.png

如果不一致的话，修改文件名为对应的chatglm-6b

• api.py

image-20230615170747801.png

如果不一致的话，修改文件名为对应的chatglm-6b

• cli_demo.py

image-20230615170922825.png

如果不一致的话，修改文件名为对应的chatglm-6b

web_demo

web_demo是基于gradio开发的，这里可以进一步修改，指定ip和port，便于远程访问:

image-20230615171225834.png

输入python web_demo.py经过一段时间的等待，出现如下图一样的输出就代表运行成功，在浏览器输入地址：http://xxxxxx:xxxxx，就可以愉快地使用chatglm~

image-20230615171504137.png

image-20230615171537568.png

image-20230615171556092.png

api

在命令行输入python api.py，经过一段时间的运行，出现如下输出，就是运行成功。

image-20230615173532384.png

按照官网给的示例,

curl -X POST "http://127.0.0.1:8000"
-H 'Content-Type: application/json'
-d '{"prompt": "你好", "history": []}'

回复：

{"response":"你好！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。",
 "history":[["你好","你好！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。"]],
 "status":200,
 "time":"xxxxx"}

可以使用python中的requests库进行访问，可以把这个代码封装一下实现多轮对话。

import requests
import json

url = 'http://127.0.0.1:8000'
headers = {'Content-Type': 'application/json'}
data = {"prompt": "你好", "history": []}

response = requests.post(url=url, headers=headers, data=json.dumps(data))
response.json()

cli_demo

在命令行输入python cli_demo.py，经过一段时间的运行，出现如下输出，就是运行成功。

image-20230615173812827.png

然后就可以在终端和它进行对话，就像运行wei_demo.py一样。

image-20230615173921349.png

其它设备部署

cpu

如果没有 GPU 硬件的话，也可以在 CPU 上进行推理，但是推理速度会更慢（大概需要 32GB 内存）

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

如果内存不足，可以直接加载量化后的模型：

# INT8 量化的模型将"THUDM/chatglm-6b-int4"改为"THUDM/chatglm-6b-int8"
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4",trust_remote_code=True).float()

mac部署

对于搭载了 Apple Silicon 或者 AMD GPU 的Mac，可以使用 MPS 后端来在 GPU 上运行 ChatGLM-6B。需要参考 Apple 的 官方说明 安装 PyTorch-Nightly。

目前在 MacOS 上只支持从本地加载模型。将代码中的模型加载改为从本地加载，并使用 mps 后端：

model = AutoModel.from_pretrained("your local path", trust_remote_code=True).half().to('mps')

加载半精度的 ChatGLM-6B 模型需要大概 13GB 内存。内存较小的机器在空余内存不足的情况下会使用硬盘上的虚拟内存，导致推理速度严重变慢。此时可以使用量化后的模型如 chatglm-6b-int4。因为 GPU 上量化的 kernel 是使用 CUDA 编写的，因此无法在 MacOS 上使用，只能使用 CPU 进行推理。

# INT8 量化的模型将"THUDM/chatglm-6b-int4"改为"THUDM/chatglm-6b-int8"
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4",trust_remote_code=True).float()

为了充分使用 CPU 并行，还需要单独安装 OpenMP。

多卡部署

如果一台机器有多张 GPU，但是每张 GPU 的显存大小都不足以容纳完整的模型，那么可以将模型切分在多张GPU上。首先安装 accelerate: pip install accelerate，然后通过如下方法加载模型：

from utils import load_model_on_gpus
model = load_model_on_gpus("THUDM/chatglm-6b", num_gpus=2)

即可将模型部署到两张 GPU 上进行推理。可以将 num_gpus 改为你希望使用的 GPU 数。默认是均匀切分的，也可以传入 device_map 参数来自己指定。

参考

• https://github.com/THUDM/ChatGLM-6B
• https://huggingface.co/THUDM/chatglm-6b
• https://github.com/THUDM/P-tuning-v2
• https://github.com/hwchase17/langchain
• https://github.com/imClumsyPanda/langchain-ChatGLM
• https://github.com/openai/openai-cookbook
• https://python.langchain.com/en/latest/getting_started/getting_started.html