用腾讯Cloud Studio一键免费部署AI大模型

AI大模型部署到本地很耗资源，需要很大的内存和硬盘，很多电脑都满足不了要求。而且部署过程很复杂，非专业人士很难上手。

借助腾讯Cloud Studio，可以实现一键免费部署AI大模型。腾讯Cloud Studio（云端 IDE）是基于浏览器的集成式开发环境，为开发者提供了一个稳定的云端工作站。用户在使用 Cloud Studio 时无需安装，随时随地打开浏览器即可使用。

免费版的提高那个40G存储，还可以使用GPU算力，能够即开即用使用AI框架、AI模型、AI应用。注册登陆腾讯Cloud Studio，点击空间模版，打开AI模板：https://ide.cloud.tencent.com/dashboard/ai

里面有pytorch、TensorFlow、chatGLM大模型和Ollama。选择chatGLM大模型。ChatGLM是一种基于Transformer架构的生成式语言模型，主要用于聊天和对话任务。它由清华大学和智谱AI联合研发，并且是开源的。该模型采用了大规模的预训练数据集来学习语言模式和生成文本的能力，能够理解上下文并生成连贯、自然的回复。

选择基础型免费的，这个适用于推理场景，每个月1800分钟免费时长 ，显存：16GB +，

算力：8 + TFlops SP，CPU：8 核，内存：32GB

容器启动时会使用/usr/local/bin/launch_chatglm2_6b_webui.sh自动启动一个GradioUI进程加载模型，导致运行时显存不足，需要先把之前的占用显存的进程kill掉。

先输入以下指令，查看当前线程列表：ps -ef | grep python

执行后会出现类似下图的列表

找到“python3 -u hai_web_demo.py”所在的线程号，此图中为14，执行kill该线程的命令：kill -9 14

执行完可使用以下命令查看显存占用情况，确认是否成功执行：nvidia-smi

如图，内存使用率很低，可以开始模型加载工作了。

点击example.py,输入代码，比如翻译一段英文：

# 以下是示例代码的内容

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("/root/chatglm3-6b-model", trust_remote_code=True)

model = AutoModel.from_pretrained("/root/chatglm3-6b-model", trust_remote_code=True, device='cuda')

model = model.eval()

# 要翻译的文本

text_to_translate = """

下面这段话翻译成中文：

“In this video

you will see how ChatGPT will help you to create a professional cover letter for a position you are applying for

So we had to write write a professional

Cover later for a let's see Linux admin position position in a company

Called let's say Facebook

Okaynow this is sufficient for ChatGPT to write a professional cover letter

but it will need some more information from you

like your name and what you know about this particular job”

"""

response, history = model.chat(tokenizer,text_to_translate, history=[])

print(response)

然后在终端输入：python example.py，执行这个程序，可以看到程序运行后翻译的结果：

这个视频中，你会看到ChatGPT将帮助你为申请的职位创建一份专业的求职信。因此，我们必须为 lets' see Linux 管理员职位在一家名叫 Facebook 的公司写一份专业的求职信。但是，这还不够让 ChatGPT 写一份专业的求职信，它还需要你提供一些更多的信息，比如你的名字和对这个特定职位的了解。