工程落地实践｜国产大模型 ChatGLM2-6B 阿里云上部署成功

“ 之前尝试过在各种不同的云平台、云算力，部署清华大模型 ChatGLM2-6B，有失败有成功，但不是很理想。这次使用免费的阿里云机器学习GPU资源，终于成功了。”

01

—

本来以为今天的部署又要失败，却获得意外之喜，赶紧上来给朋友分享，同时记录一下过程。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

之前的部署经历：

快捷部署清华大模型 ChatGLM2-6B，一键搞定 HuggingFace Space 空间‍‍‍‍‍‍‍‍

终于部署成功！GPU 云环境搭建 ChatGLM2-6B 坎坷路

这次有朋友介绍阿里云也有机器学习PAI，其中交互式建模DSW，可以用来部署自己的模型和数据集。‍‍‍‍

先分享免费使用国产大模型 ChatGLM2-6B 对话的地址：‍‍‍

https://8a27eb15-4d03-47fe.gradio.live/

在服务器上面命令行测试模型对话：‍‍‍‍‍‍‍

Web 服务对话界面：‍‍‍‍‍‍

02

—

实践过程‍

1. 腾讯云部署失败。未找到相关的大模型的部署教程，从ECS云服务器的基础上开始部署，遇到很多大模型所需要的开发框架所需要的组件、资源的问题，坑无数，被折磨两天后，放弃了。 ‍
2. AutoDL AI算力云成功部署。优点：有成熟的大模型 docker 镜像，有可访问的huggingface 镜像站，下载模型的数据集和权重方便。缺点：收费-按小时收费，GPU 资源 RTX A5000 (0/1040) 收费 1.13元/小时，一个月大约813元，费用不低。 ‍
3. Hugging face 的 space 成功部署。优点：有成熟的大模型 docker 镜像，本身提供空间可发布 Web 网站，以便用户访问。缺点：国内访问困难，也是 GPU 资源收费。 ‍
4. 早些时候，试过阿里云部署，因为无法访问放在 Hugging face 上的数据和权重。提过工单询问，就是国内的国情使然，而且没有国内镜像站，建议下载后再上传到服务器。 ‍ 这次实在没有选择了，自古华山一条路，迄今黄河百汇成。 再试试能不能解决模型和权重文件的问题。 ‍
5. 从 Hugging face 下载七个1个多G的模型文件，和其他必要的文件。再从控制台上传到机器学习的空间上，总是失败，文件太大了。 ‍
6. 再试方案：下载到本地，再上传到 Github - 因为阿里云可以访问。结果告知，上传 Github 超过100M的文件需要使用 Git-lfs （Large File Storge,即大文件存储），而且限制最多存储 1G 空间。这思路不行。‍‍ ‍
7. 阿里技术支持小哥说用 OSS（Object Storage Service，对象存储服务），把文件传到 OSS 上。之后可以用两种方法来访问 oss 的文件：1. 在程序中添加读取 oss 上文件的代码；2. 用 ossutils 下载文件到机器学习的服务器空间。 ‍
8. 那就开动吧，开通 OSS 对象存储服务，再上传模型权重文件到OSS。 ‍
9. 根据帮助教程，安装 ossutils，生成账号的访问权限 key，填到 ossutils 配置中，再拷贝刚才上传文件。这过程遇到两个坑： ‍1. key 不对，解决这个问题我就直接使用了全局的账号。 ‍2. 拷贝时的链接地址不能用 oss 控制台界面的https 地址，问了支持小哥，需要用 oss:// 协议地址。 ‍
10. 最后总算是大功告成。使用地址：(已变） ‍https://0b6b7c84-16c7-469c.gradio.live/ ‍
11. 安装完之后，才发现国内清华云盘上有模型权重文件，地址见下方资源部分。如果能早点知道国内的地址，也许就可以直接从服务器上下载这几个大文件，不用上面折腾这么一大圈了。 ‍
12. 阿里云的 GPU 目前免费提供三个月的试用。

03

—

相关教程、资源

【官方教程】‍‍‍‍‍

ChatGLM2-6B 部署与微调

https://www.bilibili.com/video/BV1D94y1i7Qp

视频中的 PPT 文件下载：

链接: https://pan.baidu.com/s/1T5vBCAPG2ahrI_H2jKnihw?pwd=mwmr 提取码: mwmr

ChatGLM 的 Prompt 工程实践，真实案例详解

https://www.bilibili.com/video/BV1ic411c7gE

ChatGLM 模型权重清华云盘地址（全版本）

https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/

04

—

专家知识库

预告：在成功部署 ChatGPT 模型的基础上，用咱们国产的大模型 ChatGLM ，以及 LangChain 开源框架（围绕大语言模型构建的框架，可用于聊天机器人、生成式问答 (GQA)、摘要等）搭建“个人专属知识库”。

您可以上传自己感兴趣的文章、资料到这个知识库中。之后，大模型就可以根据这些个人资料，利用其强大的推理能力，回答您提出的相关问题。

例如：收集某位喜欢的公众号或博主的文章，上传到自己的知识库。当您对这些内容有任何疑问时，知识库就可以为您提供解答。这就像拥有一个私人的、基于自身兴趣的问答专家！‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

还有更多可发掘的场景，希望这个新产品可以帮助朋友们获取更加个性化的知识服务。

往期热门文章推荐：

Claude 2 解读 ChatGPT 4 的技术秘密：细节：参数数量、架构、基础设施、训练数据集、成本

AI人工智能大模型失守！ChatGPT、BARD、BING、Claude 相继被"提示攻击"攻陷！

定制化需求｜一个人工智能大模型应用的算力成本有多高？

为什么对ChatGPT、ChatGLM这样的大语言模型说“你是某某领域专家”，它的回答会有效得多？（二）

拥抱未来，学习 AI 技能！关注我，免费领取 AI 学习资源。

最近关注人工智能项目落地的朋友越来越多，考虑到问的各种问题，我联合了两位大咖：右军、海煌，共同开发设计了：《AI启航实用变现手册》，提供各类AI工具使用教程及变现方法和路径。

目前也在积极筹备知识星球的建设，以及赠送给会员的福利AI产品：不用魔法，体验AI 智能聊天，AI 绘画，保证学会工具的使用后，可以上手实际操作。

我们的目标解决朋友们 AI 学习中的四个核心问题：信息差，认知差，执行差，人脉差。

手册初稿含两方面的内容：一、如何利用AI去提升效率；二、用AI变现指南。

变现部分是实际实打实的操作记录和赚钱过程拆解，初版就共15万字，内容将来还会持续更新，将来还会带领朋友们进行实际的操作。

下面是抖音的一个视频，上线两天，23.8万的播放。

手册涵盖了目前市面上最全、最新的教程，价值 ¥199 元，

现开始阶段优惠， ¥39.9元。3天内不满意，可以无条件退款。后面随内容更新和销售增加，逐步恢复原价。

有朋友问：学了AI能做什么？

1、市场营销人/广告人：打造爆款文案/广告语、Slogan创作/ldea发想提升脑爆效率/自动生成ppt。

2、公务员/公共关系/公关公司：迅速撰写公关稿/万字政府工作报告/标准格式文本出品/宏观大格局文案生成。

3、学生/初入职场：如何准备面试/学英语不用花钱了/免费口语老师论文生成/查重、查错别字/学习各种奇怪的知识。

4、自媒体人/知识博主/KOL：自动生成视频脚本/自动生成影评小红书笔记高效创作/高效写知平/写小说神器。

5、老板/企业高管：创新商业决策/前沿资讯获取/免费小助理低成本功能模块开发/朋友圈人设打造。

喜欢手册的朋友，也可以推荐给周围的朋友，手册设置了分销比例45%，推荐两册，就相当于白得手册。