玩转 AIGC：仅需 2100 元，打造一台 AI 服务器，玩转本地大模型和 Stable Diffusion

玩转 AIGC：仅需 2100 元，打造一台 AI 服务器，玩转本地大模型和 Stable Diffusion

2024 年云原生运维实战文档 99 篇原创计划 第 018 篇 ｜玩转 AIGC「2024」系列 第 007 篇

你好，欢迎来到运维有术。

今天分享的内容是 玩转 AIGC「2024」 系列文档中的 仅需 2100 元，打造一台 AI 服务器，玩转本地大模型和 Stable Diffusion。

我实在抵挡不住各种 AI、本地大模型、本地个人知识库和 Stable Diffusion 绘图的诱惑。花了 2100 元，攒了一台本地跑 AI 的服务器。

我攒这台主机的主要目的是学习以下技术：

• 研究学习容器、Kubernetes、KubeSphere 调度应用使用 GPU（核心需求 1-运维架构设计）
• 搭建 KubeSphere、Kubernetes、Docker 等各种云原生应用实验环境（核心需求 2-运维架构设计）
• 研究学习开源大模型，部署本地大模型、打造个人知识库（核心需求 3-AI 助手）
• 学习体验 Stable Diffusion 绘图（核心需求 4-AI 绘图）
• 其他可能用到显卡的 AI、机器学习等技术

接下来，我分享一些我的入坑经历和几个场景的实际使用效果，供大家参考。

前提声明：本文介绍的 AI 服务器的核心部件都是洋垃圾，功能满足学习需求，但性能有限。仅适合跟我一样预算有限的贫民，高端玩家请忽略。

1. AI 服务器配置说明

1.1 硬件配置

作为刚入门的电子垃圾佬，我海淘（海鲜市场淘宝）选择配件的第一原则，只要够用绝不多花一分钱，精挑细选了一些配置，总计斥资 2124.15。

上配置：

说明： 上面的价格仅供参考，随着开源大模型的百花齐放及其他原因，原来性价比最高的 CPU、内存、显卡，价格是一路狂涨。

1.2 硬件配置说明

• 板 U 图便宜必选 X99 加 E5 洋垃圾组合。
• 主板选择科脑，主要是因为性价比。跟华南金牌、精粤这些大牌寨板比，性价比较高。如今用了快一年了没出过问题。预算充足可以考虑华南金牌。
• 内存 DDR 3 和 DDR 4 的选择，预算够就 DDR4 后期可以玩更多的 V4 型号的 CPU。但是，请注意，D4 的价格是 D3 的一倍。性能却不会有一倍多提升。预算有限 DDR3 即可。
• E5-2698Bv3 这也算是 DDR3 平台的一颗神 U 了，我主要是为了多开虚拟机做实验，所以选的核心较多、主频够用的 CPU。如果用不到这么多的核数，可以选择主频性能更高、价格更低的 E5-2666-V3（2.9GHz，10 核 20 线程）。
• 显卡是核心，预算充足的可以选择更高端的。预算有限，只能选择性价比最高的数据中心计算卡（是否矿卡没纠结）。
• 玩大模型和绘图，显卡最合适的选择应该是 NVIDIA Tesla P40，这个 P40 也是让我后悔的大腿都拍肿了，2023 年底的时候 730 元就能入手，当时没眼光觉得还可以再等等，以为还能再便宜，结果这次等等党输了，现今 P40 的成交价已经涨到 1400-1700 之间了。所幸， 价格一直高于 P40 的 NVIDIA Tesla P100 受限于 16G 显存，涨幅并没有像 P40 那么夸张。
• NVIDIA Tesla P100 和 NVIDIA Tesla P40 各有优势，P40 最大的优势就是 24G 大显存，其他的在显存带宽、计算速度、半精度 /FP16 的支持上都不如 P100，否则 P100 之前的价格也不会一直高于 P40。
• 选型建议： 如果只玩 14B 以下的大模型，P100 足够，速度还快。如果要玩 32B 的可以选择 P40，但是 P40 也只是能不爆显存的跑起来，推理速度上优势不大，跟我 P100 配合 CPU 跑 32B 的效果差不太多）。70B 以上不用考虑，单卡的情况它俩谁也不行。
• 价格趋势： 至于 NVIDIA Tesla P100 和 NVIDIA Tesla P40 的后续价格走向，会不会大跌、大涨？我是真看不懂，各位自行判断吧（我买了以后涨了 200，商家报价一路飙升到 1100，后来又降回了 900）。
• NVIDIA Tesla P100 是被动散热的不带散热风扇，需要单独购买改装风扇，网上搜索 P100 散热就行。我是直接和显卡一起买了，因此价格略贵 50 块。有一点需要特别注意，我买的是弯头的风扇，加上风扇整个显卡长度 31cm 左右。如果是直的风扇，那就要 41 cm 以上的机箱了。一定要考虑机箱是否够长。
• 其实显卡还有个选择那就是 M40 24G 显存的，P40 的前一代。性能上据说有 30%-40% 差异，没实测。24G 大显存跑 32B 大模型和画大分辨率的图肯定都可以，就是速度上慢很多。 但是这货价格涨的也有点离谱了，之前不到 500 就能买到的卡，现在涨到了 700、800 价位，赶上了没涨价的 P40。这个我心里上是万万不能接受的。大家可以自己评估考虑。
• 再说说硬盘，1T 的硬盘如果想体验多种大模型和 Stable Diffusion，再加上还有其他实验。 现在看来不太够，NVME 1T 硬盘我已经用了 900 G，我又加了一块 1T SATA SSD 的 (去年囤的，今年也涨了不少)。建议有条件还是买 NVME 协议的，速度更快。
• 电源，按我上面的配置， 额定 500W 电源足够。如果是购买新机器家里没有旧电源可用的，我建议买个 750W 以上带双 CPU 和双 8PIN 显卡供电的，后面可以扩展双显卡或是双 CPU。啥？没有扩展需求？相信我，你会的。 可以选择买一线品牌的二手，或是直接买个新的。记住，电源不能省钱。

1.3 软件配置

作为一台综合性的兼具云原生、AI、大模型、大数据多种技术栈的学习实验平台，我会在上面部署各种操作系统及各种软件。

因此，最好的解决方案就是采用虚拟化平台，创建虚拟机，安装部署各种类型的操作系统。

虚拟化平台有两种选择：

• 商业版的 VMware ESXi（单机版的个人使用好像也没啥问题）
• 开源的 Proxmox Virtual Environment（PVE）

VMware 公司出品的 VMware ESXi 图形化管理、功能强大、稳定性也毋庸置疑。非技术控和开源控的首选虚拟化方案。

Proxmox Virtual Environment 是一个基于 QEMU/KVM 和 LXC 的开源服务器虚拟化管理解决方案。技术控、开源控的首选方案。

最终我选择了 PVE，有以下几点原因（谨代表个人观点）

• 作为技术控、开源控，商业版的产品 ESXi 不满足我的选型理念
• PVE 虽然不如 ESXi 图形化管理能力那么强，但也够用
• PVE 自动化操作的可玩性更简单、灵活，Shell 脚本调用命令即可。ESXi 也有很多种方式实现自动化，但是没 PVE 那么方便

部署 AI 大模型和 Stable Diffusion 的操作系统选择最新的 Ubuntu 24.04 LTS ，当然你也可以选择 Ubuntu 22.04 LTS。

部署 Docker、Kubernetes、KubeSphere 的操作系统选择 CentOS 和 OpenEuler。

2. 体验本地大模型

用 Ollama 启动 qwen:14b 问了几个简单的问题进行测试，回答速度我个人还是比较满意的，但是回答效果太一般了，不如 qwen:32b 。

2.1 问题效果

• 弱智吧问题 1： 为什么我爸妈结婚的时候没邀请我参加婚礼？
• 弱智吧问题 2： 我买了一斤藕，为什么半斤都是空的？

回答效果：

nvidia-p100-qwen14b-qa-1

• 编程问题 1:

题目描述

设计一个名为 Student 的类，用于存储学生的信息。每个学生有姓名（name）、年龄（age）、成绩列表（grades）。你需要实现以下功能：

初始化: 构造函数接受姓名、年龄和一个初始成绩列表（可选，默认为空列表）。
添加成绩: 实现一个方法 add_grade(grade: int)，允许向学生的成绩列表中添加一个新的成绩。
计算平均分: 实现一个方法 calculate_average()，返回所有成绩的平均分。如果成绩列表为空，则返回0。
最高分科目: 实现一个方法 highest_scoring_subject()，返回一个元组，包含最高分及其对应的科目名称。假设科目的名称和分数通过字典形式一起存储在成绩列表中，例如 {'Math': 90, 'English': 85}。如果成绩列表为空，返回 (None, None)。

回答效果：

nvidia-p100-qwen14b-qa-2

回答速度见视频：

2.2 资源消耗

问答测试时服务器整机耗电量 300W 左右。显卡显存 10G 左右，细节如下：

nvidia-p100-ollama-164w

3. 体验 Stable Diffusion

画了几张图，好像都画残了，应该是手法不对。下面上一张图看看效果。

3.1 资源消耗

• 画图时显卡使用率（顶峰时截图，当时的电源使用率 330W 左右）

nvidia-p100-power-full

3.2 画图效果

• 参考的画图示例

https://civitai.com/images/7785961

• 画图参数和时间

Stable-Diffusion-exam-1

NVIDIA P100 出图耗时 4 min，速度还算能接受，同样的参数 M1 芯片的 Mac Mini 28 min 才出图。

• 最终图片（大家来找茬，可以在评论区留言图片的问题）

Stable-Diffusion-exam-2

同样的示例你们用什么显卡，出图时间多少，欢迎在评论区交流讨论。

对于 NVIDIA TESLA P100，你还有什么想要体验测试的，也可以给我留言，我帮你体验。

以上，就是我今天分享的全部内容。下一期分享的内容还没想好，期待一下开盲盒。敬请持续关注！！！

免责声明：

• 笔者水平有限，尽管经过多次验证和检查，尽力确保内容的准确性，但仍可能存在疏漏之处。敬请业界专家大佬不吝指教。
• 本文所述内容仅通过实战环境验证测试，读者可学习、借鉴，但严禁直接用于生产环境。由此引发的任何问题，作者概不负责！

Get 本文实战视频（请注意，文档视频异步发行，请先关注）

• B 站｜运维有术

如果你喜欢本文，请分享、收藏、点赞、评论！ 请持续关注 @ 运维有术，及时收看更多好文！

欢迎加入 「知识星球｜运维有术」 ，获取更多的 KubeSphere、Kubernetes、云原生运维、自动化运维、AI 大模型等实战技能。未来运维生涯始终有我坐在你的副驾。

版权声明

• 所有内容均属于原创，感谢阅读、收藏，转载请联系授权，未经授权不得转载。
• 我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！