前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >玩转 AIGC:仅需 2100 元,打造一台 AI 服务器,玩转本地大模型和 Stable Diffusion

玩转 AIGC:仅需 2100 元,打造一台 AI 服务器,玩转本地大模型和 Stable Diffusion

原创
作者头像
运维有术
修改2024-05-14 08:12:11
3800
修改2024-05-14 08:12:11
举报
文章被收录于专栏:运维有术运维有术

玩转 AIGC:仅需 2100 元,打造一台 AI 服务器,玩转本地大模型和 Stable Diffusion

2024 年云原生运维实战文档 99 篇原创计划 第 018 篇 |玩转 AIGC「2024」系列 第 007 篇

你好,欢迎来到运维有术

今天分享的内容是 玩转 AIGC「2024」 系列文档中的 仅需 2100 元,打造一台 AI 服务器,玩转本地大模型和 Stable Diffusion

我实在抵挡不住各种 AI、本地大模型、本地个人知识库和 Stable Diffusion 绘图的诱惑。花了 2100 元,攒了一台本地跑 AI 的服务器。

我攒这台主机的主要目的是学习以下技术:

  • 研究学习容器、Kubernetes、KubeSphere 调度应用使用 GPU(核心需求 1-运维架构设计
  • 搭建 KubeSphere、Kubernetes、Docker 等各种云原生应用实验环境(核心需求 2-运维架构设计
  • 研究学习开源大模型,部署本地大模型、打造个人知识库(核心需求 3-AI 助手
  • 学习体验 Stable Diffusion 绘图(核心需求 4-AI 绘图
  • 其他可能用到显卡的 AI、机器学习等技术

接下来,我分享一些我的入坑经历和几个场景的实际使用效果,供大家参考。

前提声明:本文介绍的 AI 服务器的核心部件都是洋垃圾,功能满足学习需求,但性能有限。仅适合跟我一样预算有限的贫民,高端玩家请忽略。

1. AI 服务器配置说明

1.1 硬件配置

作为刚入门的电子垃圾佬,我海淘(海鲜市场淘宝)选择配件的第一原则,只要够用绝不多花一分钱,精挑细选了一些配置,总计斥资 2124.15

上配置:

配件

型号配置

参数说明

价格

备注

主板

科脑 X99-D3

原芯片单路大板

250

CPU

E6-2698BV3

2.0G 16 核 32 线程

115

内存

128G DDR3

金士顿 DDR3 1600 32G*4 无马甲

300

单条 75

散热

6 铜管散热器

65

跟主板一起买的,有点贵了,单买 50 之内也有很多选择

机箱

积至

ATX 大机箱

59

显卡风扇是弯头的,所以大小刚刚好

电源

长城

HOPE-6000DS 额定 500W

90

闲鱼本地自提

显卡 1

亮机卡

铭瑄 HD6570 巨无霸-1G(带 HDMI、VGA)

25

闲鱼本地自提,建议买 A 卡作为亮机卡,跟 N 卡不冲突省心

显卡 2

算力卡

NVIDIA TESLA P100 16G 显存

900

显卡 + 电源转接线 + 主动散热风扇一套

风扇

先马冰洞 2S

无光 / 液压 / 静音 一组 4 个

31.15

PDD

硬盘

M.2 NVME 1T

梵想 S690

289

23 年京东购入,现在涨价了

合计

2124.15

说明: 上面的价格仅供参考,随着开源大模型的百花齐放及其他原因,原来性价比最高的 CPU、内存、显卡,价格是一路狂涨。

1.2 硬件配置说明

  • 板 U 图便宜必选 X99 加 E5 洋垃圾组合。
  • 主板选择科脑,主要是因为性价比。跟华南金牌、精粤这些大牌寨板比,性价比较高。如今用了快一年了没出过问题。预算充足可以考虑华南金牌。
  • 内存 DDR 3 和 DDR 4 的选择,预算够就 DDR4 后期可以玩更多的 V4 型号的 CPU。但是,请注意,D4 的价格是 D3 的一倍。性能却不会有一倍多提升。预算有限 DDR3 即可。
  • E5-2698Bv3 这也算是 DDR3 平台的一颗神 U 了,我主要是为了多开虚拟机做实验,所以选的核心较多、主频够用的 CPU。如果用不到这么多的核数,可以选择主频性能更高、价格更低的 E5-2666-V3(2.9GHz,10 核 20 线程)。
  • 显卡是核心,预算充足的可以选择更高端的。预算有限,只能选择性价比最高的数据中心计算卡(是否矿卡没纠结)。
  • 玩大模型和绘图,显卡最合适的选择应该是 NVIDIA Tesla P40,这个 P40 也是让我后悔的大腿都拍肿了,2023 年底的时候 730 元就能入手,当时没眼光觉得还可以再等等,以为还能再便宜,结果这次等等党输了,现今 P40 的成交价已经涨到 1400-1700 之间了。所幸, 价格一直高于 P40 的 NVIDIA Tesla P100 受限于 16G 显存,涨幅并没有像 P40 那么夸张。
  • NVIDIA Tesla P100NVIDIA Tesla P40 各有优势,P40 最大的优势就是 24G 大显存,其他的在显存带宽、计算速度、半精度 /FP16 的支持上都不如 P100,否则 P100 之前的价格也不会一直高于 P40。
  • 选型建议: 如果只玩 14B 以下的大模型,P100 足够,速度还快。如果要玩 32B 的可以选择 P40,但是 P40 也只是能不爆显存的跑起来,推理速度上优势不大,跟我 P100 配合 CPU 跑 32B 的效果差不太多)。70B 以上不用考虑,单卡的情况它俩谁也不行。
  • 价格趋势: 至于 NVIDIA Tesla P100NVIDIA Tesla P40 的后续价格走向,会不会大跌、大涨?我是真看不懂,各位自行判断吧(我买了以后涨了 200,商家报价一路飙升到 1100,后来又降回了 900)。
  • NVIDIA Tesla P100 是被动散热的不带散热风扇,需要单独购买改装风扇,网上搜索 P100 散热就行。我是直接和显卡一起买了,因此价格略贵 50 块。有一点需要特别注意,我买的是弯头的风扇,加上风扇整个显卡长度 31cm 左右。如果是直的风扇,那就要 41 cm 以上的机箱了。一定要考虑机箱是否够长。
  • 其实显卡还有个选择那就是 M40 24G 显存的,P40 的前一代。性能上据说有 30%-40% 差异,没实测。24G 大显存跑 32B 大模型和画大分辨率的图肯定都可以,就是速度上慢很多。 但是这货价格涨的也有点离谱了,之前不到 500 就能买到的卡,现在涨到了 700、800 价位,赶上了没涨价的 P40。这个我心里上是万万不能接受的。大家可以自己评估考虑。
  • 再说说硬盘,1T 的硬盘如果想体验多种大模型和 Stable Diffusion,再加上还有其他实验。 现在看来不太够,NVME 1T 硬盘我已经用了 900 G,我又加了一块 1T SATA SSD 的 (去年囤的,今年也涨了不少)。建议有条件还是买 NVME 协议的,速度更快。
  • 电源,按我上面的配置, 额定 500W 电源足够。如果是购买新机器家里没有旧电源可用的,我建议买个 750W 以上带双 CPU 和双 8PIN 显卡供电的,后面可以扩展双显卡或是双 CPU。啥?没有扩展需求?相信我,你会的。 可以选择买一线品牌的二手,或是直接买个新的。记住,电源不能省钱。

1.3 软件配置

作为一台综合性的兼具云原生、AI、大模型、大数据多种技术栈的学习实验平台,我会在上面部署各种操作系统及各种软件。

因此,最好的解决方案就是采用虚拟化平台,创建虚拟机,安装部署各种类型的操作系统。

虚拟化平台有两种选择:

  • 商业版的 VMware ESXi(单机版的个人使用好像也没啥问题)
  • 开源的 Proxmox Virtual Environment(PVE)

VMware 公司出品的 VMware ESXi 图形化管理、功能强大、稳定性也毋庸置疑。非技术控和开源控的首选虚拟化方案。

Proxmox Virtual Environment 是一个基于 QEMU/KVM 和 LXC 的开源服务器虚拟化管理解决方案。技术控、开源控的首选方案。

最终我选择了 PVE,有以下几点原因(谨代表个人观点

  • 作为技术控、开源控,商业版的产品 ESXi 不满足我的选型理念
  • PVE 虽然不如 ESXi 图形化管理能力那么强,但也够用
  • PVE 自动化操作的可玩性更简单、灵活,Shell 脚本调用命令即可。ESXi 也有很多种方式实现自动化,但是没 PVE 那么方便

部署 AI 大模型和 Stable Diffusion 的操作系统选择最新的 Ubuntu 24.04 LTS ,当然你也可以选择 Ubuntu 22.04 LTS

部署 Docker、Kubernetes、KubeSphere 的操作系统选择 CentOS 和 OpenEuler

2. 体验本地大模型

用 Ollama 启动 qwen:14b 问了几个简单的问题进行测试,回答速度我个人还是比较满意的,但是回答效果太一般了,不如 qwen:32b

2.1 问题效果

  • 弱智吧问题 1: 为什么我爸妈结婚的时候没邀请我参加婚礼?
  • 弱智吧问题 2: 我买了一斤藕,为什么半斤都是空的?

回答效果:

nvidia-p100-qwen14b-qa-1
nvidia-p100-qwen14b-qa-1
  • 编程问题 1:
代码语言:bash
复制
题目描述

设计一个名为 Student 的类,用于存储学生的信息。每个学生有姓名(name)、年龄(age)、成绩列表(grades)。你需要实现以下功能:

初始化: 构造函数接受姓名、年龄和一个初始成绩列表(可选,默认为空列表)。
添加成绩: 实现一个方法 add_grade(grade: int),允许向学生的成绩列表中添加一个新的成绩。
计算平均分: 实现一个方法 calculate_average(),返回所有成绩的平均分。如果成绩列表为空,则返回0。
最高分科目: 实现一个方法 highest_scoring_subject(),返回一个元组,包含最高分及其对应的科目名称。假设科目的名称和分数通过字典形式一起存储在成绩列表中,例如 {'Math': 90, 'English': 85}。如果成绩列表为空,返回 (None, None)。

回答效果:

nvidia-p100-qwen14b-qa-2
nvidia-p100-qwen14b-qa-2

回答速度见视频:

2.2 资源消耗

问答测试时服务器整机耗电量 300W 左右。显卡显存 10G 左右,细节如下:

nvidia-p100-ollama-164w
nvidia-p100-ollama-164w

3. 体验 Stable Diffusion

画了几张图,好像都画残了,应该是手法不对。下面上一张图看看效果。

3.1 资源消耗

  • 画图时显卡使用率(顶峰时截图,当时的电源使用率 330W 左右)
nvidia-p100-power-full
nvidia-p100-power-full

3.2 画图效果

  • 参考的画图示例
代码语言:bash
复制
https://civitai.com/images/7785961
  • 画图参数和时间
Stable-Diffusion-exam-1
Stable-Diffusion-exam-1

NVIDIA P100 出图耗时 4 min,速度还算能接受,同样的参数 M1 芯片的 Mac Mini 28 min 才出图。

  • 最终图片(大家来找茬,可以在评论区留言图片的问题
Stable-Diffusion-exam-2
Stable-Diffusion-exam-2

同样的示例你们用什么显卡,出图时间多少,欢迎在评论区交流讨论。

对于 NVIDIA TESLA P100,你还有什么想要体验测试的,也可以给我留言,我帮你体验。

以上,就是我今天分享的全部内容。下一期分享的内容还没想好,期待一下开盲盒。敬请持续关注!!!

免责声明:

  • 笔者水平有限,尽管经过多次验证和检查,尽力确保内容的准确性,但仍可能存在疏漏之处。敬请业界专家大佬不吝指教。
  • 本文所述内容仅通过实战环境验证测试,读者可学习、借鉴,但严禁直接用于生产环境由此引发的任何问题,作者概不负责

Get 本文实战视频(请注意,文档视频异步发行,请先关注)

如果你喜欢本文,请分享、收藏、点赞、评论! 请持续关注 @ 运维有术,及时收看更多好文!

欢迎加入 「知识星球|运维有术」 ,获取更多的 KubeSphere、Kubernetes、云原生运维、自动化运维、AI 大模型等实战技能。未来运维生涯始终有我坐在你的副驾

版权声明

  • 所有内容均属于原创,感谢阅读、收藏,转载请联系授权,未经授权不得转载
  • 我正在参与2024腾讯技术创作特训营最新征文,快来和我瓜分大奖!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 玩转 AIGC:仅需 2100 元,打造一台 AI 服务器,玩转本地大模型和 Stable Diffusion
    • 1. AI 服务器配置说明
      • 1.1 硬件配置
      • 1.2 硬件配置说明
      • 1.3 软件配置
    • 2. 体验本地大模型
      • 2.1 问题效果
      • 2.2 资源消耗
    • 3. 体验 Stable Diffusion
      • 3.1 资源消耗
      • 3.2 画图效果
相关产品与服务
容器服务
腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档