快速搭建dify和deepseek，让普通人也能轻松训练AI

01

背景

AI已然成为当今的热门话题。过去，由于私有化部署成本极高，大多数使用者仅停留在简单的问答阶段，极少有人尝试训练大模型。然而，随着DeepSeek R1的问世，其部署成本仅为chatGPT的十分之一，这让许多企业和个人看到了参与的希望。未来，必将有越来越多的垂直领域AI大模型或应用出现，这或许是一个巨大的机遇。那么，普通人要如何参与呢？要如何训练自己的AI呢？本文将介绍一种简单且无需编写代码的方法，帮助您轻松训练AI应用。

02

Ollama的安装

Ollama 是一个用go语言开发的开源框架，可用于本地运行和管理大语言模型（LLM，Large Language Model）。我们将使用 Ollama 来运行和管理 DeepSeek 大模型。Ollama 支持在 CPU 或 GPU 环境下运行，具体安装步骤如下。

1. 基于CPU运行

DeepSeek R1:7b大模型在cpu环境也能跑，但不是很流畅，个人或者实验用的话倒也无所谓，运行Ollama指令如下：

docker run -d -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama registry.cn-hangzhou.aliyuncs.com/yilingyi/ollama

2. 基于GPU运行

经测试，DeepSeek R1:7b大模型在10G以上显存的环境可以很流畅，使用GPU需要先配置依赖环境。

2.1. apt方式安装

• 配置仓库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update

• 安装NVIDIA Container Toolkit

sudo apt-get install -y nvidia-container-toolkit

2.2. yum or dnf方式安装

• 配置仓库

curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
    | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

• 安装NVIDIA Container Toolkit

sudo yum install -y nvidia-container-toolkit

• 配置docker，让其支持NVIDIA驱动

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

3. 运行ollama

在完成上述依赖环境配置后，运行如下指令，比CPU的方式多了一个参数--gpus，通过它来指定使用宿主机的GPU。

docker run -d --gpus=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama registry.cn-hangzhou.aliyuncs.com/yilingyi/ollama

03

运行DeepSeek大模型

通过如下指令进行下载和运行DeepSeek R1:7b大模型：

docker exec -it ollama ollama run deepseek-r1:7b

下载可能需要花点时间，不过没关系，我们可以边下载，边继续部署Dify，搭建一个可视化的管理平台。

04

Dify的安装

Dify 是一款开源的大语言模型（LLM）应用开发平台。它结合了后端即服务（Backend as a Service）和 LLMOps 的理念，使开发者能够快速构建生产级的生成式 AI 应用。即使是非技术人员，也可以参与到 AI 应用的定义和数据运营中。通过 Dify，不仅可以实现知识库应用，还能开发更多功能。

1. 使用Docker-Compose安装

这里使用Docker-Compose V2进行安装，用V1的时候遇到异常。

mkdir -p ~/.docker/cli-plugins/
curl -SL https://github.com/docker/compose/releases/download/v2.20.2/docker-compose-linux-x86_64 -o ~/.docker/cli-plugins/docker-compose

2. 克隆Dify仓库

git clone https://github.com/langgenius/dify.git

3. 运行Dify

• 进入 Dify 源代码的 Docker 目录

cd dify/docker

• 复制环境配置文件

cp .env.example .env

• 启动 Docker 容器

docker compose up -d

• Dify初始化 替换成你的服务器IP，访问后设置你的账号和密码。

http://your_server_ip/install

到此，我们完成了Dify和DeepSeek大模型的部署，接下来需要在Dify进行大模型配置和创建我们的AI应用。

05

Dify添加大模型

在完成上述安装后，我们需要在Dify控制台上添加我们部署的DeepSeek R1:7b大模型，操作如下：

• 登录控制台后，点击右上角-->设置

• 在弹窗左侧栏目选择“模型供应商”，然后添加Ollama配置

06

创建AI应用

好的，终于到了这个环节，我们可以借助Dify快速创建我们的AI应用，并赋予它处理的逻辑。

• 创建一个空白应用，选择Chatflow

• 创建后，在LLM节点选择deepseek-r1:7b大模型，然后设置上下文为用户查询变量sys.query，接着在SYSTEM处设置提示词（Prompt）赋予它处理逻辑。

• 在预览没问题后，发布应用即可

07

结 语

通过上述内容，我们了解了 DeepSeek 大模型的部署和 AI 应用的搭建，并尝试了 Chatflow 和 Prompt 的使用。由于一些条件限制，许多人无法进行基础模型的开发或微调，但 Chatflow 和 Prompt 为我们展示了另一种训练的方向。本期内容到此为止，下一期我们将深入探讨 Chatflow 和 Prompt 的高级应用。