教你用ollama和Dify轻松定制私有AI Agent（Intel核显中部署）

因为有许多的朋友都被本地的硬件配置所局限了，无法享受到本地大模型所带来的便捷，本次的ollama模型是部署在Intel的iGPU上。

windows环境，硬件配置：CPU：

内存：

Intel 的iGPU（核显）：

在此之前需要下载anaconda，去官网下载，然后无脑下一步就可以了

1.创建环境

1.1安装llama.cpp

conda create -n ollama-dify python=3.11conda activate ollama-difypip install --pre --upgrade ipex-llm[cpp]

1.2运行llama.cpp的设置

首先，应该创建一个要使用的 llama.cpp 目录，例如，使用以下命令创建一个 llama-cpp 目录并输入它。

mkdir llama-cppcd llama-cpp

1.3使用 IPEX-LLM 初始化llama.cpp

请在 cmd 中以管理员权限运行以下命令。

init-llama-cpp.bat

init-llama-cpp 将创建llama.cpp可执行文件到当前目录的软链接，如果你想在其他地方使用这些可执行文件，不要忘记再次运行上面的命令。

1.4. 初始化 Ollama

请在 Anaconda Prompt 中以管理员权限运行以下命令。

conda activate ollama-difyinit-ollama.bat

初始化完毕之后目录是这样的

2.运行

2.1运行ollama服务

# 为确保模型的所有层都在 Intel GPU 上运行set OLLAMA_NUM_GPU=999set no_proxy=localhost,127.0.0.1set ZES_ENABLE_SYSMAN=1set SYCL_CACHE_PERSISTENT=1

call "C:\Program Files (x86)\Intel\oneAPI\setvars.bat"

ollama serve

首先去ollama模型库去查看model

网址：https://ollama.com/library

这里以千问的qwen1.5为例子

然后点击qwen进入网址，我这里选择的是qwen1.5 7B的模型

接着复制右上角的命令 ollama run qwen:7b

再新创建一个cmd命令窗口，然后进入之前的环境

activate ollama-difyollama run qwen:7b

3.安装Dify

windows下安装的话需要下载docker桌面版，和wsl2

具体的安装步骤官方说的很清楚这里我就不在赘述

https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose

访问 Difyll在浏览器中输入 http://localhost 访问 Dify。

4.使用Dify工作流

导入模型

将部署成ollama的本地模型添加到dify

选择右上角的设置，进入模型供应商

选择ollama来添加你本地运行的模型

配置和我一样就可以运行了。