先从官网下载本地安装
https://ollama.com/
安装默认只能安装C盘,后面会写如何移动到其他盘中
模型下载我们可以直接基于ollama官网提供的内容进行下载
https://ollama.com/search
这里建议下载使用deepseek或者千问(Qwen)
下载的方式也很简单,首先打开cmd
输入ollama验证软件是否安装成功
之后我们输入命令ollama run 大模型名称即可
需要注意的是我们选择模型的大小,比如deepseek
ollama run deepseek-r1:1.5b
需要在后面用冒号+模型大小,这个大小根据大家电脑容量来选择即可,越大模型越精确
安装好之后可以使用命令ollama list查看下载好的大模型
因为该软件和模型都是默认安装C盘,无法更改,我们的C盘正常来说,也很难承受几十个g的模型,所以我们就需要进行一定的修改。
首先我们需要更改ollama软件的储存位置,默认安装位置是
C:\Users\XX\AppData\Local\Programs\Ollama
我们只需要把整个ollama文件夹剪切到其他的盘即可
移动之后我们需要到环境变量中修改一下参数
将你的ollama路径指定到你新的硬盘路径即可
打开cmd输入ollama正常出来即可。
其实这里最关键的是大模型,这个我们可以用一个简单的方式来搞定。首先大模型的位置一般保存在
C:\Users\你的用户名\.ollama\models
这个目录下
我们移动就将.ollama整个剪切走,然后关键的一步就是软链接,也就是相当于建立了一个快捷方式留在原来的地方,但是实际本体被我们移动到了其他硬盘。
用cmd命令就可以简单实现。
mklink /J "C:\Users\你的用户名\.ollama" "D:\ollama\.ollama"
记住,要先删除原本的.ollama才可以创建软连接
最后通过ollama list查看大模型是否还在来检验移动后是否出错即可。
运行我们需要指定好具体的模型名称和大小
ollama run deepseek-r1:14b
这样运行等待片刻即可
首先我们需要部署好ollama,还有我们需要的大模型,这些在可以参考之前的文章。
然后我们需要部署两个东西,一个是使用ollama部署omic-embed-text嵌入式模型
这个使用ollama就可以
ollama pull nomic-embed-text
其次我们需要下载AnythingLLM,直接在官网下载安装即可
https://anythingllm.com/desktop
安装好AnythingLLM之后,我们打开
然后一直点箭头下一步,中间有一个个人信息询问可以跳过,直到我们看到创建工作区名称这一步,创建你自己的工作区名称
然后在设置中可以设置中文模式
我们需要到设置中设置ollama和指定模型
这里llm提供商就是ollama,下面大模型,根据你本地下载了哪些大模型,他会自己读取到。
然后我们要设置一下上传文件训练大模型的首选项
这里引擎还是ollama,但是下面的模型就是用到我们一开始下载的用于训练的模型了。
然后我们返回主页面,找到我们创建的工作区
点击设置,然后选择好箭头所指,然后下拉到最下面保存。
首先点击工作区旁边的上传
然后我们可以上传常规的文件,貌似一个文件超过五十mb就会上传失败,这个不清楚是不是我自己的问题。
上传好之后我们需要选择上传的文件,才会出现移动到工作区的选项,不然文件就仅仅是上传到本地库中
然后点击move to这个
最后点击
即可保存训练ai