前两期简单讲解了,如何在本地安装ollama+deepseek,如何手动修改占用系统盘的大模型。
今天来讲一讲如何对搭建好的工具进行喂饭,这就跟喂小猫小狗一样,喂熟了就听你话了。
步骤一:登录ollama官网
打开浏览器,访问ollama官网。
步骤二:选择模型
点击页面右上角的菜单按钮(通常显示为三个横线或类似符号)。
在弹出的下拉菜单中,选择“Models”选项。
查看所有可用的模型,找到你想要使用的,如nomic-embed-text。
我选择了nomic-embed-text这个比较火的模型
nomic-embed-text
步骤三:复制并运行命令
选择所需的模型后,点击进入页面。
在右侧找到一个复制按钮,复制该模型的代码。
打开终端(如Linux或macOS用户使用ssh),粘贴复制内容并回车以执行下载。
命令:ollama pull nomic-embed-text
步骤四:启动ollama服务
下载完成后,确保olllama服务已启动。可以通过命令重新启动服务:
ollama run huihui_ai/deepseek-r1-abliterated:8b
注意:ollama默认是开机自动启动的,只有临时关闭过ollama程序后,才需要重新去启动它。
步骤五:进入WebUI界面
打开谷歌浏览器,通过扩展插件进入ollama WebUI。
步骤六:设置RAG模型
在“RAG Settings”中选择“text embedding model”,将选定的模型如nomic-embed-text输入字段。
确认设置,保存更改。
步骤七:上传知识文件
点击“添加知识”按钮。
在弹出的窗口中选择支持格式的文件,如PDF、CSV、TXT或MD。
通过拖拽或点击“提交”按钮将文件添加到知识库中。
步骤八:监控和评估
上传完成后,模型会开始处理这些文档,以创建知识图谱。
使用测试语句与模型对话,观察其回复质量是否提升,如生成准确性、相关性等。
常见问题及解决方法:
模型未响应
确保终端没有错误,命令正确执行。
文件格式不支持
检查文件扩展名是否符合要求,或尝试重新上传。
性能慢
优化模型大小或增加内存,提升处理速度。
喂食后的好处:
提高模型对实际问题的理解和回答能力。
增强模型生成内容的相关性和准确性。
便于在本地环境中进行持续优化,适应特定需求。
通过以上步骤,你可以成功喂食本地搭建的Deepseek模型,提升其性能和实用性。
领取专属 10元无门槛券
私享最新 技术干货