本地 LLM 可视化工具 LM Studio 突破国内网络限制使用

LM Studio 是一款本地运行大模型(LLM)的 GUI 程序，本文讲述如何配置 LM Studio 网络使其可以在国内下载和运行模型。

前面介绍了 Ollama 这个本地 LLM 工具，可以作为 OpenAPI 的本地替代方案， 不过其使用方式是基于命令行或者 API 的，如果我们只是想简单用一下，就显得不太方便。

或者说 Ollama 还是面向技术人员的，如果非技术人员来说，也有很多优秀的解决方法， 今天介绍的 LM Studio 就是不需要懂技术， 甚至不需要再终端输命令就可以本地用上大模型。

介绍

LM Studio 的功能很简单，

• 在笔记本电脑上运行 LLM，保证完全离线

• 通过应用内聊天 UI 或与 OpenAI 兼容的本地服务器使用模型

• 从 HuggingFace 🤗 存储库下载任何兼容的模型文件

模型下载的问题

查看推荐的模型，然后挑一个下载。

以为一切顺利的时候，问题出现了。

使用代理是一个好方法，但是：由于 LM Studio 不支持 HTTP_PROXY，所以你的代理他也用不上。

使用 HuggingFace 国内镜像

不好的地方是， LM Studio 没有导入模型的功能，不然在浏览器上直接下载导入皆可。

经过查找，发现首页出现的代理都是安装包文件里面写的，安装之后在本机形成一个 JSON 文件，地址如下（我的 MacOS 系统）：

该镜像可以在国内网络成功下载模型，

模型下载中

用了一会儿发现一个问题，这个文件只是临时的，会被程序动态修改覆盖。

下面我们修改安装包里面的内容，彻底解决这个问题。

用文件编辑器打开下面文件夹：

比如我最喜欢的 Sublime 编辑器，

使用编辑器替换

重新执行上面的查找替换，把所有的网址都替换掉，关闭重新打开 LM Studio 程序即可。

使用镜像站执行搜索和查看聊天

作为 GUI 程序，LM Studio 内置了聊天功能。

点击左侧功能列表的聊天图标，切换到聊天界面，并选择你期望期望使用的模型。我们选择刚刚下载的 「Llama 3.1」。

选择已经下载的模型

经过短暂地加载进度条之后，

模型加载中

模型亮起来就表示加载完毕了。

模型加载成功

聊天界面左中右分别是对话列表、聊天窗口、设置面板。

左右两个面板都可以收起来，主要看下设置面板，设置面板可以自定义很多内容，常用的有：

• 系统提示词、

• 上下文长度、

• 温度、

• 最长输出长度、

• CPU线程数

聊天设置面板

当然还有一些别的，不过建议看不懂就别改了。

PlayGround

PlayGround 模块和 Ollama 启动多个模型类似，不过我们咱们电脑要是内存不多，就不建议尝试了，免得给电脑整死机。

Server

LM Studio 当然也能作为服务运行，进入到 Server 页面，选择模型，然后点击启动服务即可。

启动服务之后，可以很方便的在日志的文本框里面查看日志，确实比 Ollama 方便多了。

Embedding

如果用来开发 RAG 程序，嵌入是少不了的， LM Studio 也可以很方便的使用嵌入模型。

同样是在 Server 页面，点击中间「嵌入模型」面板的下载，就可以下载嵌入模型。

这里默认提供的是nomic embed text v1 5 Q8_0

调用

LM Studio 还有一个很任性的地方就是直接把调用代码放在界面上了。和谷歌的 AI Studio 一样，对开发人员很友好。

集成各种语言的代码示例

我们用 CURL 测试一下，看到和 Ollama 接口默认一样使用了流式输出：

流式API返回

我们设置 Stream 参数 为 false ，

看到结果直接返回了：

直接返回结果CLI

作为客户端 GUI 工具，为了满足技术人员 CLI 的需求， 从 LM Studio 0.2.22 开始，官方发布了 LM Studio 的配套 CLI 工具。

您lms可以加载/卸载模型、启动/停止 API 服务器，并检查原始 LLM 输入（而不仅仅是输出）。

需要至少运行一次 LM Studio 才可以使用lms。

我们可以使用一下命令启动lms：

lms 命令

启动和停止服务：

lms server start

lms server stop

列出模型：

lms ls

查看当前加载模型：

lms ps

加载模型（带选项）：

lms load [--gpu=max|auto|0.0-1.0] [--context-length=1-N]

--gpu=1.0意思是「尝试将 100% 的计算卸载到 GPU」。

还为您的本地 LLM 分配一个标识符：

lms load TheBloke/phi-2-GGUF --identifier="gpt-4-turbo"调试提示

lms log stream允许您检查进入模型的确切输入字符串。

这对于调试提示模板问题和其他意外的 LLM 行为特别有用。

不过既然我们用了 GUI， 我想一般很少有人会使用lms吧。

总结

对于个人电脑来说，我觉得还是在线网页程序或者本地 GUI 程序使用起来更方便。相比本地的 GUI 程序，我个人还是倾向在线的网页应用。

所以，LM Studio 这样的工具价值肯定不是让你在本地聊天的，因为聊天体验肯定比不上线上的应用， 无论是质量、速度，还是功能。

下篇文章和大家一起探究如何让本地大模型为普通人产生价值。

引用链接

--- END ---