
LangChain 是一套大语言模型 (LLM) 应用开发框架,主打链式编排、任务流程组装,可快速搭建智能对话机器人、智能助手、自动化流程、知识库问答、Agent 智能体。
LangChain 支持对接各类在线大模型,包括OpenAI、文心、通义、讯飞等,也支持加载电脑本地的离线大模型。为避免在线大模型带来的大量Token消耗,接下来以离线大模型为例介绍如何搭建LangChain的开发环境。
一、安装Ollama
AI应用在加载离线大模型时用到了 Ollama ,它的安装包比较大,有1.8G左右,AI应用的智能体开发必须安装Ollama。
Ollama的下载页面为 https://ollama.com/download ,但外网速度较慢下载很耗时,建议访问博主提供的下载链接 https://www.alipan.com/s/gkea9rqEDTU 。
下载回来的Ollama安装包叫做OllamaSetup.exe,双击它即可安装至系统盘的默认目录。若想修改Ollama的安装路径,就要打开命令行,输入下面的安装命令(以安装到E盘为例):
OllamaSetup.exe /DIR="E:\Program Files\Ollama"等待安装完毕,在安装目录下会找到“ollama app.exe”和“ollama.exe”两个程序,前者提供了可视化界面,而后者用于命令行,AI应用开发主要使用后者。
另外,需确保系统的PATH环境变量中能找到Ollama的安装目录,例如“E:\Program Files\Ollama”。如果PATH环境变量不包含Ollama的安装目录,则需手工添加该目录。
二、下载离线大模型
通过Ollama可以很方便地下载离线大模型,比如在命令行窗口执行下面命令,即可下载大模型qwen2:1.5b:
ollama pull qwen2:1.5b不过下载回来的离线大模型默认放在系统盘的“C:\Users\你的用户名\.ollama\models”目录下,若想修改大模型的保存目录,就要新建名叫OLLAMA_MODELS的环境变量,并将变量值设为指定路径,例如“F:\ollama_models”,那么后续下载的大模型都会保存到新目录下。
等待大模型下载完毕,在命令行窗口执行下面命令,即可启动Ollama并加载大模型:
ollama serve然后启动浏览器打开链接“http://localhost:11434/api/tags”,观察是否返回json串,有返回表示启动成功。
比如下面返回的json串表示Ollama已加载大模型qwen2:1.5b:
{
"models": [
{
"name": "qwen2:1.5b",
"model": "qwen2:1.5b",
"modified_at": "2026-05-03T17:29:06.9028074+08:00",
"size": 934964102,
"digest": "f6daf2b25194025ae2d5288f2afd041997ce48116807a3b612c1a96b09bec03a",
"details": {
"parent_model": "",
"format": "gguf",
"family": "qwen2",
"families": [
"qwen2"
],
"parameter_size": "1.5B",
"quantization_level": "Q4_0"
}
}
]
}三、安装LangChain
在命令行窗口执行下面命令,即可安装LangChain及其用到的Ollama插件:
pip install langchain langchain-core langchain-ollama在命令行窗口执行下面命令,可查看当前三个LangChain的安装版本,建议三个版本都不低于1.0:
pip show langchain
pip show langchain-core
pip show langchain-ollama然后编写Python测试代码如下,由LangChain调用离线大模型qwen2:1.5b来回答问题:
from langchain_ollama import OllamaLLM
# 连接本地离线大模型(Ollama)
llm = OllamaLLM(model="qwen2:1.5b")
# 提问
response = llm.invoke("介绍一下人工智能")
print(response)运行上面的Python代码,输出日志结果如下:
人工智能(Artificial Intelligence,简称AI)是一种技术,旨在构建计算机程序和系统来模拟人类智能。这些系统可以学习、推理、思考、判断、解决问题和自我优化,并且能够完成复杂的任务,如语音识别、图像处理、自然语言处理等。人工智能的研究领域包括机器学习、深度学习、强化学习和认知科学等。可见大模型正常输出回答内容,即介绍了人工智能的概念及其应用领域,正确执行的问答结果说明LangChain已经成功安装。
本系列的AI应用开发文章目录为《15天学会AI应用开发全目录(零基础小白,零Token消耗)》。