基于腾讯云云服务器CVM初探Langchain-Chatchat

在数字化时代，数据的安全存储与高效检索是科技界持续关注的热点。近年来，大语言模型（LLM）的崛起不仅在自然语言处理领域引起了革命性的变革，也对知识库问答系统提出了新的解决方案。最近，一个名为Langchain-Chatchat的开源项目，利用最新的技术研发动态，引起了科技界的广泛关注。本文旨在深入探索Langchain-Chatchat的核心技术、实现机制、安装配置及其未来发展前景。

Langchain-Chatchat简介

Langchain-Chatchat是一个基于ChatGLM等大型语言模型和Langchain等应用框架，支持全开源、可离线部署的检索增强生成(RAG)大模型知识库项目。该项目的目标是创建一套对中文场景和开源模型支持友好、能够在离线环境下运行的知识库问答解决方案。

项目的灵感来源于GanymedeNil的document.ai和AlexZhangji创建的ChatGLM-6B Pull Request，通过完全开源模型来实现本地知识库问答，有效解决数据安全保护和私域化部署的现实需求。

技术架构与实现机制

Langchain-Chatchat依托于langchain框架，结合大语言模型，如Vicuna, Alpaca, LLaMA, Koala, RWKV等进行问答生成，过程包括加载文件、读取文本、文本分割、文本向量化、问句向量化、在文本向量中匹配出与问句向量最相似的top k个文档，并将其作为上下文加入到prompt中，最后通过LLM生成回答。

此外，项目支持全流程使用开源模型进行离线私有部署。适配多种本地向量数据库，如FAISS、milvus/pg_vector等，愈加便利于用户的灵活使用与研究。

腾讯云服务器CVM配置

硬盘存储务必80GB以上。

Langchain-Chatchat部署

ssh ubuntu@外网IP地址 登录到服务器后，执行如下命令：

# 安装docker.io
sudo apt install -y docker.io
usermod -aG docker ubuntu

退出后使用ssh ubuntu@外网IP地址 重新登录。

安装nvidia-container-toolkit（nvidia-docker2的最新代替品）

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
# 安装nvidia-container-toolkit，这是nvidia-docker的代替品
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

测试nvidia-container-toolkit是否安装成功：

docker run --rm --gpus all nvidia/cuda:12.3.2-base-ubuntu20.04 nvidia-smi

docker pull registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7
docker run -d --gpus all -p 80:8501 -p 8080:7861 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7

这样启动的服务，80端口是基于steamlit的网站，而8080端口是API。

试用Langchain-Chatchat

在浏览器中，输入 http://外网IP地址:80 。进入LangChain-Chatchat网站。

可以在【知识库管理】Tab页中添加文档。在【对话】Tab页中进行询问。

在浏览器中，输入 http://外网IP地址:8080/docs 。可以看到swagger样式的API文档。

其对应的显存使用量为：

开源与社区发展

Langchain-Chatchat遵循Apache License，免费商用，旨在解决企业数据安全保护的痛点。该项目不仅获得了超过20K的star，还在各类开源项目竞赛和黑客马拉松中斩获奖项，显示了其在开源社区中的影响力与认可。

项目的未来发展计划同样引人注目，0.2.x系列将停止更新和技术支持，项目组将全力研发更加具有应用性的0.3.x系列，展现了该项目持续进化、不断完善的发展态势。

未来展望

随着数字化转型的加速，数据的隐私保护和高效利用将成为企业未来发展的一大关键。Langchain-Chatchat的问答解决方案，通过支持全栈开源技术和可离线部署，为企业提供了一个既安全又灵活的选择。项目的持续发展和优化，预示着在未来的知识库问答系统领域，Langchain-Chatchat极有可能成为标杆性的解决方案。

Langchain-Chatchat项目不仅技术先进、理念新颖，而且通过开源社区的协作，为全球的研究人员和企业提供了一个展示创意、实验新思路的平台。这一点，无疑将加速各行业对话式AI和知识库问答技术的探索与应用。

总之，Langchain-Chatchat代表了开源社区在知识管理和自然语言处理领域的一次重要尝试。随着项目的持续成熟和社区的进一步壮大，我们有理由相信，Langchain-Chatchat将在未来的技术革新道路上发挥更加重要的作用。