Github 星标 14.6K: 一站式 AI 桌面应用 Anything LLM

Anything LLM 是一个集成了 RAG 和 AI Agent 功能的 AI 桌面应用，它可以将多种格式的文档、网址或内容转化为上下文，以便与大型语言模型（LLM）交流时使用，支持本地运行或部署为服务供多人使用，还可以搭配各种 LLM 和向量数据库构建私人 ChatGPT。

Anything LLM 将您的文档划分为称为 workspaces (工作区)的对象。工作区的功能类似于线程，同时增加了文档的容器化。工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。

Anything LLM 的一些酷炫特性

• 多用户实例支持和权限管理
• 工作区内的智能体 Agent（浏览网页、运行代码等）
• 为您的网站定制的可嵌入聊天窗口
• 支持多种文档类型（PDF、TXT、DOCX 等）
• 通过简单的用户界面管理向量数据库中的文档
• 两种对话模式：聊天和查询。聊天模式保留先前的对话记录。查询模式则是是针对您的文档做简单问答
• 聊天中会提供所引用的相应文档内容
• 100% 云部署就绪
• 部署你自己的 LLM模型
• 管理超大文档时高效、低耗。只需要一次就可以嵌入（Embedding)一个庞大的文档或文字记录。比其他文档聊天机器人解决方案节省 90% 的成本。
• 全套的开发人员 API，用于自定义集成

Anything LLM 支持的 LLM、嵌入模型、转录模型和向量数据库

支持的 LLM

• 任何与llama.cpp兼容的开源模型
• OpenAI
• OpenAI (通用)
• Azure OpenAI
• Anthropic
• Google Gemini Pro
• Hugging Face (聊天模型)
• Ollama (聊天模型)
• LM Studio (所有模型)
• LocalAi (所有模型)
• Together AI (聊天模型)
• Perplexity (聊天模型)
• OpenRouter (聊天模型)
• Mistral
• Groq
• Cohere
• KoboldCPP

支持的嵌入模型

• AnythingLLM原生嵌入器（默认）
• OpenAI
• Azure OpenAI
• LocalAi (全部)
• Ollama (全部)
• LM Studio (全部)
• Cohere

支持的转录模型

• AnythingLLM 内置 （默认）
• OpenAI

支持的向量数据库

• LanceDB （默认）
• Astra DB
• Pinecone
• Chroma
• Weaviate
• QDrant
• Milvus
• Zilliz

🏷️ Github 地址：https://github.com/Mintplex-Labs/anything-llm 🏷️ 官方地址：https://useanything.com