前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >7.2K star!一个完全免费,可以本地部署的 AI 搜索聚合器。新手可尝试

7.2K star!一个完全免费,可以本地部署的 AI 搜索聚合器。新手可尝试

原创
作者头像
AlwaysBeta
发布2024-04-23 14:06:37
3450
发布2024-04-23 14:06:37
举报
文章被收录于专栏:AlwaysBetaAlwaysBeta

原文链接:7.2K star!一个完全免费,可以本地部署的 AI 搜索聚合器。新手可尝试

ChatGPT 刚上线的时候我用的很少,还是习惯用 Google。主要还是因为不信任,怕它对我胡说八道。

慢慢的,也没有一个明确的时间点,就用的越来越多了。特别是涉及到一些技术问题,用它的回答基本上都可以解决。

原来的搜索模式需要我自己去选择看哪个链接,具体的答案也是靠自己筛选,总结。

现在则完全不同,直接就由 AI 总结好了,效率肯定是大大提升。

今天分享一个开源项目,我理解是一个搜索聚合器,包括前后端。后端使用 Python 开发,FastAPI 框架。

项目还是比较活跃的,star 增长也很快。这篇文章拖了两天才发,结果发现又多了 200 个。

项目简介

这个项目是完全免费的,并且可以本地私有部署,无需 GPU。

系统会根据用户提出的问题,到多个搜索引擎去搜索,然后把搜索结果发给 LLM,由 LLM 来生成最终答案。

功能特性:

  • 完全免费
  • 完全本地化,且私有部署
  • 无需 LLM 硬件(GPU)即可运行
  • 使用免费的 ChatGPT3.5 / Qwen / Kimi / ShipuAI(GLM) API(无需 API 密钥)
  • 支持定制 LLM,比如 ollama
  • 使用 Docker Compose 快速部署
  • Web 页面,并且移动端友好,允许从任何设备轻松访问

项目部署

Docker 直接部署:

代码语言:javascript
复制
git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d 

这里要注意,项目刚启动的时候,可能会有这个报错:

代码语言:javascript
复制
llm-freegpt35-1       | Error refreshing session ID, retrying in 1 minute...
llm-freegpt35-1       | If this error persists, your country may not be supported yet.
llm-freegpt35-1       | If your country was the issue, please consider using a U.S. VPN.

主要就是网络问题,但是我在 Docker 里面设置了代理,还是没有解决。如果有小伙伴解决了,求指导。

这个问题也就导致了无法使用 ChatGPT3.5,所以后续的测试我都是用 kimi 做的。

项目使用

首页还是很简洁的,首先选择模型,我这里选择的是 kimi。如果用 ChatGPT3.5 的话,无需配置,直接用。

用其他模型,需要配置 token。这里再说一下怎么获取,还是以 kimi 举例。

打开 kimi 官网,然后找到这个 refresh_token 就是我们需要的,添加到设置里。

使用「搜索增强」模式,搜了最近挺火的「秦朗作业本」事件。

上面对话框里就是 LLM 总结的内容,下面是不同搜索引擎返回的内容。包括腾讯,微博和一些其他数据源。

还有一个「AI 对话」模式,就是把使用到的链接都放到对话框里面了。由于现在还不支持连续对话功能,所以区别不是很大。

这个项目刚开始,代码量还不是很大,如果想把它作为 AI 练手项目,是没问题的。

项目地址:https://github.com/nashsu/FreeAskInternet

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 项目简介
  • 项目部署
  • 项目使用
相关产品与服务
VPN 连接
VPN 连接(VPN Connections)是一种基于网络隧道技术,实现本地数据中心与腾讯云上资源连通的传输服务,它能帮您在 Internet 上快速构建一条安全、可靠的加密通道。VPN 连接具有配置简单,云端配置实时生效、可靠性高等特点,其网关可用性达到 99.95%,保证稳定、持续的业务连接,帮您轻松实现异地容灾、混合云部署等复杂业务场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档