首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【教程】本地化部署支持多语言模型支持上传分析文档附件的GPT

说明

该项目要是为 ChatGPT API 和其他多种语言模型(Language Language Models,简称 LLM)提供一个用户友好的 Web 图形界面(GUI)。这个项目的 GUI 支持流式传输、无限对话、保存对话、预设 Prompt 集、联网搜索、根据文件回答、渲染 LaTeX、渲染表格、代码高亮、自动亮暗色切换、自适应界面等功能。此外,它还支持自定义 API Host、多参数可调、多 API Key 均衡负载、多用户显示、适配 GPT-4,以及支持本地部署语言模型。在该项目中,可以通过 API 调用以下语言模型:ChatGPT (包括 GPT-4)、Inspur Yuan 1.0、MiniMax、XMChat。同时,它也支持本地部署的语言模型,如 ChatGLM 和 LLaMA 更重要的是它可以支持上传文档附件进行文档分析,本教程将教大家如何本地化部署这个项目

教程

通过docker 部署,docker 的安装方式请参考这个文档

https://doc.weixin.qq.com/doc/w3_ASAAUAZmAAciDAAidcsSfafy4JI9p?scode=ALAA0wclABQg9sHWKHASAAUAZmAAc

然后部署项目,在搜索栏搜索cmd,打开命令行

输入如下命令,即可

docker run -p 8080:7860 -d  --restart=always  tuchuanhuhuhu/chuanhuchatgpt

然后我们进行访问,打开你的docker 点击containers 端口号,即可访问

进入访问界面之后默认是openai gpt-3.5-trubo 模型,填入你的openai api key,api key 的获取方法已经烂大街了,自行搜索即可,如果选其他语言模型也需要填写相应的key

然后我们来玩一下文档分析功能,先来个pdf,点这里上传

然后在左侧对话框发送分析指令

这里还内置了一些提示词

需要把提示词复制粘贴到对话框

我们可以把生成得对话保存

也可以导出为Markdown 格式

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230606A04BP900?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券