英伟达发布 Chat with RTX，开源大模型本地可以run

英伟达最近发布了一款名为“Chat with RTX”的新应用，这是一款类似于ChatGPT的本地部署版本，由GPU提供算力支持。这个应用要求用户至少拥有8GB显存的RTX 30或40系列显卡。虽然Chat with RTX并非英伟达自己研发的大型语言模型（LLM），但它基于两款开源LLM：Mistral和Llama 2，用户可以根据自己的喜好选择使用哪款LLM。

以下是演示视频：https://mpvideo.qpic.cn/0b2e6qabwaaa3eaauzopcrsvb5gddp2aagya.f10002.mp4?

Chat with RTX支持多种文件类型，包括txt、pdf、doc/docx和xml，使用户能够上传本地文件进行聊天。此外，这个应用还具有一个独特的功能，即能够根据在线视频内容生成答案。用户只需将视频链接提供给Chat with RTX，它就能迅速根据视频内容提供相关的回答，为用户带来全新的聊天体验。

英伟达的这个技术演示应用现在可以免费下载，它使用检索增强生成（RAG）、NVIDIA TensorRT-LLM软件和RTX加速技术，将生成AI能力带到了搭载GeForce的Windows个人电脑上。用户可以快速、轻松地将电脑上的本地文件作为数据集连接到一个开源的大型语言模型，例如Mistral或Llama 2，从而实现快速、上下文相关的查询。

由于Chat with RTX是在Windows RTX个人电脑和工作站上本地运行的，因此提供的搜索结果非常快速，而且用户数据保留在设备上。这个应用不需要依赖基于云的LLM服务，允许用户在本地PC上处理敏感数据，无需与第三方分享或连接互联网。

总的来说，Chat with RTX是一个强大的工具，它将AI聊天机器人的能力带到了个人电脑上，使用户能够更高效地进行数据处理和信息搜索。

• 下载地址：https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
• 项目地址：https://github.com/NVIDIA/trt-llm-rag-windows