装个NVIDIA Chat With RTX，没想到这么多坑...

NVIDIA AIPC训练营昨天开营第一天，讲解Chat With RTX的安装和使用，群里可以说是大型的翻车现场，光在安装环节，就是各种问题。我就不列举了，几乎满屏都是....

于是我上NVIDIA的官方论坛，发现这里也没有好到哪里去。

比如：

我以为像RTX3060这种显存不大的卡装不上模型也就罢了，没想到4080这种浓眉大眼的，也装不上。

3090也跑来补刀....

满屏的无助感....

大家如果感兴趣可以去访问一下这个帖子：forums.developer.nvidia.com/t/installation-issues-with-chat-with-rtx/282782/21

小编我看了好几个帖子，以及根据训练营活动的情况，总结了一下经验：

1. 中国用户在安装过程中要全程访问国外网站

2.Chat with RTX里面目前是两个模型，显存只有8GB的，安装后只会看到Mistral 7B，看不到Llama2 13B模型 （所以看不到两个模型的，绝对不是你安装有问题，是需要“钞"能力的）

3. 硬盘空间需要100个G

4. Win 10和Win 11都支持

5. 使用默认安装路径。如果选择将应用程序安装在默认安装位置之外的其他文件夹，请确保文件夹路径或文件夹名称中没有空格。

这一点NVIDIA工程师还特别在论坛上强调了：

6.安装有问题的，90%都是网络的问题，确保网络能访问conda、github和Python仓库

7.关闭杀毒软件，防止其干扰安装过程（网友总结）

8.启动WIndows Power Shell2.0，以便下载依赖项(网友总结）

9. sentence-transformoers模块缺失，可能需要手动安装或使用Microsoft visual C++building tools.(网友总结）

10.取法处理大型数据集，可能需要限制数据集大希奥或内存占用

11.预装的大模型不适合中文语境

12.文档的读入速度需要2分钟一篇的样子，这个没有量化告诉用户，我第一次丢了280篇，读了2天。。。如果没读完，程序禁止用户使用（网友总结）

以下是安装过程中Tips:

-安装程序将下载各种软件库、AI模型权重和引擎文件。下载的总大小将在50GB至100GB之间，具体取决于所选择的模型。下载和安装过程将根据您的互联网连接速度和服务器负载而耗时30分钟至一小时不等。

-请确保在安装过程中禁用系统的睡眠功能。

-如果安装失败并显示错误消息，请重新运行安装程序，它将从停止的位置恢复并继续安装过程。

-如果安装失败但已安装了一些组件，请在下一次安装尝试中选择“进行清洁安装”。

-即使安装程序包含大部分所需的大型文件，但仍然需要从公共服务器下载一些文件。如果这些服务器宕机，那么安装程序可能会失败或暂时停滞。

-如果选择将应用程序安装在默认安装位置之外的其他文件夹，请确保文件夹路径或文件夹名称中没有空格。这是一个已知问题，将在将来的版本中修复。

-如果在多次尝试后安装仍然失败，请在尝试安装之前删除以下文件夹：C:\Users<username>\AppData\Local\NVIDIA\RAG

以下是目前发现的Bug，NV会在后续的版本中修复：

-应用程序无法记住上下文。这意味着后续问题的回答不会基于先前问题的上下文。例如，如果您先前问过“小编长得很美么？”，然后问“小编年纪多大？”，应用程序将不知道您在小编的信息。

-响应中的源文件归属不一定正确。这将在以后的版本中改进。

-我们观察到一些情况下应用程序会陷入无法解决的不可用状态。通常情况下，这可以通过删除 preferences.json 文件来解决（默认路径为 C:\Users<user>\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json）。

-如果重新安装失败，请尝试删除安装目录（默认路径为 C:\Users<user>\AppData\Local\NVIDIA\ChatWithRTX）。

-如果选择将应用程序安装在默认安装位置之外的其他文件夹，请确保文件夹路径或文件夹名称中没有空格。

祝你一切顺利！