基于大模型构建个人知识库之试用Chat with RTX（一）_chat with rtx 使用指南

1.Chat with RTX是什么？

Chat with RTX是英伟达于2024年2月13日发布的应用程序，适用于 Windows PC ，由 TensorRT-LLM 提供支持。

2.功能描述

Chat with RTX 支持多种文件格式，包括文本、pdf、doc / docx 和 xml。只需将应用程序指向包含文件的文件夹，它就会在几秒钟内将它们加载到库中。此外，用户还可以提供 YouTube 播放列表的 URL，该应用程序将加载播放列表中视频的转录，使用户能够查询它们涵盖的内容。

从官方描述来看，用户可以通过不同的查询，与使用 ChatGPT相同的方式使用 Chat With RTX，但生成的结果将完全基于特定数据集，似乎更适用于生成摘要、快速搜索文档等操作。

3.环境配置

Chat with RTX 被设计为一个本地化系统，用户无需上网便可使用，所有具有至少 8 GB 显存的 GeForce RTX 30 和 40 GPU 都支持该应用程序。

4.实践环境

软件环境：win11 ，python(已安装)

注：python环境可能非必须，6.3节可能会自动安装

硬件环境：i5 13600kf+64GB内存+英伟达 rtx 3060显卡

网络环境：具备魔法上网环境

5.预期用途

构建个人知识库（本地化、私有化chatgpt）

6.试用步骤

6.1下载Chat with RTX

访问以下网址进行下载，下载资源包约35GB(无需魔法上网)

https://www.nvidia.cn/ai-on-rtx/chat-with-rtx-generative-ai/

然后点击“立即下载”

6.2下载完成后，进行解压

6.3. 解压完成后，双击“setup.exe”启动进行安装

6.4 安装过程中，基本上下一步就好

安装过程中会下载依赖包、模型包（需要魔法上网环境，如无可能会频繁出现install failed）

算法选择的是：Mistral 7B int4

6.5 安装完成后，双击桌面图标启动chat with rtx

双击启动后，命令窗口日志如下：

6.6浏览器访问（设置知识库素材文件夹）

将自动打开浏览器窗口，浏览器页面选择知识库素材文件夹（试用时，采用的是默认文件夹）

选择知识库文件夹后命令窗口将出现以下日志

6.7 问答测试（英文问答）

知识库素材文件夹（C:\software\ChatWithRTX\RAG\trt-llm-rag-windows-main\dataset）下

查看知识库素材（first-descendant-nvidia-dlss-3.txt）

进行问答测试，输入问题（How many games was available when The First Descendant Launching With NVIDIA DLSS 3），答案正确

6.8 问答测试（中文问答）

中文知识库素材：

问答测试

结果分析：
中文对话效果不佳，待切换算法或后续chat with rtx发布新版本后进行测试