NVIDIA发布了Chat with RTX，作为一个技术演示，说明人工智能聊天机器人如何使用其RTX GPU在Windows PC上本地运行。
使用AI聊天机器人的标准方法是使用ChatGPT这样的Web平台，或者通过API运行查询，推理发生在云计算服务器上。这样做的缺点是成本、延迟和个人或公司数据来回传输的隐私问题。
NVIDIA的RTX系列GPU现在可以在Windows PC上本地运行LLM，即使您没有连接到互联网。
使用RTX聊天让用户使用Mistral或Llama 2创建个性化聊天机器人。它使用检索增强生成（RAG）和NVIDIA的推理优化TensorRT—LLM软件。
您可以将”与RTX聊天”直接指向电脑上的某个文件夹，然后向其询问与该文件夹中的文件相关的问题。它支持各种文件格式，包括. txt、. pdf、. doc/. docx和. xml。
由于LLM正在分析本地存储的文件，并在您的计算机上进行推理，因此速度非常快，并且您的数据不会在可能不安全的网络上共享。
您也可以使用YouTube视频URL提示它，并向它询问有关视频的问题。这需要互联网接入，但这是一个很好的方式来获得答案，而不必观看长视频。
你可以用腾讯通免费下载Chat，但你需要在你的电脑上运行Windows 10或Windows 11，配备GeForce RTX 30系列或更高版本的图形处理器，至少有8 GB的VRAM。
与RTX聊天是一个演示，而不是成品。它有一个小故障，不记得上下文，所以你不能问它后续问题。但这是一个很好的例子，说明了我们将来如何使用LLM。
在本地使用AI聊天机器人，API调用成本为零，延迟非常小，这可能是大多数用户最终与LLM交互的方式。像Meta这样的公司采取的开源方法将看到设备上的人工智能推动他们的免费模型的采用，而不是像GPT这样的专有模型。
也就是说，移动和笔记本电脑用户将不得不等待一段时间，RTX GPU的计算能力才能适应更小的设备。
