NVIDIA 展示自家 AI 訓練的成果,推出「Chat With RTX」的 AI 聊天程式,與現在諸多的 AI 聊天程式一樣,可以快速總結文章、影片的內容,但不同的是,Chat With RTX 是完全依靠用戶的顯卡進行運算,過程期間完全不需要連上網路。
Chat With RTX 整合了 retrieval-augmented generation (RAG) 檢索生成網路和 TensorRT-LLM 大型語言模型,根據 NVIDIA 所展示的功能,程式可以分析文件內容,生成摘要總結,也可以分析 YouTube 的影片,並回答相關的問題。
此外,程式運算完全是透過用戶主機的 GPU 完成,所以部分功能即使在沒有網路的環境下也能使用,用戶只要使用圖型記憶體在 8 GB 以上的 RTX 30、40 系列的顯示卡,並將驅動更新至 535.11 之後的版本就能使用,不過相對的,顯卡的效能會決定程式生成回應的速度。
Chat With RTX 的 Demo 版已經免費開放給大家利用下載,需要注意程式有著一定的份量,安裝檔達到 35.1 GB!在下載與安裝之前建議要先確認一下主機的硬碟空間。