NVIDIA 發表 TensorRT-LLM 加速 AI 推論效能 支援在 RTX 驅動的 Windows PC 上運行的新模型

NVIDIA 於微軟 Ignite 全球技術大會發表旗下新工具和資源，包括 OpenAI Chat API 的 TensorRT-LLM 封裝器、DirectML 為 Llama 2 帶來 RTX 驅動的效能提升、其他熱門 LLM 等。官方表示，Windows PC 上的人工智慧標誌著科技史上的關鍵時刻，它將徹.......