NVIDIA 發表 TensorRT-LLM 加速 AI 推論效能 支援在 RTX 驅動的 Windows PC 上運行的新模型

  NVIDIA 於微軟 Ignite 全球技術大會發表旗下新工具和資源,包括 OpenAI Chat API 的 TensorRT-LLM 封裝器、DirectML 為 Llama 2 帶來 RTX 驅動的效能提升、其他熱門 LLM 等。官方表示,Windows PC 上的人工智慧標誌著科技史上的關鍵時刻,它將徹....

推薦電競新聞

繼續閱讀
Source NVIDIA 發表 TensorRT-LLM 加速 AI 推論效能 支援在 RTX 驅動的 Windows PC 上運行的新模型 https://gnn.gamer.com.tw/detail.php?sn=259306