NVIDIA Blackwell 架構 GeForce RTX 50 系列 GPU 導入的新技術幾乎都是劃時代的變革,其中最先進的當屬 RTX 神經渲染。
神經渲染(Neural Rendering)乍聽之下很陌生,其實 DLSS 技術中的 Upscaling 超解析度放大就是神經渲染最簡單易懂的實例。它採用較低輸入解析度的渲染畫面,透過神經網路拓展成高解析度畫面。
到了 Blackwell 架構,NVIDIA 進一步導入更多元素,包括神經紋理(Neural Textures)、神經材質(Neural Materials)、神經體積雲(Neural Volumes)、神經輻射場(Neural Radiance Fields)、神經輻射快取(Neural Radiance Cache),構成神經渲染中,神經網路著色的重要呈現方式。
神經材質(Neural Materials)透過 AI 壓縮多層次結構(如瓷器、絲綢)的材質,用更小的記憶體耗用量來載入,材質處理速度提高至 5 倍,以便在遊戲中迅速渲染出電影級的精細材質效果,也不用擔心耗用掉太多資源。
神經輻射快取(Neural Radiance Cache)則運用遊戲資料訓練過的神經網路,來更準確且有效率地預估遊戲場景的間接照明。只要追蹤一兩條光線並將其儲存到快取,便可推斷出無限多條光線和反射狀態,更準確地顯示遊戲場景中的間接照明。得益於需要追蹤的光線數量大幅減少,整體性能表現便可更上一層樓。
除了著色方式,NVIDIA 還用神經網路創造更擬真的遊戲人物技術。
傳統人臉渲染方式與現實之間多少有一些微小的偏差,累積起來很容易掉入恐怖谷。RTX Neural Faces 採用簡單的光柵化臉部加上 3D 姿勢資料作為輸入,並使用即時生成 AI 模型來推論出更自然的臉部。
髮絲也是傳統電腦繪圖很難真實呈現的部分,畢竟每根頭髮動輒需要 30 個多邊形,一位新郎的頭髮可能動用多達 400 萬個多邊形,若再加上光線追蹤,畫面運算負載非常可觀。
NVIDIA 透過 Linear-Swept Spheres(線性掃描球體)有效縮減渲染頭髮所需的幾何體數量,佐以球型取代多邊形,更能適應頭髮形狀,可大幅縮減記憶體耗用至 3 分之 1,且進一步提升 FPS。
隨著光線追蹤遊戲場景的幾何複雜性激增,為各個細節層級(LOD)建立每幀包圍體層級(BVH) 的成本呈指數級增長,因此難以實現及時渲染。
RTX Mega Geometry 可在 GPU 上智慧地大量更新多邊形簇,進一步減少 CPU 負載,並提高光線追蹤場景中的效能和影像品質。這麼做可以加速 BVH 構建,使得光線追蹤的三角形數量可達當今標準的 100 倍。
RTX Mega Geometry 現已應用於《心靈殺手 2》(Alan Wake 2)的宣傳影片,並即將在虛幻引擎5(Unreal Engine 5)的 NVIDIA RTX 分支中推出。
Blackwell 架構導入這麼多 RTX 神經渲染技術,遊戲真能用得上嗎?微軟稍早於自家 blog 宣布,DirectX 很快就會支援協作向量(Cooperative Vectors),也就能解鎖 NVIDIA GeForce RTX GPU 的 Tensor 核心的強大功能,讓開發者在 Windows 環境中運用充分加速的神經網路著色器。
這意味著未來不久,以微軟 DirectX 為程式介面基準的遊戲引擎,能夠啟用 Blackwell 架構 GeForce RTX 50 系列 GPU 的神經渲染相關功能,帶來更優異的畫面與性能表現。