還記得 WirForce 2022 突襲降臨的 NVIDIA 執行長黃仁勳嗎?為了回應當日亂入兩位網路歌手的獻唱,這次 NVIDIA 運用 AI 人工智慧技術創造出「Toy Jensen」分身,開金口帶來聖誕佳節的祝福。
黃仁勳於 WirForce 2022 開幕夜當晚亂入的是網路歌手 Isteen 李欣庭和 Lah 李以樂的直播,曾點播《捍衛戰士:獨行俠》(Top Gun: Maverick)的主題曲《hold my hand》,不過由於兩位歌手當時還不太拿手,後來以重新錄製的方式獻唱。
而黃仁勳在聽到她們的獻唱後,雖表示自己不會唱歌,但運用 NVIDIA 的語音 AI、電腦視覺、自然語言理解、推薦引擎和模擬的技術構成的 Omniverse Avatar,創造出 Toy Jenson 虛擬分身,並用這個分身獻唱耳熟能詳的聖誕名曲《Jingle Bells》,回應兩位歌手。
NVIDIA 的創意團隊導入 NVIDIA Omniverse Avatar Cloud Engine (ACE) 平台的雲端原生 AI 微服務與工作流程,使用最近開發的語音轉換模型,從樣本中提取專業歌手的聲音,並把它轉換成 Toy Jensen 的聲音,再透過 Audio2Face 和 Audio2Gesture 等技術,為整段表演產生出逼真的臉部表情和肢體動作。