NVIDIA 宣布提供開源 Audio2Face 模型與 SDK,讓所有遊戲與 3D 應用程式開發者都能運用這項技術,打造逼真寫實的人物角色與先進的動畫效果。NVIDIA 也將提供開源形式的 Audio2Face 訓練框架,讓任何人皆可視需求微調與客製既有模型,滿足特定的應用場景。
NVIDIA Audio2Face 不只能透過生成式 AI 協助開發者快速打造栩栩如生的數位角色,還能提供即時臉部動畫與精準嘴型動作同步效果。此外,Audio2Face 能進一步運用 AI 技術分析語音中的音位與語調等發聲特徵,生成動畫數據串流內容,並對應至角色的臉部表情。這些數據可用於離線渲染預先編寫好的內容,或以即時串流方式創造動態的 AI 角色,展現自然準確的嘴型動作同步與情感表達。
Audio2Face 現已廣泛運用於遊戲、媒體娛樂與客服等產業。眾多獨立軟體供應商(ISV)與遊戲開發商也都在其應用程式中採用 Audio2Face 技術。合作名單包括 Codemasters、GSC Game World、網易、完美世界等遊戲開發商;獨立軟體供應商則涵蓋Convai、Inworld AI、Reallusion、Streamlabs及UneeQ 等。
以下內容及本篇部落格文章中能夠看到完整的開源工具清單,並可進一步於 NVIDIA ACE for Games 平台了解更多資訊。

