NVIDIA NIM微服務與AI Blueprints可協助開發者與愛好者在PC上建立AI代理及創意工作流程
NVIDIA 於今日在 CES 上宣布推出可在 NVIDIA RTX™ AI PC 本機端運行的基礎模型，為數位人、內容創作、生產力和開發工作增添更強大的能力。
這些以 NVIDIA NIM™ 微服務形式提供的模型，由全新的 GeForce RTX™ 50系列GPU加速，GPU 具備每秒高達 3,352 兆次（TOPS）的 AI 運算效能及 32GB 的 VRAM。採用 NVIDIA Blackwell 架構的 RTX 50 系列，是首款加入支援 FP4 運算能力的消費性 GPU，可將 AI 推論效能提升兩倍，且與前一代硬體相比，能夠以更小的記憶體用量在本機端執行生成式 AI 模型。
GeForce™一直以來都是 AI 開發者所使用的重要平台。2012 年，開發者即使用 GeForce GTX™ 580 訓練第一個 GPU 加速的深度學習網路 AlexNet，而去年已有超過三成發表的 AI 研究論文引用其使用 GeForce RTX。
現在，有了生成式 AI 和 RTX AI PC，任何人都可以成為開發者。愛好者使用 AnythingLLM、ComfyUI 與 LM Studio 等新一波的低程式碼與無程式碼工具，透過簡單的圖形使用者介面在複雜的工作流程中使用AI模型。
使用者透過連接到這些圖形使用者介面（GUI）的 NIM 微服務，便能輕鬆存取與部署最新的生成式 AI 模型。建構在 NIM 微服務上的 NVIDIA AI Blueprints，為數位人、內容創作等領域提供預先設定好又易用的參考工作流程。
為了滿足 AI 開發者與愛好者層出不窮的需求，每一家頂級 PC 製造商與系統建置商皆會推出搭載 GeForce RTX 50 Series GPU 的 NIM-ready RTX AI PC。
NVIDIA 創辦人暨執行長黃仁勳表示：「AI 正以光速發展，從感知式 AI 到生成式 AI，再到現在的代理型 AI。NIM 微服務及 AI Blueprints 為 PC 開發者和愛好者提供了探索 AI 魔法的基礎。」
將AI變成NIM微服務
基礎模型，也就是使用大量原始資料訓練的神經網路，可以說是生成式 AI 的基礎。
NVIDIA 將推出一系列適用於 RTX AI PC，來自 Black Forest Labs、Meta、Mistral 和 Stability.AI 等頂尖模型開發商的 NIM 微服務。使用案例涵蓋大型語言模型（LLM）、視覺語言模型、圖像生成、語音，以及用於檢索增強生成（RAG）、PDF 擷取和電腦視覺的嵌入模型。
Black Forest Labs 執行長 Robin Rombach 表示：「具備 FP4 運算功能的 GeForce RTX 50 系列 GPU 將開啟大量可以在 PC 上運行的模型，而這些模型過去只能在大型資料中心運行。讓 FLUX 變成 NVIDIA NIM 微服務，可以提高部署 AI 的速度，讓更多使用者體驗到 AI 的魅力，同時提供驚人出色的效能。」
NVIDIA 今日還發表了 Llama Nemotron 開放模型系列，能夠以高準確度執行多樣化的代理型任務。Llama Nemotron Nano 模型將以一項 NIM 微服務提供給 RTX AI PC 和工作站使用，在處理指令追蹤、函式呼叫、聊天、編碼和數學這一類代理型 AI 任務方面帶來精湛的表現。
NIM 微服務包含在 PC 上執行 AI 所有必要元件，且無論是在 RTX PC 與工作站還是在雲端，皆可針對跨 NVIDIA GPU 的部署進行最佳化 。
開發者與愛好者將可透過 Windows Subsystem for Linux （WSL），在 Windows 11 PC 上快速下載、設定和執行這些 NIM 微服務。
微軟 Windows 業務部門副總裁 Pavan Davuluri 表示：「AI 正在快速推動 Windows 11 PC 創新，Windows Subsystem for Linux （WSL）與 Windows Copilot Runtime 為 在 Windows 11 上的 AI 開發工作 ，提供了絕佳的跨平台環境。針對 Windows PC 最佳化的 NVIDIA NIM 微服務，讓開發者與愛好者可以隨時為他們的 Windows 應用程式整合 AI 模型，進一步為 Windows 使用者加速 AI 功能的部署。」
在 RTX AI PC 上運行的 NIM 微服務將相容於頂級的 AI 開發和代理框架，包括 AI Toolkit for VSCode、AnythingLLM、ComfyUI、CrewAI、Flowise AI、LangChain、Langflow 及 LM Studio。開發者可以透過業界標準端點，將建立在這些框架上的應用程式和工作流程，連接到運行 NIM 微服務的 AI 模型，讓他們可以在雲端、資料中心、工作站和 PC 上，以統一介面使用最新技術。
愛好者也可以使用即將推出的 NVIDIA ChatRTX 技術示範內容，體驗一系列 NIM 微服務。
為代理型AI帶來全新面貌
NVIDIA 今日發表支援視覺的 PC 數位化身 Project R2X，展示愛好者與開發者如何使用 NIM 微服務來建立 AI 代理與助理。R2X 可以讓使用者輕鬆掌握資訊、協助桌面應用程式和視訊電話會議，以及進行閱讀和摘要文件等工作。
Project R2X 數位化身以全新的生成式 AI 演算法 NVIDIA RTX Neural Faces 渲染而成，利用完全生成的像素來增強傳統的柵格化技術。接著使用全新的擴散式 NVIDIA Audio2Face™-3D 模型來製作臉部動畫，並加強唇部和舌頭動作。可以透過 CrewAI、Flowise AI 和 Langflow 等開發者框架，將 R2X 連接至 OpenAI 的 GPT4o 和 xAI 的 Grok 等雲端 AI 服務，以及 NIM 微服務和 AI Blueprints，例如 PDF 檢索器或替代 LLM。
AI Blueprints即將登陸 PC
NIM 微服務也將透過 AI Blueprints 提供給 PC 使用者 。AI Blueprints 是可以在 RTX PC 上本機端運行的參考 AI 工作流程。開發者使用這些藍圖，可以執行從 PDF 文件建立 Podcast、在 3D 場景的引導下產生精美的影像等作業。
PDF to podcast 的藍圖能夠從 PDF 中提取文字、影像和表格，以建立可供使用者編輯的 Podcast 腳本。它還可以使用藍圖所得到的語音，或是根據使用者的語音樣本從腳本中產生完整的錄音內容。此外，使用者也能即時與 AI Podcast 主播對話，進一步了解特定主題。
這個藍圖使用 Mistral-Nemo-12B-Instruct 等 NIM 微服務來處理語言，使用 NVIDIA Riva 來處理文字轉語音和自動語音辨識，並使用一系列 NeMo Retriever 微服務來擷取PDF檔案。
用於 3D引導生成式AI的AI Blueprint 可以讓藝術家更精細地控制圖像生成。AI 可以從簡單的文字提示產生精美影圖像，不過單純使用文字來控制影像構圖卻非易事。創作者藉由這個藍圖，便能使用在 Blender 等 3D 渲染器中佈局出的簡單 3D 物件來引導產生 AI 圖像。藝術家可以手動建立 3D 資產或使用 AI 產生資產，將它們放在場景裡及設定 3D 視埠相機。接著由 FLUX NIM 微服務支援預先打包好的工作流程，就會用當前的構圖產生符合 3D 場景的高品質圖像。
NVIDIA NIM 微服務與 AI Blueprints 將於二月推出，初步支援的硬體包括 GeForce RTX 50 系列、GeForce RTX 4090 與 4080，以及 NVIDIA RTX 6000 與 5000 專業級 GPU。其他 GPU 將陸續加入支援系列。NIM-ready 的 RTX AI PC 將透過 Acer、ASUS、 Dell、GIGABYTE、HP、Lenovo、MSI、Razer 和 Samsung，以及各地系統製作商陸續推出。
參加 NVIDIA在CES大會的活動，進一步瞭解 NIM 微服務、AI Blueprints 與 NIM-ready RTX AI PC 如何加速推動生成式 AI 的發展。
