
NVIDIA 今日宣布與 OpenAI 合作,讓一般消費者能夠使用到全新 gpt-oss 開源模型系列產品,原本僅限於雲端資料中心的尖端 AI 技術,如今也能以驚人的速度在搭載 RTX 技術的 PC 及工作站上運行。
此項發布象徵次世代裝置端 AI 技術透過 GeForce RTX GPU 與 PRO GPU 的強大運算能力,能夠在 PC 及工作站的本機端提供用戶更快速、更智慧的 AI 使用體驗。此次推出兩款專為支援整個 AI 生態系多元應用需求的全新版本:
● 經過最佳化的 gpt-oss-20b 模型可在搭配至少 16GB VRAM 的 NVIDIA RTX AI PC 上,以最大效能極速運行,在 RTX 5090 GPU 上可達每秒 250 個 token 的運算速度。
● 更高階的 gpt-oss-120b 模型則支援搭載 NVIDIA RTX PRO GPU 的專業工作站。
這兩款使用 NVIDIA H100 GPU 完成訓練的模型,是首批在 NVIDIA RTX 上支援 MXFP4 精度的模型。相較於過去使用的技術,MXFP4 可在不增加效能成本的前提下,有效提升模型品質與準確度。這兩款模型皆支援長達 131,072 token 的上下文長度,在本地推論領域中的表現位居前列。兩款模型皆採用靈活的專業混合(MoE)架構,具有思維鏈功能,並支援指令跟隨與工具使用等功能。
本週, RTX AI Garage 將重點介紹 AI 愛好者與開發者如何在 NVIDIA RTX GPU 上快速上手 OpenAI 的全新模型:
● Ollama 應用程式:使用全新推出的 Ollama 應用程式,是最容易測試這些模型的方式。它的直覺式使用者介面內建支援 gpt-oss 模型,已針對 RTX GPU 進行最佳化。
● Llama.cpp:NVIDIA 與開源社群合作,持續提升 RTX GPU 的運算效能,近期貢獻包括導入 CUDA Graphs 技術,有效降低系統開銷。開發者可透過 Llama.cpp 的 GitHub 儲存庫輕鬆開始使用。
● Microsoft AI Foundry:Windows 開發者可透過 Microsoft AI Foundry Local(現為公開預覽階段)使用這些模型。只要在終端機執行指令 Foundry model run gpt-oss-20b,即可輕鬆啟動模型。
NVIDIA創辦人暨執行長黃仁勳強調這次發布的重要性:「OpenAI 向世人展示了使用 NVIDIA AI 技術建構模型的深厚潛力,如今他們更進一步推動開源軟體的創新,gpt-oss 模型讓全球開發者都能使用這項尖端的開源基礎進行創建,鞏固美國在 AI 領域的科技領先地位,而這一切皆建構於全球規模最大的 AI 運算基礎架構之上。」
想深入瞭解如何開始使用 OpenAI 搭配 RTX 技術的全新模型,歡迎參閱本週的 RTX AI Garage 部落格文章。若想進一步了解 NVIDIA 與 OpenAI 的合作詳情,請造訪 NVIDIA 官方部落格文章。