AMD 與 Unsloth 宣布展開合作,AMD XDNA 2 NPU 成為全球首款獲 Unsloth Desktop 支援的神經網路處理器(NPU),讓超過 100 款
全天候運行的 AI 助理與 AI 代理,需要在處理日常 PC 任務的同時
重點摘要:
- 支援超過 100 款代理式應用程式與工作流程:Unsloth Desktop API 讓相容工具能夠使用本地模型推論功能,涵蓋 OpenCla
w、Cline、LangChain 以及 GitHub Copilot 等。Unsloth 橫跨模型開發與部署, 不僅提供能加速微調並降低 GPU 記憶體需求的開源工具, 更推出無需撰寫程式碼即可進行訓練與推論的桌上型應用程式。AM D NPU 的支援將此產業體系從傳統的 CPU 與 GPU 運算進一步向外 延伸,為使用者提供高能效的推論選項,並連接超過 100 款相容的 代理式 AI 應用程式與工作流程。 - 高能效的 AI 運算體驗:將支援的推論工作負載轉移至 NPU 執行,
有助於延長電池續航力,並為其他應用程式保留 CPU 與 GPU 運算 資源。AI 代理能夠透過相互連接的工具執行多步驟任務,透過本地 NPU 推論能力,相容的 AI 代理在處理各項模型請求時能展現更高 的能效,同時保留 CPU 與 GPU 資源以專注於任務編排(orch estration)與其他應用程式運作, 協助使用者減少逐一管理任務步驟所花費的時間, 將更多精力投入於審視最終成果。 - 由 Lemonade 與 FastFlowLM 提供技術支援:此整合
架構將 Unsloth Desktop 與專屬的 AMD NPU 加速能力緊密連結。當相容的應用程式向 Unsloth Desktop API 發送模型請求時,將由 Lemonade 與 FastFlow LM 負責在 AMD XDNA 2 NPU 上執行模型服務(Model Serving)與推論, 隨後再將模型回應傳回應用程式以延續其工作流程。 在此分工模式下,NPU 專責加速支援的模型推論任務, 而應用程式的其他功能則依需求繼續靈活運用 PC 的 CPU 與 GPU 資源。
11月搞畏獎現正開跑,留言抽好禮!!
ioioTIMES IG | Threads 歡迎加入!!
我們有LINE TODAY頻道了,快來追踪我們吧!!--最新科技新聞 盡在你手
















