用於建構智慧體人工智慧的開源和商業軟體模組已經遍布 Arm64 生態系統。以下是它們如何協同工作的介紹：
生成式人工智慧將模型置於基礎設施討論的核心。而智能體人工智慧改變了這個格局：當智能體檢索資料、呼叫工具、執行程式碼並協調多步驟工作流程時，圍繞模型建構的軟體就變得與推理本身同等重要。
為了應對這些不斷變化的基礎設施需求，Arm 開發了 Arm AGI CPU，這是一種基於 Arm Neoverse 的新型處理器，專為滿足智慧體人工智慧的需求而設計。 Arm AGI CPU 旨在提供支援高並發智能體工作負載所需的效能、可擴展性和能源效率，這些工作負載包括編排、工具執行、資料檢索和應用程式服務。
在 OCP 全球高峰會上，Arm 推出了一種 新的 CPU 評估方法， 得到了富士通、Meta 和 OpenAI 的支持，同時也公佈了獨立驗證的結果，表明 Arm AGI CPU 的每機架效能比領先的 x86 伺服器處理器高出 2 倍。
大規模部署智能體人工智慧需要的不僅是 CPU 的創新。它依賴一個強大的軟體生態系統，涵蓋智慧體框架、編排、資料基礎設施、網路和應用服務。 Arm 憑藉成熟且經過生產驗證的軟體生態系統邁入這個新時代，該生態系統是多年來與開源社群、軟體供應商和雲端服務供應商合作建構的。 Arm64 對雲端原生和 AI 軟體有著廣泛的原生支持，並且基於 Arm Neoverse 的 CPU 已在全球領先的雲端平台上大規模部署，開發者可以利用這一成熟的軟體基礎，在 Arm AGI CPU 上建置和擴展智能體 AI 應用。
代理任務背後的軟體
智能體人工智慧軟體堆疊涵蓋智能體框架和編排、工具執行、記憶體和檢索、模型服務以及雲端原生基礎設施。如下圖所示，這些功能由廣泛的開源和商業技術生態系統提供支持，包括 LangGraph、LangChain、Firecracker、Redis、Elasticsearch 和 vLLM。
開發者可以透過 Arm 軟體生態系統儀表板（包括其專門的智能體 AI 類別）了解軟體可用性、支援的版本和相關資源 。這為使用 Arm64 上的熟悉技術建構和部署智能體 AI 應用提供了一個實用的起點。
不同的代理商，不同的基礎設施需求
儘管智能體人工智慧應用共享相同的軟體基礎架構，但它們的基礎設施需求會根據執行的任務而顯著不同。編碼智能體經常執行程式碼、編譯軟體和運行測試，因此對 CPU 效能和沙箱環境的要求更高。企業工作流程智能體高度依賴 API 互動、資料庫事務和編排，而研究型智能體則依賴高效的搜尋、檢索和記憶體管理。個人助理優先考慮互動式回應，而機器人應用則對模擬和延遲敏感型協調提出了額外的要求。
對於開發者而言，了解智能體執行時間的去向對於最佳化軟體堆疊至關重要。例如，優先考慮編碼智慧體的沙箱效能、企業工作流程的資料庫和 API 效率，或研究智慧體的檢索和緩存，都能提升端到端任務的效能。這些差異凸顯了為何應該從整個工作流程的角度評估智能體 AI 基礎設施，而不僅僅是模型推理性能。
從賦能到效能最佳化
為了滿足這些多樣化的工作負載需求，Arm 致力於優化開源和商業軟體中智慧 AI 軟體堆疊關鍵元件的效能。
工具執行和沙箱： Signal65 對 Arm AGI CPU 進行的 獨立 測試 表明，與 AMD EPYC 9965 相比，沙箱創建延遲最多降低了 45%，這凸顯了 CPU 性能對於代理工具執行的重要性。
企業搜尋與檢索： 代理程式需要有效率地存取企業訊息，包括結構化和非結構化資料。 Elasticsearch 透過向量搜尋、混合檢索和即時搜尋功能來支援這些工作負載。 Arm 近期發布的 Elasticsearch 效能基準測試 表明，在基於 Arm 的基礎架構上運行這些工作負載具有顯著優勢。
向量資料庫和代理記憶體： 向量資料庫使代理程式能夠在多步驟工作流程中檢索相關上下文並存取持久化知識。 Redis 等技術支援向量搜尋、快取和代理狀態管理。 Arm 正與生態系合作夥伴合作，在 Arm64 架構上優化這些工作負載。 Redis 8.10.1 向量搜尋基準測試 表明，AWS Graviton5 的每美元上下文獲取量比 x86 高出 16% 至 27%，在正常負載下，57 萬篇文件的資料集具有 16% 的性價比優勢，在重負載下，330 萬篇文件的資料集具有 27% 的性價比優勢。
模型服務： 模型服務架構是 Arm 軟體最佳化的另一個領域。 Arm 發布的 vLLM 開發者資源展示了在基於 Arm 的伺服器上的部署、量化推理和效能調優，幫助開發者提高推理吞吐量和資源效率。
像 OpenInfer 這樣的新興獨立軟體開發商正在推進跨異構運算資源的智慧推理路由和調度。 OpenInfer 正與 Arm 合作，展示其 Loom 平台如何在多個基於 Arm 的 CPU 上運行 AI 模型。
智能體人工智慧實戰：基於Arm AGI CPU的客戶服務演示
為了展示智能體人工智慧軟體生態系統的實際應用，Arm 使用 LangGraph 和 LangChain 開發了一款基於 CPU 的多智能體客戶服務應用。該應用程式使用 CPU 託管的小型語言模型 (SLM) 對傳入的客戶請求進行分類，並將其路由至專門處理會議安排、客戶投訴、產品諮詢和退款的智能體。這些智能體結合了基於 CPU 的推理、企業資料檢索、外部模型 API 和工具執行，以完成多步驟工作流程，包括安排會議、產生個人化產品手冊以及透過企業系統啟動退款流程。
此示範展示如何在基於 Arm 的基礎架構上整合熟悉的開源軟體元件，從而實現端到端的智慧型體人工智慧應用。
在Arm上建置和優化智慧體AI
Arm 為開發者提供實用的資源，幫助他們利用成熟的 Arm64 軟體生態系統建置、部署和優化智慧體 AI 應用。透過 Arm 學習路徑，開發者可以存取實踐教程，學習如何使用 llama.cpp 建立 AI 智能體、使用 LangChain 和 FAISS 實現 RAG 應用，以及在基於 Arm 的平台上部署 vLLM 模型服務基礎設施。這些資源能夠幫助開發者從軟體開發過渡到建構和優化實際的智能體 AI 應用。
人工智慧代理技能生態系統的不斷發展，也讓開發者更輕鬆地在基於 Arm 的基礎架構上建置、遷移和優化應用程式。 AWS 推出了 Graviton 開發者技能，旨在幫助開發者使用 AWS Graviton；而 Arm 則透過 OpenAnolis SkillHub 貢獻了自己的技能，包括 Arm Performix、 Arm Performix CI 和 Arm Migrate Ease。這些措施共同將平台特定的知識和優化指導直接融入人工智慧輔助的開發工作流程中。
Arm 持續與開源社群、軟體合作夥伴和雲端服務供應商合作，共同推動智慧體 AI 軟體生態系統的發展。開發者可以透過 Arm 軟體生態系統儀表板探索支援的框架和技術 ，並使用 Arm 學習路徑 立即開始在 Arm64 平台上進行建置。透過 Arm 學習路徑，開發者可以存取實踐教程，獲得關於如何使用 llama.cpp 和 llama-cpp-agent 構建 AI 代理、在隔離的 Firecracker 微型虛擬機中執行 AI 生成的代碼、使用 LangChain 和 FAISS 實現 RAG 應用以及 在基於 Arm 的平台上部署 vLLM 模型服務基礎設施的實用指導。
這些資源可以幫助開發者從軟體實現過渡到建立和優化現實世界中的智慧體人工智慧應用程式。
如果您正在開發代理框架、工具執行環境、資料基礎架構或模型服務技術，我們非常樂意與您合作。 請聯絡 Arm 軟體生態系統團隊 ，探討 Arm AGI CPU 的軟體賦能、工作負載驗證和效能最佳化機會。
歡迎蒞臨 AgentCon，與 Arm 一同 體驗我們基於 Arm AGI CPU 運行的智能體 AI 演示。參觀 Arm 展位，了解軟體生態系統如何在實際應用中協同運作，與 Arm 的技術專家交流，並探索在基於 Arm 的基礎設施上構建、部署和優化智能體 AI 解決方案的機會。
(作者：Bhumik Patel，Arm伺服器生態系統開發總監)
現在就加入 ioioTIMES 臉書粉絲團 更多互動、更多好康攏抵加!!
我們有LINE TODAY頻道了，快來追踪我們吧!!--最新科技新聞 盡在你手
