隨著AI基礎設施分化為不同的專用層級，CPU正成為代理式AI工作負載的協調層
人工智慧 (AI) 基礎設施正進入全新的關鍵階段。生成式 AI 基礎設施的第一個發展階段以加速器規模為核心特徵，聚焦 GPU、NPU 及客製化 AI 加速器的部署、供電、散熱與互聯能力。該階段尚未落幕，但已無法滿足當前發展需求。
下一階段的重點在於機櫃級系統組成：也就是異質 AI 機櫃，其中不同運算資源會針對代理式 AI 工作流程的不同階段進行最佳化。由 CPU、加速器、記憶體與網路所組成的專用化機櫃，正被整合成 GW 級 AI 超級叢集；每個機櫃則做為高密度運算引擎，負責工作流程中的特定環節。
隨著 AI 推論從單次模型呼叫，演進為多步驟的代理式 AI 處理流程，基礎設施設計的重點也正從單純聚焦於加速器規模，轉向更廣泛的系統組成問題：如何為代理式 AI 工作流程的每個階段，組合出合適的運算資源。加速器對於預填充 (prefill)、解碼 (decode) 與模型執行仍然相當重要；而 CPU 則在周邊的協調層中扮演關鍵角色，因為 AI 代理會在這一層分散至各種工具、API、檢索系統、雲端原生服務，以及多次模型呼叫。
這一轉變可說意義重大，因為推論的運行結構正在發生質變。傳統推論大多是線性流程：請求進入系統、模型生成回應，單次事務隨即結束。代理式 AI 的運行模式則完全不同：AI 代理可自主規劃任務、檢索資料、呼叫工具、運行程式碼、請求 API、基於中間結果推論，並循環執行多次模型呼叫，最終輸出結果。
這正在重塑資料中心的整體形態。越來越多的工作負載不再侷限於神經網路前向傳播，系統更多算力消耗在加速器、記憶體、儲存、網路與軟體服務的跨元件協同調度上。基礎設施的大量架構決策，正從伺服器層級轉向機櫃層級。
Austin Lyons 近期在 Chipstrat 中指出：「CPU 並非通用標準化產品，其價值競爭也並非只有單一面向。」這個觀點十分重要。異質 AI 機櫃不需要普適型的通用 CPU，而是需要針對專項任務最佳化的 CPU：持續為加速器提供資料、擔任記憶體密集型的解碼運算、處理模型呼叫間隙的代理式任務。
機櫃正在成為AI系統
AI 基礎設施在推論流程的各個階段正變得更加專用化。其中一個最明顯的例子，是預填充與解碼之間日益明確的分工。預填充是系統處理輸入提示詞，並建立 KV 快取的階段；這個階段通常需要大量運算，也高度依賴加速器。解碼則是系統逐一產生回應詞元的階段；隨著上下文長度增加，解碼會越來越受到記憶體頻寬、記憶體容量與 KV 快取搬移的限制。
異質 AI 機櫃必須讓許多專用元件如同一個一致的系統般協同運作。它必須將請求導向合適的運算層級，在預填充與解碼之間高效率地搬移資料，管理 KV 快取傳輸，維持工作階段狀態，執行模型以外的工作，並在完整處理流程中落實服務水準目標 (SLO)。
正因如此，產業正轉向以更高層次的系統觀點來看待 AI 基礎設施。資料中心能夠完成多少有實際價值的代理式 AI 工作，並不只取決於加速器容量，也取決於 CPU 容量、記憶體頻寬、網路效能、軟體協調能力，以及在實際工作負載壓力下平衡整體系統的能力。架構設計的核心問題，正從「我們可以部署多少加速器？」轉向「我們如何讓代理式 AI 工作流程的每個階段各自專用化，並彼此協調運作？」。
在該架構下，CPU 的應用場景不再單一，而是呈現多元化分工。
異質AI機櫃中的三類CPU角色
第一類為預填充主機 CPU，負責統籌推論流程中運算密集型階段；第二類為解碼主機 CPU，管理延遲敏感、記憶體密集型的推論階段；第三類為AI 代理/工作節點 CPU，做為運算層，承擔模型呼叫間隙的代理型任務。三類角色彼此關聯，但不能採用同一套評估標準衡量。
這種認知的重新建構相當重要。產業以往普遍將「主機 CPU」視為單純的輔助組件，但在機櫃級異質 AI 架構中，該認知過於片面。基礎設施團隊需要依據推論流水線各層級的差異化任務，針對性地評估 CPU 算力。
基礎設施設計的變革邏輯
憑藉這套新的系統級設計思路，基礎設施團隊可根據真實工作負載特徵，對各運算層級進行合理的資源配比。例如，長提示詞、短輸出的工作負載，需要更強的預填充算力；長會話聊天機器人更依賴解碼算力與記憶體頻寬；至於多代理企業工作流程，則可能需要大幅增加工作 CPU 容量，以支援工具執行、檢索、政策檢查與應用程式協調。
同時，異質基礎設施長期存在的核心壁壘正在被打破。傳統多架構部署存在顯著的軟體適配阻力，包括跨平台應用移植、軟體堆疊驗證、效能調校、DevOps 流程適配等繁瑣工作。而智慧體開發模式大幅簡化了上述流程，AI 輔助的移植、測試、驗證與維運能力，有效降低了大規模多架構環境的執行週期與風險。
此項變革意義重大，架構設計的核心邏輯已然改變。基礎設施團隊無需再為降低維運複雜度，將所有工作負載強行適配單一預設架構。如今可針對 AI 系統的不同層級匹配最優架構，並透過現代化軟體自動化能力，在幕後管控系統複雜度。
這一轉變也重塑了 AI 基礎設施的經濟模型。產業關注點不再侷限於「哪款加速器的模型輸送量最高」，而是聚焦於整個機櫃如何將功耗、記憶體、I/O、軟體調度資源高效率地轉化為有效 AI 算力產出。
這是系統層面的問題，而非單一元件的問題。
這也正是 Arm 架構優勢變得格外重要的地方。AI 基礎設施正朝向異質運算、高並行度、受功耗限制的擴展，以及軟體定義的協調管理發展。這些條件下，每瓦效能、生態系廣度與架構靈活性會變得格外關鍵。
Arm AGI CPU在代理式AI基礎設施時代的角色
Arm AGI CPU 是專為這場產業變革而設計，將 Arm 雲端基礎設施技術路線延伸至次世代代理式 AI 系統，讓 CPU 在任務編排、記憶體協調、加速器管理與機櫃級能源效率最佳化中擔負起核心職責。
異質 AI 機櫃的核心價值，並非依靠單一參數，而是多項能力的整合優勢：高核心密度、高記憶體頻寬、高速 I/O、原生支援 CXL、成熟的軟體生態系，以及資料中心功耗約束下的高能效表現。這些特性精準地配合前述的機櫃級 AI 的三類 CPU 角色：預填充主機、解碼主機、代理工作節點。
Arm 豐富的生態系，為基礎設施開發者提供多元選擇。基於 Arm 架構的 CPU 已廣泛應用於雲端運算、網路、邊緣端與 AI 系統。合作夥伴可根據客製化需求與上市週期，靈活選用 Arm IP、Arm 運算子系統或量產晶片方案。隨著 AI 基礎設施分化為多類專用且互聯互通的架構層級，其靈活性的價值更為凸顯。
產業正在跳出「加速器優先」的單一 AI 基礎設施建設思路。加速器依舊關鍵，但僅是系統的組成部分。未來的核心差異化能力，將展現在整個機櫃的編排調度能力、資源利用效率，以及系統在真實的代理式 AI 工作負載下的運行穩定性。
在代理式 AI 時代，機櫃正成為系統本身，異質化也逐漸成為常態。CPU 則將成為 AI 資料中心最重要的架構決策之一。
(作者：Arm 雲端與 AI 基礎設施晶片全球負責人 Satadal Bhattacharjee)
更多COMPUTEX 2026最新資訊就在 ioioTIME 專區中
現在就加入 ioioTIMES 臉書粉絲團 更多互動、更多好康攏抵加!!
我們有LINE TODAY頻道了，快來追踪我們吧!!--最新科技新聞 盡在你手
