隨著 AI 代理從單純的生成回應演變至執行實際任務,許多完成這些任務所需的運算都在使用者的電腦上進行,並由客戶端 CPU 負責執行程式碼、協調各種工具,以及與本地應用程式進行互動。
部落格文章重點內容如下:
代理式 AI 如何將 AI 從生成回應演變為完成實際任務:
AI互動模式正從以往的「輸入 Token,輸出 Token(Tokens In, Tokens Out)」轉變為「輸入 Token,輸出行動(Tokens In, Actions Out)」。當 AI 代理讀取本地檔案、執行 Python、編譯程式碼、搜尋專案目錄,以及控制應用程式等任務時,即使 AI 推論是由 GPU 或 NPU 負責執行,CPU 仍持續推動整體工作流程。AI 代理的效能不再僅由模型產生 Token 的速度所決定,也取決於電腦能多快將這些 Token 轉化為實際且有價值的工作成果。
隨著AI代理在本地執行更多工作,客戶端CPU的效能變得日益重要:
當 AI 代理啟動程序、解析檔案、執行指令或協調多個工作流程時,CPU 負責處理大量的執行與排程工作。實測數據顯示,在執行多代理、高負載的 Codex 開發人員工作流程中,搭載 AMD Zen 5 架構的 Ryzen™ AI Max+ 處理器的 ASUS ProArt 系統,其 CPU 吞吐量較4年前的舊款筆電大幅提升高達 6 倍,證明 CPU 效能將直接影響整體任務的完成速度。