早在十多年前，我們為了滿足語音辨識與語言翻譯等 Google 內部需求，首度設計出張量處理器（TPU）。歷經八代 TPU 的演進，如今的應用場景已呈現爆發性成長，涵蓋範圍包括：第一，
今年四月在 Google Cloud Next 大會上，我們在同一代產品中推出兩款全新專用 TPU：專為大規模訓練打造的 8t，以及專為即時推論設計的 8i。相較於前一代 TPU，TPU 8t 及 8i 分別提升了高達 2.7 倍的訓練效能與 80% 的推論性價比。
今天，我們更進一步擴展第八代 TPU 產品陣容，新增兩款系統：專為龐大的脈絡視窗（context windows）與最高單機櫃（rack）運算密度設計的 TPU 8i Max，以及專為安全與機密推論打造的 TPU 8tx。這是我們首次在同一年內推出四款 TPU 系統。
雖然我們一直與 Google DeepMind 攜手共同設計 TPU，
我們今天發表的全新 TPU 系統正是為因應這個新局勢。搭配我們近期發布的 PyTorch 相關更新，我們的目標是讓每位開發者與 Cloud 客戶都能更輕鬆地使用 TPU。透過將模組化（modular）
圍繞晶片打造電腦系統
今天我們發表了兩款全新的 TPU 系統，而「新晶片」與「新系統」之間有個重要的差異。
設計一款新晶片意味著要在受物理定律限制、
十多年前當我們打造第一代 TPU 時，我們便深知 AI 軟體演進速度將遠遠超越矽晶片製造的速度。因此，
專為安全且具備龐大脈絡的 AI 量身打造
在我們的第八代 TPU 產品陣容中，每個系統都是針對 AI 生命週期中的不同階段量身打造。
TPU 8t 與 TPU 8i 奠定了這一代晶片的基礎：
-
TPU 8t 旨在成為龐大基礎模型的訓練主力，具備最高的「有效產出率（
goodput）」，即每消耗一瓦電力所能交付的實用智慧（ useful intelligence）。 -
TPU 8i 則是推論引擎，旨在突破記憶體高牆（memory wall），可將晶片間的通訊延遲大幅縮減高達一半。
如今，隨著企業將自主 AI 代理導入正式環境，我們針對這些基礎系統打造了兩款全新配置，
TPU 8tx
TPU 8tx 作為第八代的第三款系統，針對安全與機密推論進行了最佳化，
一般而言，資料在儲存或透過網路傳輸時會進行加密，
將訓練等級的運算能力與高速推論網路結合，
TPU 8i Max
我們的第四款系統 TPU 8i Max ，則是為了解決另一個問題而生：記憶體高牆。
當數十個 AI 代理同時針對整個軟體程式碼庫或長達數小時的影片協同運作時，
TPU 8i Max 同步擴展了運算與記憶體資源，提供雙倍的運算能力、雙倍的 SRAM，以及雙倍於 TPU 8i 的 HBM 頻寬，確保處理器隨時備妥關鍵資料，避免大型工作負載發生停滯。
第八代 TPU 的四款系統，不僅能靈活支援各種工作負載，
將 TPU 開放給所有開發者
十多年前當我們剛推出第一代 TPU 時，僅有少數幾家公司執行的工作負載需要用到 TPU 等級的運算能力。當時的應用情境具備高度專業性，
多年來，隨著 AI 技術不斷進步，越來越多企業開始採用加速器。如今，AI 的普及程度，已讓 TPU 成為廣泛企業與多元應用情境的絕佳選擇。因此，
這項投入在今天透過以下關鍵領域全面展現：
-
向每位 PyTorch 開發者開放 TPU 開發環境，無需改寫程式碼：上個月我們開源了 TorchTPU，讓 PyTorch 程式碼與 Hugging Face 模型現在可原生執行在 TPU 上，同時為 vLLM 與 SGLang 等主流開源推論引擎提供開箱即用的 TPU 後端支援。為了讓硬體最佳化更加輕鬆，我們全新的開源 TPU agent suite（現已開放預覽）可直接串接至 Claude Code、Cursor 與 Google Antigravity 等程式編寫工具，在短短幾分鐘內自動完成 TPU 導入設定、診斷效能瓶頸，並使用自然語言自動調校客製化核心（
custom kernels）。針對實際生產環境的部署，我們全新的開源 XLA Serving Engine 可讓使用者在 Python 中訓練模型，並直接在低延遲的 C++ 執行環境中，跨 TPU、GPU 與 CPU 提供模型服務。 -
在 InferenceX 與 AgentX 基準測試中展現業界領先的生產環境效能：在實際生產環境中，
真正重要的是真實 AI 工作負載的執行成果，而非理論上的晶片峰值速度。 在測試真實代理式程式編寫與長脈絡作業的業界標準 InferenceX 與 AgentX 基準測試中，我們在 TPU 上執行的原生 vLLM-TorchTPU 軟體堆疊創下了頂尖的性價比表現。最新的實測結果顯示， 這些優勢能延伸至廣泛的前沿開放模型與開源服務堆疊， 同時維持高度模型準確度。 未來針對相同硬體推出的軟體最佳化更新， 還將進一步推升這些表現。 -
為自主 AI 代理消除閒置運算浪費：由於 AI 代理具備狀態性（stateful），在等待資料庫查詢、
外部軟體工具回應或人工回饋時，經常會暫停數秒甚至數小時。 為了讓我們的加速器在這些暫停期間更具能源效率，我們全新的 Agent Compute Engine 軟體會自動暫停並重啟閒置的代理工作階段， 從而降低營運基礎設施成本。 -
透過模型狀態層（TPU Sync）突破記憶體高牆：
圍繞晶片打造電腦系統也意味著要在軟體層面統一記憶體、 儲存空間與網路。當 AI 代理跨越百萬詞元的脈絡和持續的強化學習（ Reinforcement Learning，RL）迴圈進行推理時， 記憶體很快就會成為瓶頸。因此，我們開源了專為 TPU 叢集打造的模型狀態層 TPU Sync。TPU Sync 將晶片的 HBM、主機的 DRAM、共用儲存空間與資料中心網路， 整合為單一且共同設計的記憶體階層（memory hierarchy），能在幾毫秒內自動將龐大的 KV 快取（KV cache）分層移出晶片，跨越分散的預填充（prefill） 與解碼（decode）節點串流傳輸脈絡，並同步強化學習權重（ RL weights），使得 KV 傳輸延遲與第一個詞元生成時間（TTFT）大幅縮減 90% 以上。 -
從單一控制器跨越 TPU 擴展分散式工作負載：現已於 Google Kubernetes Engine（GKE）上正式推出的 Cloud Pathways，將驅動 Gemini 的 Google DeepMind 執行環境帶給每一位 Google Cloud 客戶。透過使用單一控制器（single-
controller）架構與 pathwaysutils，使用者可以跨越多個切片（ slices）調度大規模 TPU 系統，讓它們進行預訓練、強化學習與多主機推論時， 宛如單一本地機器般運作。Cloud Pathways 結合了共置的 Python 附屬容器（sidecar）、一分鐘內的切片熱插拔（hot- swapping）以及彈性重新分片（elastic resharding）技術， 讓長時間執行的工作在面對硬體發生中斷時仍可以持續運作。 -
透過 GKE 動態切片功能按需求拼接客製化 TPU 拓樸：現已全面推出的 GKE 動態切片（GKE dynamic slicing）功能，利用光路交換（optical circuit switching，OCS）技術，
將實體硬體佈建與邏輯切片配置徹底解耦（decouple）。 透過即時將多個 TPU 立方體（TPU cubes）動態組裝成更大的拓樸（超級切片，super- slicing），或是將其分割為較小、彼此獨立的工作負載（ 子切片，sub-slicing）， 這項更新能徹底消除過往僵化且需要手動重建節點集區（ nodepool）的漫長週期。 這種拓樸靈活性將作業啟動時間大幅縮短了高達 5 倍，並將故障復原速度提升達 4.5 倍，全面最大化所有 TPU 的整體機隊使用率與工作負載有效產出率。
結合十年經驗的共同設計
能夠在同一年內推出四款 TPU 系統以及一個統一且開放的軟體堆疊，歸功於晶片架構師、
現在，我們也越來越常運用 AI 來構思並打造下一代的 AI 基礎設施。從使用 Google DeepMind 的 AlphaChip 強化學習系統，到運用 Gemini 在短短幾小時（而非幾週）內完成晶片佈局，我們正透過 TPU 驅動的 AI 服務，快速推進下一代 TPU 硬體的開發進程。這才是真正的共同設計，也是 Google 獨有的差異化優勢。
11月搞畏獎現正開跑，留言抽好禮!!
ioioTIMES IG | Threads 歡迎加入!!
我們有LINE TODAY頻道了，快來追踪我們吧!!--最新科技新聞 盡在你手
