- AMD推出第5代AMD EPYC處理器、AMD Instinct MI325X加速器、新一代網路解決方案和AMD Ryzen AI PRO處理器，為企業AI提供大規模支援
- AMD攜手戴爾、Google Cloud、HPE、聯想、Meta、微軟、Oracle Cloud Infrastructure、Supermicro和AI領導者Databricks、Essential AI、Fireworks AI、Luma AI及Reka AI，展示針對企業和終端使用者擴展的AMD AI解決方案
- Cohere、Google DeepMind、Meta、微軟、OpenAI等公司的技術領導者分享如何使用AMD ROCm軟體在AMD Instinct加速器上部署模型和應用程式
AMD（NASDAQ: AMD）推出定義人工智慧（AI）運算時代的最新高效能運算解決方案，包括第 5 代 AMD EPYC™伺服器 CPU、AMD Instinct™ MI325X 加速器、AMD Pensando™ Salina DPU、AMD Pensando Pollara 400 NIC 和適用於企業級 AI PC 的 AMD Ryzen™ AI PRO 300 系列處理器。AMD 攜手合作夥伴展示如何大規模部署 AMD AI 解決方案、AMD ROCm™開源 AI 軟體產業體系的持續成長動能，以及眾多基於AMD Instinct 加速器、EPYC CPU 和 Ryzen PRO CPU 的全新解決方案陣容。
AMD 董事長暨執行長蘇姿丰博士表示，資料中心和 AI 為 AMD 帶來了巨大的成長機會，採用 EPYC 和 AMD Instinct 處理器的客戶正持續增長，挹注著強勁的發展動能。憑藉全新的 EPYC CPU、AMD Instinct GPU 和 Pensando DPU，我們正在提供領先業界的運算能力，為客戶最重要、最嚴苛的工作負載提供支援。展望未來，我們預計資料中心 AI 加速器市場至 2028 年將成長至 5,000 億美元。AMD 致力於透過擴展的晶片、軟體、網路和叢集等級解決方案大規模地提供開放式創新。
定義AI時代的資料中心
AMD 為 AI、企業、雲端和混合式工作負載推出廣泛的資料中心解決方案組合：
· 全新 AMD EPYC 9005 系列處理器提供破紀錄的效能註1，實現滿足不同資料中心需求的最佳化運算解決方案。AMD EPYC 9005 系列處理器基於最新的 “Zen 5” 架構，提供多達 192 核心，即日起在各大 OEM 和 ODM 的多種平台上提供。
· AMD 持續履行年度 AI 加速器產品藍圖的節奏，推出 AMD Instinct MI325X，為要求最嚴苛的 AI 工作負載提供領先的效能和記憶體功能。AMD 也分享預計在 2025 年下半年推出的下一代 AMD Instinct MI350 系列加速器的新細節，擴展 AMD Instinct 在記憶體容量和生成式 AI 效能的領先優勢。AMD 在開發基於 AMD CDNA Next 架構的 AMD Instinct MI400 系列加速器方面取得重大進展，計劃於 2026 年推出。
· AMD 持續推進 AMD ROCm 軟體堆疊，使 AMD Instinct MI300X 加速器在各種熱門的 AI 模型中的推論和訓練效能提升 1 倍註2。如今，超過 100 萬個模型在 AMD Instinct 上無縫運行且開箱即用，是 MI300X 推出時可用數量的 3 倍，並且為最廣泛採用的模型提供 Day-0 支援。
· AMD 亦擴展高效能網路產品組合，以滿足AI基礎設施不斷演變的系統網路需求，最大限度地提升 CPU 和 GPU 效能，從而在整個系統中提供效能、可擴展性和效率。AMD Pensando Salina DPU 為 AI 系統提供高效能前端網絡，而首款 UEC 就緒的 AMD Pensando Pollara 400 NIC 可降低效能調整的複雜性，有助於縮短生產時間。
AMD 合作夥伴展示如何運用 AMD 資料中心解決方案推動領先的生成式 AI 功能、提供數百萬人每天使用的雲端基礎設施，並為領先企業提供本地和混合式資料中心支援：
· 自 2023 年 12 月推出以來，AMD Instinct MI300X 加速器已被各大雲端、OEM 和 ODM 合作夥伴大規模部署，每天為數百萬廣受歡迎之 AI 模型的使用者提供服務，包括 OpenAI 的 ChatGPT、Meta Llama 以及Hugging Face 平台上超過 100 萬個開源模型。
· Google 重點分享 AMD EPYC 處理器如何為 AI、高效能、通用型和機密運算等各種執行個體（instance）提供支援，其中包括其 AI Hypercomputer，這是一款旨在最大化 AI 投資回報率的超級運算架構。Google 也宣布搭載 EPYC 9005 系列的虛擬機器將於 2025 年初上市。
· Oracle Cloud Infrastructure (OCI) 分享如何運用 AMD EPYC CPU、AMD Instinct 加速器和 Pensando DPU 為 Uber、Red Bull Powertrains、PayPal 和 Fireworks AI 等客戶提供快速、節能的運算和網路基礎設施。OC I宣布推出搭載 EPYC 9005 處理器的全新 E6 運算平台。
· Databricks 展示其模型和工作流程如何在 AMD Instinct 和 ROCm 上無縫運行，並透露他們的測試顯示AMD Instinct MI300X GPU 的大記憶體容量和運算能力有助於在 Llama 和 Databricks 專有模型上實現 50% 以上的效能提升。
· 微軟執行長 Satya Nadella 分享微軟與 AMD 在產品和基礎設施方面的長期合作和共同創新，MI300X 在Microsoft Azure 和 GPT 工作負載上提供了強大的效能。Nadella 與蘇姿丰博士也一同探討兩家公司在 AMD Instinct 藍圖上的深入合作關係，以及微軟計劃如何運用未來數代 AMD Instinct 加速器（包括 MI350 系列及未來版本）為 AI 應用提供領先業界的每瓦每美元效能。
· Meta 詳細介紹了 AMD EPYC CPU和 AMD Instinct 加速器如何在 AI 部署和服務中為 Meta 運算基礎設施提供支援，並透過 MI300X 為 Llama 405B 上的所有即時流量提供服務。Meta 也與 AMD 合作，從晶片、系統、網路到軟體和應用程式實現 AI 效能最佳化。
· 戴爾、HPE、聯想和美超微（Supermicro）等各大 OEM 廠商正在擴展其基於高效能、高能效的 AMD EPYC 處理器產品陣容，推出旨在實現AI時代資料中心現代化的全新平台。
持續擴大開放AI產業體系
AMD 持續推進開放式 AI 產業體系，並透過全新功能、工具、最佳化和支援以擴展 AMD ROCm 開源軟體堆疊，幫助開發人員從 AMD Instinct 加速器中獲取極致效能，並為當今的 AI 技術提供即時的支援。來自 Essential AI、Fireworks AI、Luma AI 和 Reka AI 的領導者探討了他們如何在 AMD 硬體和軟體實現模型最佳化。
AMD 亦舉辦開發者大會，吸引來自微軟、OpenAI、Meta、Cohere、xAI 等 AI 開發者產業體系的技術領導者。由對 AI 轉型至關重要的 AI 程式語言、模型和框架（例如 Triton、TensorFlow、vLLM和Paged Attention、FastChat 等）的發明者主持精彩演講，分享了開發人員如何透過廠商獨立（vendor-agnostic）的編程語言來解鎖 AI 效能最佳化、在 AMD Instinct 加速器上加速模型，並分享移植到 ROCm 軟體的簡易性以及產業體系如何從開源方法中受益。
透過AI PC提升企業生產力
AMD 推出 AMD Ryzen AI PRO 300 系列處理器，為首款商用微軟 Copilot+ 筆記型電腦挹注效能註3。Ryzen AI PRO 300 系列處理器系列為企業用戶增加了企業級安全性和可管理性功能，擴展 AMD 在效能和電池續航力方面的領先地位。
· Ryzen AI PRO 300 系列處理器採用全新 AMD “Zen 5”和 AMD XDNA™ 2 架構，是全球最先進的商用處理器註4。Ryzen AI 9 HX PRO 375 處理器提供頂尖效能，實現無與倫比的生產力註5和領先業界的 55 NPU TOPS AI 效能註5，可在 Ryzen AI PRO 筆電上於本地處理 AI 任務。
· 微軟分享 Windows 11 Copilot+ 和 Ryzen AI PRO 300 系列如何為新一代 AI 體驗做好準備，帶來全新的生產力和安全功能。
· HP 和聯想等 OEM 合作夥伴正在透過搭載 Ryzen AI PRO 300 系列處理器的新型 PC 來擴展其商業產品陣容，預計到 2025 年將有超過 100 款平台上市。
註1：MI300-62：由AMD效能實驗室截至2024年9月29日進行的測試，在配備8個AMD Instinct™ MI300X GPU並搭配Llama 3.1-8B、Llama 3.1-70B、 Mixtral-8x7B、Mixtral-8x22B Qwen 72B模型，對ROCm 6.2軟體與ROCm 6.0軟體進行推論效能比較。
採用vLLM 0.5.5的ROCm 6.2效能與採用vLLM 0.3.3的ROCm 6.0效能進行比較，並在1至256的批次大小和128至2048的序列長度上進行測試。
配置：1P AMD EPYC™ 9534 CPU伺服器，配備8個AMD Instinct™ MI300X (192GB，750瓦)GPU、Supermicro AS-8125GS-TNMR2、NPS1（每插槽1個NUMA）、1.5 TiB 24 DIMMs、4800 mts記憶體、64 GiB/DIMM、4x 3.49TB美光7450儲存、BIOS版本1.8、ROCm 6.2.0-00、vLLM 0.5.5、PyTorch 2.4.0、Ubuntu® 22.04 LTS以及Linux Kernel 5.15.0-119-generic。
對比：1P AMD EPYC 9534 CPU伺服器，配備8個AMD Instinct™ MI300X (192GB，750瓦)GPU、Supermicro AS-8125GS-TNMR2、NPS1（每插槽1個NUMA）、1.5TiB 24 DIMMs、4800 mts記憶體、64 GiB/DIMM、4x 3.49TB美光7450儲存、BIOS版本1.8、ROCm 6.0.0-00、vLLM 0.3.3、PyTorch 2.1.1、Ubuntu 22.04 LTS以及Linux Kernel 5.15.0-119-generic。
伺服器製造商可能會改變配置，從而產生不同的結果。效能可能會因各種因素而有所不同，包括但不限於不同版本的配置、vLLM和驅動程式。
註2：STXP-05：基於截至2024年10月發布，採用AMD產品規格和競爭產品的Microsoft Copilot+並滿足最低40 TOPS要求。微軟要求請參閱https://support.microsoft.com/en-us/topic/copilot-pc-hardware-requirements-35782169-6eab-4d63-a5c5-c498c3037364。
註3：GD-203b：截至2024年9月，基於x86平台的小節點尺寸和頂尖互連技術。
註4：STXP-10：截至2024年9月，AMD效能實驗室使用以下系統進行測試：HP EliteBook X G1a搭載AMD Ryzen AI 9 HX PRO 375處理器@40瓦、Radeon™ 890M顯示核心、32GB RAM、512GB SSD、VBS=ON、Windows 11 Pro；Lenovo ThinkPad T14s Gen 6搭載AMD Ryzen™ AI 7 PRO 360處理器@22瓦、Radeon™ 880M顯示核心、32GB RAM、1TB SSD、VBS=ON、Windows 11 Pro；Dell Latitude 7450搭載Intel Core Ultra 7 165U處理器@15瓦（vPro啟用）、Intel Iris Xe顯示核心、VBS=ON、32GB RAM、512GB NVMe SSD、Microsoft Windows 11 Professional；Dell Latitude 7450搭載Intel Core Ultra 7 165H處理器@28瓦（vPro啟用）、Intel Iris Xe顯示核心、VBS=ON、16GB RAM、512GB NVMe SSD、Microsoft Windows 11 Pro。以下應用在平衡模式下進行測試：Teams + Procyon Office Productivity、Teams + Procyon Office Productivity Excel、Teams + Procyon Office Productivity Outlook、Teams + Procyon Office Productivity Power Point、Teams + Procyon Office Productivity Word、綜合幾何平均值。每個Microsoft Teams通話由9位參與者（3X3）組成。筆記型電腦製造商可能會改變配置，從而產生不同的結果。
STXP-11：截至2024年9月，AMD效能實驗室使用以下系統進行測試：(1) Lenovo ThinkPad T14s Gen 6搭載AMD Ryzen™ AI 7 PRO 360處理器@22瓦、Radeon™ 880M顯示核心、32GB RAM、1TB SSD、VBS=ON、Windows 11 Pro；(2) Dell Latitude 7450搭載Intel Core Ultra 7 165U處理器@15瓦（vPro啟用）、Intel Iris Xe顯示核心、VBS=ON、32GB RAM、512GB NVMe SSD、Microsoft Windows 11 Professional；(3) Dell Latitude 7450搭載Intel Core Ultra 7 165H處理器@28瓦（vPro enabled）、Intel Arc顯示核心、VBS=ON、16GB RAM、512GB NVMe SSD、Microsoft Windows 11 Pro。以下應用在平衡模式下進行測試：Procyon Office Productivity、Procyon Office Productivity Excel、Procyon Office Productivity Outlook、Procyon Office Productivity Power Point、Procyon Office Productivity Word、綜合幾何平均值。筆記型電腦製造商可能會改變配置，從而產生不同的結果。
註5：GD-243：AMD Ryzen處理器的TOPS是在最佳情境下可以執行的每秒最大操作數量，可能並不典型。TOPS可能會因多種因素而異，包括特定的系統配置、AI模型和軟體版本。
