英特爾在Vision 2024宣布全力投入與新客戶、合作夥伴以及所有AI相關體系的合作，致力打造開放且更安全的企業AI
- 英特爾宣布針對企業推出全方位 AI 策略，提供不同 AI 領域的開放、可擴充系統。
- 英特爾推出 Intel ® Gaudi® 3 AI 加速器，與 Nvidia H100 相比，推理能力平均提高 50%1，能源效率平均提高 40%2，以及更具競爭力的價格。
- 英特爾宣布 Intel Gaudi 3 提供給戴爾科技、慧與科技（HPE）、聯想和美超微等 OEM 夥伴，以擴大企業 AI 資料中心市場的產品組合。
- 宣布 Intel Gaudi 加速器的新客戶與合作夥伴，包括 Bharti Airtel、Bosch、CtrlS、IBM、IFF、Landing AI、Ola、NAVER、NielsenIQ、Roboflow 和 Seekr。
- 英特爾宣布與 SAP、RedHat、VMware 和其他業界領導者攜手創建一個開放的企業AI平台，透過檢索增強生成（Retrieval-Augmented Generation，RAG）實現加速布署安全的生成式AI系統。
- 英特爾透過超乙太網聯盟（UEC）引領用於 AI 結構的開放式乙太網絡，並推出一系列經過AI最佳化的乙太網路解決方案，包含 AI NIC（網路介面卡）和 AI 連接小晶片。
在英特爾Vision 2024 客戶暨合作夥伴大會上，英特爾推出了 Intel Gaudi 3 加速器，為企業生成式 AI 帶來效能、開放性和選擇，並揭露新的開放式可擴充系統、下一代產品和策略合作，以加速生成式 AI 的採用。去年僅有10%的企業成功將生成式AI專案投入生產，英特爾的最新產品將解決企業在擴展 AI 計畫時所面臨的挑戰。
英特爾執行長 Pat Gelsinger 表示：「創新正在以前所未有的速度發展，且都需要晶片的助力，每家公司亦正迅速地轉型為 AI 公司。英特爾在企業的各層面實現『AI 無所不在』，從 PC、資料中心到邊緣應用。我們最新的 Gaudi、Xeon 和 Core Ultra 平台提供一套全面且彈性的解決方案，以滿足客戶與合作夥伴不斷改變的需求，並充分利用未來的龐大機會將其盈利化。」
企業正在尋求將生成式 AI 從小規模試驗擴展到生產。透過基於高效能、能源效率、成本效益的處理器如 Intel Gaudi 3 AI 加速器，打造可用的解決方案，不僅可以解決複雜性、碎片化等問題，還符合資料安全性和法規要求。
推出用於AI訓練和推理的Gaudi 3
Intel Gaudi 3 AI 加速器將透過乙太網路通用標準，連接數萬個加速器，為 AI 系統提供支援。與前一代產品相比，Intel Gaudi 3 將 BF16 的 AI 運算能力提高 4 倍，並將記憶體頻寬提高 1.5 倍。Intel Gaudi 3 AI 加速器將為尋求大規模布署生成式 AI 的全球企業，帶來 AI 訓練和推理方面的重大躍進。
在具有 70 億和 130 億參數的 Llama2 模型及 1750 億參數的 GPT-3 模型上，預計 Intel Gaudi 3 的平均訓練時間將比 Nvidia H100 縮短 50%。此外，在 Llama 70 億、700 億參數以及 Falcon 1800 億參數模型中2，Intel Gaudi 3 加速器的推理處理量，預計將比 H100 平均高出 50%1，推理效能平均高出 40%。
Intel Gaudi 3 提供開放、基於社群的軟體和符合業界標準的乙太網路，讓企業能從單一節點彈性延伸到數千個節點的叢集、超級叢集和巨型叢集，支援最大規模的推理、微調和訓練。
Intel Gaudi 3 將於 2024 年第二季開始提供給 OEM 廠商， 包括戴爾科技、慧與科技、聯想和美超微等。
英特爾AI解決方案為客戶創造價值
英特爾闡述針對開放、可擴充 AI 系統的策略，包括硬體、軟體、框架和工具。英特爾的方法為 AI 參與者建立廣大且開放的生態系，以提供符合企業特定生成式 AI 需求的解決方案，包括設備製造商、資料庫提供者、系統整合商、軟體和服務提供者等，並且讓企業得以運用熟悉並信任的生態系合作夥伴與解決方案。
在廣大的動能下，英特爾與各產業的企業客戶和合作夥伴共同為全新、創新的生成式 AI 應用布署 Intel Gaudi 加速器解決方案：
- NAVER：開發強大的大型語言模型（LLM），在全球布署從雲端到裝置上的先進 AI 服務。NAVER 已確認 Intel Gaudi 在執行大型 Transformer 模型運算作業方面的基礎能力，並且具有出色的每瓦效能。
- Bosch：探索更多智慧製造的機會，包括基礎模型、產生製造異常的合成資料集，為自動光學檢查等應用提供強大、均勻分佈的訓練集。
- IBM：將第 5 代 Intel® Xeon®處理器用於其 watsonx.data™資料儲存，並與英特爾密切合作，驗證適用於 Intel Gaudi 加速器的 watsonx™平台。
- Ola/Krutrim：預訓練和微調第一個具有 10 種語言生成能力的印度基礎模型，提供相較於市場解決方案，業界領先的性價比。Krutrim 目前正在 Intel Gaudi 叢集上，預先訓練一個更大的基礎模型。
- Advent International投資的公司NielsenIQ：透過在全球最大的消費者購買行為資料庫訓練特定領域的 LLM，增強生成式 AI 能力並強化客戶服務產品，同時遵守嚴格的隱私標準。
- Seekr：值得信賴的 AI 領域領導者，在 Intel® Tiber™開發者雲端中，運用 Intel Gaudi 2、Intel 資料中心 GPU Max Series 和 Intel Xeon 處理器運行生產工作負載，以支援 LLM 開發和生產布署。
- IFF：全球領先的食品、飲料、香味和生物科學公司，將利用生成式 AI 和數位分身技術，建立整合的數位生物學工作流程，以實現先進的酵素設計和發酵過程最佳化。
- CtrlS Group：與其合作為印度客戶打造 AI 超級電腦，並透過額外的 Gaudi 叢集，擴展印度的 CtrlS 雲端服務。
- Bharti Airtel：透過英特爾的先進技術，Airtel 計畫運用豐富的電信數據，提升 AI 能力與客戶體驗。這些布署符合 Airtel 致力持續技術創新、並在快速發展的數據領域中推動新收入來源的承諾。
- Landing AI：經過微調的特定領域大型視覺模型，用於細胞分割和癌症檢測。
- Roboflow：為端對端電腦視覺平台，運行 YOLOv5、YOLOv8、CLIP、SAM 和 ViT 模型的生產工作負載。
- Infosys：全球領先的下世代數據服務與諮詢公司，宣布展開策略合作，運用英特爾技術，包含第 4 代和第 5 代 Intel Xeon 處理器、Intel Gaudi 2 AI 加速器、AI PC，為 Infosys Topaz 提供一套 AI 服務、解決方案和平台，利用生成式 AI 加速企業價值。
英特爾也宣布與 Google Cloud、Thales 和 Cohesity 合作，在其雲端執行案例中利用英特爾的機密運算功能，包括 Intel® Trust Domain Extensions（Intel® TDX）、Intel® Software Guard Extensions（Intel® SGX）和英特爾的認證服務。客戶可以在受信任的執行環境（TEE）中運行 AI 模型和演算法，並利用英特爾的信任服務，獨立驗證 TEE 的可信任度。
生態系齊心協力開發企業AI開放平台
英特爾攜手 Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick 和 Zilliz 等合作夥伴，宣布為企業 AI 創建開放平台。這項業界合作計畫旨在開發開放、多供應商的生成式 AI 系統，透過檢索增強生成（RAG）實現一流的布署便利性、最佳效能和價值。RAG 使企業在標準雲端基礎上運行大量現有的專屬資料來源，並透過開放的 LLM 功能增強，進而加速企業中的生成式 AI 應用。
在最初階段，英特爾將在以安全的 Xeon 和 Gaudi 為基礎的解決方案上，釋出生成式 AI 流程（pipeline）的參考建置，發布技術概念框架，並繼續在 Intel® Tiber™開發者雲端中增加基礎設施容量，以供生態系統開發、驗證 RAG 以及未來流程。英特爾鼓勵生態系統擴大參與此開放式計畫，以促進企業採用解決方案並加速業務成效。
英特爾延伸AI藍圖和開放生態系方法
除了 Intel Gaudi 3 加速器之外，英特爾也針對企業AI領域的下一代產品和服務發布最新消息。
全新Intel® Xeon® 6 處理器：Intel Xeon 處理器提供高效能解決方案以運作目前的生成式 AI 解決方案，包括使用專有資料產生特定業務結果的 RAG。英特爾為資料中心、雲端和邊緣的下一代處理器推出新產品 Intel Xeon 6。採用新型效率核心（E-core）的 Intel Xeon 6 處理器可提供卓越效率，將於本季推出，而 Intel Xeon 6 效能核心（P-core）將提供更高的 AI 效能，並於 E-core 處理器後不久推出。
- 具有 E-cores 的 Intel Xeon 6 處理器（先前代號Sierra Forest）：
- 與第 2 代 Intel Xeon 處理器相比，每瓦效能提高 2.4 倍4，機架密度提高 2.7 倍5。
- 客戶可用接近 3 比 1 的比例將舊系統更換成新系統，大幅降低能源消耗，有助於實現永續發展目標6。
- 具有P-cores的Intel Xeon 6 處理器（先前代號Granite Rapids）：
- 納入 MXFP4 資料格式的軟體支援，與使用 FP16 的第 4 代 Xeon 處理器相比，可將下一個標記延遲最多降低 6.5 倍，並且能夠運行 700 億參數的 Llama-2 模型7。
客戶端、邊緣和連接：英特爾宣布來自客戶端的最新動能，以及邊緣和連結方面的藍圖更新，包括：
- Intel® Core™ Ultra 處理器正在為生產力、安全性和內容創作提供新功能，為企業 PC 換機潮提供巨大誘因。英特爾預計，AI PC 在 2024 年的出貨量將達 4,000 萬台，並擁有超過 230 種、從超輕薄 PC 到手持遊戲裝置的設計。
- 下一代Intel® Core™ Ultra 用戶端處理器系列（代號 Lunar Lake）將於2024年推出，下一代 AI PC 平台操作的每秒兆次運算（TOPS）將超過100、神經處理單元（NPU）TOPS 將超過 45。
- 英特爾宣布 Intel Core Ultra、Intel® Core™、Intel® Atom處理器和 Intel® Arc™繪圖處理單元（GPU）系列產品，都將推出新型邊緣晶片，目標重點市場含零售、工業製造和醫療保健。所有英特爾邊緣 AI 產品組合新品將於本季上市，並將於今年獲得 Intel® Tiber™ Edge 平台的支援。
- 英特爾與超級乙太網聯盟（UEC）合作，引領 AI 結構的開放式乙太網絡，並推出一系列針對 AI 最佳化的乙太網路解決方案。這些創新旨在改造大規模 AI 結構的縱向、橫向擴展，能夠訓練和推理日益龐大的模型，每一代的規模都會擴大一個數量級。該產品線包括英特爾 AI NIC、整合納入 XPU 的 AI 連接小晶片、基於 Gaudi 的系統，以及一系列適用英特爾晶圓代工的軟硬體 AI 互連參考設計。
Intel Tiber商業解決方案組合
英特爾推出 Intel Tiber 商業解決方案組合，以簡化企業軟體和服務，包含生成式 AI 布署。
統一的體驗使企業客戶和開發人員更容易找到符合需求的解決方案，加速創新並釋放價值，且不會影響安全性、合規性或效能。客戶即日起可開始探索計劃於 2024 年第三季全面推出的 Intel Tiber 產品組合。請參考intel.com/tiber，了解更多資訊。
英特爾在 Vision 2024 發布的消息彰顯英特爾致力於為全球企業提供可用、開放且安全的 AI 的承諾。借助這些新的解決方案和合作計畫，英特爾將引領 AI 革命，為世界各地的企業釋放前所未有的價值。
有關英特爾 AI 解決方案和 Vision 2024 發布的更多資訊，請參考Intel Newsroom。
1 NV H100 comparison based on https://nvidia.github.io/TensorRT-LLM/performance.html#h100-gpus-fp8 , Mar 28th, 2024. Reported numbers are per GPU. Vs Intel® Gaudi® 3 projections for LLAMA2-7B, LLAMA2-70B & Falcon 180B projections. Results may vary.
2 NV H100 comparison based on https://nvidia.github.io/TensorRT-LLM/performance.html#h100-gpus-fp8 , Mar 28th, 2024. Reported numbers are per GPU. Vs Intel® Gaudi® 3 projections for LLAMA2-7B, LLAMA2-70B & Falcon 180B. Power efficiency for both Nvidia and Gaudi 3 based on internal estimates. Results may vary.
3 NV H100 comparison based on: https://developer.nvidia.com/deep-learning-performance-training-inference/training, Mar 28th 2024. “Large Language Model” tab Vs Intel® Gaudi® 3 projections for LLAMA2-7B, LLAMA2-13B & GPT3-175B as of 3/28/2024. Results may vary.
4 Based on architectural projections as of Feb. 14, 2023 vs prior generation platforms. Your results may vary.
5 Based on architectural projections as of Feb. 14, 2023 vs prior generation platforms. Your results may vary.
6 Based on architectural projections as of Feb. 14, 2023 vs prior generation platforms. Your results may vary.
7 See Vision 2024 section of intel.com/performanceindex for workloads and configurations. Results may vary.
