NVIDIA精粹而生,技嘉伺服器平台搭載下一代AI處理器技術

高性能伺服器與工作站領導品牌技嘉科技(TWSE:2376)集團旗下子公司技鋼科技,持續開發 Arm 和 x86 處理器架構伺服器、擴大高效 IT 硬體設備的先進冷卻技術,並強力支援 AI 加速器的多樣化伺服器平台以保持業界領先的地位。在 SC23,技嘉(展位#355)將展示多款創新的伺服器,包括支援 NVIDIA GH200 Grace Hopper 超級晶片和下一代 AMD Instinct™ APU 的平台,技嘉著重於運算中心最重要的需求,提供高效能 IT 硬體設備的絕佳散熱技術,以及支援實時分析和快速實現成效的 AI 動力產品。
先進冷卻散熱技術
追求更高效能的需求造成了更多熱量的產生,當今許多資料中心需要澈底轉變其散熱基礎設施以跟上時代的步伐。技嘉先進冷卻散熱技術因應而生,讓運算設備得以在維持高效能的情況下更加節能。SC23 展位上,技嘉將展出新款的單相浸沒式冷卻槽 A1P0-EA0,技嘉在浸沒式冷卻方案具有相當豐富的經驗,整體的解決方案涵蓋浸沒式冷卻伺服器、冷卻槽、冷卻液、相關的維運工具以及遍及全球的服務,能提供客戶一條龍的浸沒冷卻解決方案。今年技嘉還將在展位上展現另一種冷卻技術,適用於 NVIDIA Grace CPU 超級晶片、NVIDIA Grace Hopper 超級晶片、AMD EPYC™ 9004 處理器和第 4 代 Intel® Xeon®處理器的直接液體冷卻解決方案(Direct Liquid Cool, DLC),配備技嘉研發的水冷循環模組,冷卻液分配岐管等冷卻裝置。
模組化的AI與HPC系統
技嘉將在 SC23 展示一座 GIGA POD 機櫃級運算產品。技嘉在今年成功的為歐美雲端服務供應商部署其 GIGA POD 產品,協助這些新興 GPU 雲端服務供應商規劃其資料中心基礎架構。目前的部屬架構以 8 個 GIGA POD 組成一個基礎工作群組,每個群組裝配了 32 台 G593 伺服器,總共搭載 256 個 NVIDIA H100 Tensor Core GPU 來實現 1 exaflop(每秒一千億浮點運算)的 FP8 浮點運算性能;G593-SD0 近期也參與了 MLPerf 基準測試,並獲得醫療影像辨識與自然語言處理應用的最佳效能表現。同時技嘉還將展示支援 NVIDIA Grace CPU 超級晶片的 H263-V11,以及支援 NVIDIA Grace Hopper 超級晶片的 H223-V10 伺服器,這些基於 Arm 架構處理器的伺服器不但能支援 NVMe 硬碟,其配備的 NVIDIA BlueField-3 DPU 將能更快速處理伺服器間的資料傳輸,讓客戶能根據需求進行快速的橫向擴充,以因應市場對生成式 AI 或大型語言模型的需求。當然還有首次公開亮相的傑出系統,G383-R80,專為新一代 AMD Instinct™ APU 設計,新一代的 AMD Instinct 加速器具備突出的規格,能對AI工作負載提供相當大的助力。
可擴展的資料中心基礎設施
包含了獲得 NVIDIA認證的 G493-SB0 伺服器,能支援八張 PCIe Gen5 GPU,適用於 NVIDIA L4 Tensor Core 和 L40 GPU,同時具備能提供 NVIDIA BlueField-3 DPU 與 ConnectX-7網路卡使用的擴充插槽,能支援企業在實境視覺化協作的應用,將成為 NVIDIA OVX 系統的基石。此外,遵循 NVIDIA MGX 模組化設計的 XH23-VG0 搭配了 NVIDIA Grace Hopper 超級晶片,提供額外 FHFL 的擴充插槽,可用於加速大規模數學運算,是 AI 和 HPC 應用的絕佳選擇。
企業級運算
除了上述火熱的生成式 AI 及 HPC 產品以外,技嘉也對企業客戶提出各有特色的產品來滿足市場需求。例如 S183-SH0 適用於全快閃儲存陣列部屬,輕薄的 1U 外形搭載了兩顆 Intel Xeon 可擴充處理器,支援高達 32 個 E1.S 規格的全快閃硬碟,能實現快速、高密度的儲存配置;另一款支援 E1.S 的 H253-Z10 2U 伺服器,將 I/O 配置設計在機箱前緣,讓管理者能方便的從前端進行網路維護,2U4 節點的運算節點支援採用 3D V-cache 技術的 AMD EPYC 9004 處理器,能完成邊緣的 AI 加速運算,提供即時的人工智慧反饋。同時還有兩款 G293 GPU 伺服器,專為 AI 訓練或AI推論工作進行最佳化設計。G293-Z43 專攻 AI 推論領域,2U 伺服器機箱內有四組可插拔的 GPU 擴充槽,可支援 16 張 Alveo™ V70 加速器安裝,而性價比合宜的 G293-Z23 伺服器能支援高工耗(TDP)的處理器和 PCIe Gen4 和 Gen5 GPU,如 NVIDIA L40S GPU,能兼顧關鍵型生產力工作或企業內 AI 演算運用的任務。
NVIDIA H200 Tensor Core GPU
NVIDIA 同時在 SC23 展會上宣告了下一代的 NVIDIA H200 Tensor Core GPU 規劃,相較現行的 GPU 提供更好的記憶體效能,做為 NVIDIA 的技術合作夥伴,技嘉也將在 H200 Tensor Core GPU 上市同時推出一系列的伺服器來支持該 GPU。
NVIDIA H200 GPU 突破性的效能和記憶體容量能加速生成式 AI 和 HPC 應用。作為第一個擁有 HBM3e 的 GPU,NVIDIA HGX H200 是領先全球的 AI 運算平台,一組 HGX-H200 8-GPU 提供超過 32 petaflops的FP8深度學習運算和 1.1TB 的高頻寬記憶體,將實現更快的生成式 AI 和 HPC 應用成果,推動人類社會朝向數位化生活邁進。