点击图片查看原图NVIDIA英伟达H200人工智能服务器可大幅強化人工智慧和**能運算工作負載。
NVIDIA H200 Tensor 核心 GPU 具備顛覆以往的效能和記憶體功能，可大幅強化生成式人工智慧和**能運算工作負載。H200 是**款搭載 HBM3e 的 GPU，更大更快的記憶體可加速生成式人工智慧和大型語言模型 (LLM)，同時強化**能運算工作負載的科學運算。
NVIDIA英伟达H200人工智能服务器配置：
|
项目 |
标准配置 |
|
框架 |
8U 机架式服务器 |
|
处理器 |
2颗*4代/*5代至强系列*高 64 核/3.9GHz/320MB缓存 |
|
内存 |
*大容量 4TB |
|
GPU |
NVIDIA HGX H200 GPU模组 |
|
系统硬盘 |
M.2 NVMe PCIe接口 2TB SSD |
|
数据硬盘 |
2*10TB 企业* SATA 硬盘 RAID 10 阵列配置 |
|
InfiniBand 网络 |
ConnectX-7 400Gb/s |
|
Ethernet 网卡 |
OCP 网卡/双电口/10G |
|
PICE 插槽 |
9 个 PCIe 5.0 扩展插槽 |
|
电源 |
6*3000W，2*2700W，AC220 输入 |
|
风扇 |
10 个 54V 风扇模组 |
|
操作系统 |
Windows Server/RedHat Enterprise Linux/SUSE Linux Enterprise Server/CentOS/Ubuntu/Vmware EXSi |
|
工作温度 |
+5°~+35° |
|
其他接口 |
机箱后部：1 个 RJ45 管理接口，2 个 USB 3.0，1 个 VGA 机箱前部：2 个 USB 3.0，1 个 VGA |
|
整机净重 |
120KG（以实际配置为准） |
**能、*佳效率
NVIDIA H200 採用 NVIDIA Hopper 架構，是**款能以每秒 4.8 TB 的速度提供 141 GB HBM3e 記憶體的 GPU，容量幾乎是 NVIDIA H100 Tensor 核心 GPU 的兩倍，記憶體頻寬則提升 1.4 倍。H200 更大、更快的記憶體能加速生成式人工智慧和 LLM，同時提升**能運算工作負載的科學運算，而且能源效率更高、總體擁有成本更低。
透過**能 LLM 推論取得洞察
在人工智慧不斷演進的狀況下，企業仰賴 LLM 來因應各種推論需求。為龐大的使用者大規模部署人工智慧推論加速器時，必須運用*低的整體擁有成本達到*高的吞吐量。
與 H100 GPU 相比，H200 在處理類似 Llama2 的 LLM 時，可將推論速度大幅提升到*高 2 倍。
大幅強化**能運算
就**能運算方面的用途而言，記憶體頻寬相當重要。因為這能加快資料傳輸速度，並減少複雜的處理瓶頸。對於需耗費大量記憶體的**能運算應用程式，如模擬作業、科學研究和人工智慧，H200 的記憶體頻寬較高，可保障資料存取和操作時的效率，因此取得結果的速度與 CPU 相比提升達 110 倍。
降低能源使用量與整體擁有成本
隨著 H200 的推出，能源效率和整體擁有成本將達到全新境界。這項**技術可提供無與倫比的效能，並且與 H100 Tensor 核心 GPU 使用相同的功耗設定。人工智慧工廠和超級運算系統不僅速度更快也更環保，所具備的經濟優勢可推動人工智慧和科學界持續進步。
NVIDIA H200 Tensor 核心 GPU规格：
|
尺寸規格 |
H200 SXM¹ |
|
FP64 |
34 TFLOPS |
|
FP64 Tensor 核心 |
67 TFLOPS |
|
FP32 |
67 TFLOPS |
|
TF32 Tensor 核心 |
989 TFLOPS² |
|
BFLOAT16 Tensor 核心 |
1,979 TFLOPS² |
|
FP16 Tensor 核心 |
1,979 TFLOPS² |
|
FP8 Tensor 核心 |
3,958 TFLOPS² |
|
INT8 Tensor 核心 |
3,958 TFLOPS² |
|
GPU 記憶體 |
141GB |
|
GPU 記憶體頻寬 |
每秒 4.8 TB |
|
解碼器 |
7 NVDEC |
|
*大熱設計功耗 (TDP) |
高達 700W (配置) |
|
多執行個體 GPU |
*多 7 個 MIGS，每個 16.5GB |
|
尺寸規格 |
SXM |
|
互連技術 |
NVlink：每秒 900 GB |
|
伺服器選項 |
搭載 4 或 8 個 GPU 的 NVIDIA HGX H100 合作夥伴與 NVIDIA 認證系統™ |
|
NVIDIA AI Enterprise |
包含 |