NVIDIA H100 SXM5 80GB
GPU 2022 年发布 含文献引用跑分 数据状态：partial（文献引用）
2022–2024 数据中心训练/推理事实基线，存量最大；横向对比锚点
共 12 款硬件；数据状态：partial，更新于 2026-09-13
规格（厂商标称）
| 规格 | 厂商标称值 |
|---|---|
| 架构 | Hopper (GH100) |
| 显存类型 | HBM3 |
| 显存容量 | 80 GB |
| 显存带宽（标称） | 3350 GB/s |
| TDP | 700 W |
| FP16 算力 | 989 TFLOPS |
| FP8 算力 | 1979 TFLOPS |
| INT8 算力 | 1979 TOPS |
| 制程 | 5 |
| 形态 | SXM5 |
| 互联 | NVLink 4 (900 GB/s) |
厂商标称规格，非实测值；数值可追溯到来源（见 §来源）。
跑分与原始数据表
推理吞吐（70B 离线）（tokens/s）
| 工具 | 参数摘要 | 结果 | 日期 | 口径 |
|---|---|---|---|---|
| mlperf-citation | Llama-3-70B · bf16 · batch 32 · prompt 512 · output 256 · offline | 13250 tokens/s | 2026-09-12 | literature-cited |
methodology.md#inference_tps · 原始：apps/hw/content/raw/nvidia-h100-sxm5-80gb-2026-09-12.json · MLPerf Inference v4.0 Llama-2-70B 离线 + 公开 vLLM 报告交叉验证；非本团队独立跑分
训练吞吐（tokens/s）
| 工具 | 参数摘要 | 结果 | 日期 | 口径 |
|---|---|---|---|---|
| mlperf-citation | GPT-3 175B · bf16 · batch 1536 · training | 950 tokens/s | 2026-09-12 | literature-cited |
methodology.md#training_throughput · 原始：apps/hw/content/raw/nvidia-h100-sxm5-80gb-2026-09-12.json · MLPerf Training v3.1 closed division (NVIDIA 提交)；非本团队独立跑分
稳态功耗（W）
| 工具 | 参数摘要 | 结果 | 日期 | 口径 |
|---|---|---|---|---|
| mlperf-citation | Llama-3-70B inference steady-state | 680 W | 2026-09-12 | literature-cited |
methodology.md#power · 原始：apps/hw/content/raw/nvidia-h100-sxm5-80gb-2026-09-12.json · MLPerf Inference v4.0 公开提交稳态功耗；非本团队独立跑分
价格性能（派生）（USD/MTok）
| 工具 | 参数摘要 | 结果 | 日期 | 口径 |
|---|---|---|---|---|
| derived(content-pipeline) | — | 1.887 USD/MTok | 2026-09-12 | literature-cited |
methodology.md#price_perf · 原始：apps/hw/content/raw/nvidia-h100-sxm5-80gb-2026-09-12.json · 派生指标：USD 25000 / (13250 tokens/s × 3600 s/h × 1e-6 MTok/tok)；价格由 BenchOps 维护
与其他款对比
| 型号 | 数值 | 单位 |
|---|---|---|
| NVIDIA H100 SXM5 80GB（本款） | 13250 | tokens/s |
| NVIDIA H200 SXM | —（待补） | tokens/s |
| NVIDIA A100 SXM4 80GB | 6200 | tokens/s |
| NVIDIA GeForce RTX 4090 | —（待补） | tokens/s |
| NVIDIA RTX 6000 Ada Generation | —（待补） | tokens/s |
| AMD Instinct MI300X 192GB OAM | 14500 | tokens/s |
| AMD Instinct MI250X | —（待补） | tokens/s |
| Intel Gaudi 2 (HL-225B) 96GB | 4800 | tokens/s |
| 华为 昇腾 910B 64GB | 4200 | tokens/s |
| 寒武纪 思元 590 (MLU590) 80GB | 3100 | tokens/s |
| AMD EPYC 9654 | —（待补） | tokens/s |
| Intel Xeon Platinum 8480+ | —（待补） | tokens/s |
| 型号 | 数值 | 单位 |
|---|---|---|
| NVIDIA H100 SXM5 80GB（本款） | 950 | tokens/s |
| NVIDIA H200 SXM | —（待补） | tokens/s |
| NVIDIA A100 SXM4 80GB | 470 | tokens/s |
| NVIDIA GeForce RTX 4090 | —（待补） | tokens/s |
| NVIDIA RTX 6000 Ada Generation | —（待补） | tokens/s |
| AMD Instinct MI300X 192GB OAM | 720 | tokens/s |
| AMD Instinct MI250X | —（待补） | tokens/s |
| Intel Gaudi 2 (HL-225B) 96GB | 380 | tokens/s |
| 华为 昇腾 910B 64GB | 360 | tokens/s |
| 寒武纪 思元 590 (MLU590) 80GB | 240 | tokens/s |
| AMD EPYC 9654 | —（待补） | tokens/s |
| Intel Xeon Platinum 8480+ | —（待补） | tokens/s |
| 型号 | 数值 | 单位 |
|---|---|---|
| NVIDIA H100 SXM5 80GB（本款） | 680 | W |
| NVIDIA H200 SXM | —（待补） | W |
| NVIDIA A100 SXM4 80GB | 380 | W |
| NVIDIA GeForce RTX 4090 | —（待补） | W |
| NVIDIA RTX 6000 Ada Generation | —（待补） | W |
| AMD Instinct MI300X 192GB OAM | 720 | W |
| AMD Instinct MI250X | —（待补） | W |
| Intel Gaudi 2 (HL-225B) 96GB | 560 | W |
| 华为 昇腾 910B 64GB | 370 | W |
| 寒武纪 思元 590 (MLU590) 80GB | 420 | W |
| AMD EPYC 9654 | —（待补） | W |
| Intel Xeon Platinum 8480+ | —（待补） | W |
| 型号 | 数值 | 单位 |
|---|---|---|
| NVIDIA H100 SXM5 80GB（本款） | 1.887 | USD/MTok |
| NVIDIA H200 SXM | —（待补） | USD/MTok |
| NVIDIA A100 SXM4 80GB | 1.935 | USD/MTok |
| NVIDIA GeForce RTX 4090 | —（待补） | USD/MTok |
| NVIDIA RTX 6000 Ada Generation | —（待补） | USD/MTok |
| AMD Instinct MI300X 192GB OAM | 1.034 | USD/MTok |
| AMD Instinct MI250X | —（待补） | USD/MTok |
| Intel Gaudi 2 (HL-225B) 96GB | 1.875 | USD/MTok |
| 华为 昇腾 910B 64GB | 2.865 | USD/MTok |
| 寒武纪 思元 590 (MLU590) 80GB | 3.6 | USD/MTok |
| AMD EPYC 9654 | —（待补） | USD/MTok |
| Intel Xeon Platinum 8480+ | —（待补） | USD/MTok |
“—（待补）”表示该维度尚无实测 / 数据；example=true 结构示例条目不参与聚合。
测试方法见各维度 method_ref（methodology.md 锚点）；原始输出归档 content/raw/。
价格
| 价格 | 值 |
|---|---|
| 币种 | USD |
| 金额 | 25000 |
| USD 等值（参考） | ≈ 25,000 USD（1 USD ≈ 7.17 CNY，仅作参考） |
| 来源 | NVIDIA 官方渠道参考 / Lambda Labs 公开报价 |
| 抓取日期 | 2026-09-10 |
| 质保 | 3 年 |
| 税制 | 不含税 |
USD 单卡裸价；CNY 179,250 按 1 USD ≈ 7.17 CNY 当日中间价折算（仅作参考，非交易汇率）
厂商标称 / 文献引用（MLPerf 公开提交、厂商白皮书等），非本团队独立实测。
来源
- MLPerf Inference v4.0 Results（https://mlcommons.org/benchmarks/inference/，抓取 2026-09-08，benchmark）
- MLPerf Training v3.1 Results - NVIDIA submission（https://mlcommons.org/benchmarks/training/，抓取 2026-09-08，benchmark）
- NVIDIA H100 datasheet（https://www.nvidia.com/en-us/data-center/h100/，抓取 2026-09-08，spec）
- Lambda Labs GPU pricing（https://lambdalabs.com/service/gpu-cloud，抓取 2026-09-10，price）