H200 141GB 显存能跑多大的大模型？

Name: 深圳市众联达科技有限公司
Address: 深圳市, 广东省, CN
Telephone: +86-400-865-8652

Question

Accepted Answer

单卡 141GB 显存，FP16 精度下大约可承载 70B 参数模型推理；8 卡整机合计约 1.1TB 显存，可支持 400B 级模型的多卡推理或中等规模训练。采用 FP8/FP4 量化、张量并行和更长上下文时，实际可承载规模会变化，需要按模型结构核算。