GPU 服务器掉卡/降频怎么排查?
发布时间:2026-11-18
|
浏览量:2
一句话结论:先分清是"掉卡"还是"降频"。掉卡(设备从系统里消失)多与供电、PCIe 链路、固件/驱动、散热相关;降频(还在但性能掉)多与温度墙、功耗墙、ECC 错误相关。两者的排查顺序完全不同,混着查只会浪费时间。
第一步:三分钟定位故障类型
nvidia-smi:看 8 张卡是否都在,缺卡即掉卡;nvidia-smi -q:看温度、功耗、时钟、ECC 错误计数、降频原因(Clocks Throttle Reasons);nvidia-smi topo -m:看 NVLink/NVSwitch 拓扑是否完整,掉一条链路会显著影响训练吞吐;dmesg -T | grep -i xid:Xid 错误是判断硬件还是软件问题的关键线索;- BMC/IPMI 的 SEL 日志:看是否有电源、风扇、PCIe 相关告警。
掉卡:按这个顺序查
- 供电:8 卡整机功耗可达 6–10kW,检查电源模块数量、供电线是否插满、是否有单路掉电记录;
- 物理连接:GPU 与 riser 的金手指、riser 与主板的插槽、NVLink 桥接器是否松动;
- PCIe 链路:
lspci -vv看链路速率与宽度是否降级,AER 报错说明链路有问题; - 固件与驱动:GPU 固件、主板 BIOS、驱动版本三者不匹配是常见诱因,尤其是新卡插老平台;
- 散热:进风温度过高会触发保护性下电,表现为"用一会儿就掉";
- 卡本身:以上都排除后,用替换法换槽位、换卡验证。
降频:看三个墙
| 类型 | 判断依据 | 处理方向 |
|---|---|---|
| 温度墙 | GPU/HBM 温度接近上限,风扇已满转 | 改善机房进风、清灰、调整风扇曲线、检查导热 |
| 功耗墙 | Power 接近上限,Clocks Throttle Reasons 显示 SW Power Cap | 评估供电余量,必要时调整功耗上限或分时调度 |
| ECC/硬件降级 | ECC 错误计数增长,出现 Xid 48/94/95 | 记录增长速率,达到阈值换卡 |
Xid 错误码速查
Xid 13(图形引擎异常)、31(显存页错误)、43(GPU 停止处理)、48(双比特 ECC 错误)、62(微控制器停止)、79(GPU 从总线掉落)、94(可隔离 ECC 错误)、95(不可隔离 ECC 错误)。其中 48/94/95 与显存直接相关,79 多为链路或供电问题,出现 79 时优先查供电与 riser。
什么时候该换卡,什么时候是整机问题
同一张卡换到别的槽位仍然报错,指向卡;同一槽位换新卡仍然报错,指向主板/riser/供电;多张卡同时异常,优先怀疑整机供电与散热,而不是"卡都坏了"。这个判断顺序能避免不必要的整机更换。
众联达科技同时做 Oracle 与英伟达 GPU 服务器的销售、维修与维保,备件仓在深圳龙华区,H100/H200 等机型的电源、riser、网卡、光模块等易损件常备,可提供 7×24×365 响应,深圳常规故障 2 小时上门。集群反复掉卡又查不出原因时,建议做一次整机级压力与供电评估,而不是只换卡。
相关问题
以上问题没有解答您的疑问?
免费咨询专家