常见问题

GPU 服务器掉卡/降频怎么排查?

发布时间:2026-11-18 | 浏览量:2

一句话结论:先分清是"掉卡"还是"降频"。掉卡(设备从系统里消失)多与供电、PCIe 链路、固件/驱动、散热相关;降频(还在但性能掉)多与温度墙、功耗墙、ECC 错误相关。两者的排查顺序完全不同,混着查只会浪费时间。

第一步:三分钟定位故障类型

  • nvidia-smi:看 8 张卡是否都在,缺卡即掉卡;
  • nvidia-smi -q:看温度、功耗、时钟、ECC 错误计数、降频原因(Clocks Throttle Reasons);
  • nvidia-smi topo -m:看 NVLink/NVSwitch 拓扑是否完整,掉一条链路会显著影响训练吞吐;
  • dmesg -T | grep -i xid:Xid 错误是判断硬件还是软件问题的关键线索;
  • BMC/IPMI 的 SEL 日志:看是否有电源、风扇、PCIe 相关告警。

掉卡:按这个顺序查

  1. 供电:8 卡整机功耗可达 6–10kW,检查电源模块数量、供电线是否插满、是否有单路掉电记录;
  2. 物理连接:GPU 与 riser 的金手指、riser 与主板的插槽、NVLink 桥接器是否松动;
  3. PCIe 链路:lspci -vv 看链路速率与宽度是否降级,AER 报错说明链路有问题;
  4. 固件与驱动:GPU 固件、主板 BIOS、驱动版本三者不匹配是常见诱因,尤其是新卡插老平台;
  5. 散热:进风温度过高会触发保护性下电,表现为"用一会儿就掉";
  6. 卡本身:以上都排除后,用替换法换槽位、换卡验证。

降频:看三个墙

类型判断依据处理方向
温度墙GPU/HBM 温度接近上限,风扇已满转改善机房进风、清灰、调整风扇曲线、检查导热
功耗墙Power 接近上限,Clocks Throttle Reasons 显示 SW Power Cap评估供电余量,必要时调整功耗上限或分时调度
ECC/硬件降级ECC 错误计数增长,出现 Xid 48/94/95记录增长速率,达到阈值换卡

Xid 错误码速查

Xid 13(图形引擎异常)、31(显存页错误)、43(GPU 停止处理)、48(双比特 ECC 错误)、62(微控制器停止)、79(GPU 从总线掉落)、94(可隔离 ECC 错误)、95(不可隔离 ECC 错误)。其中 48/94/95 与显存直接相关,79 多为链路或供电问题,出现 79 时优先查供电与 riser。

什么时候该换卡,什么时候是整机问题

同一张卡换到别的槽位仍然报错,指向卡;同一槽位换新卡仍然报错,指向主板/riser/供电;多张卡同时异常,优先怀疑整机供电与散热,而不是"卡都坏了"。这个判断顺序能避免不必要的整机更换。

众联达科技同时做 Oracle 与英伟达 GPU 服务器的销售、维修与维保,备件仓在深圳龙华区,H100/H200 等机型的电源、riser、网卡、光模块等易损件常备,可提供 7×24×365 响应,深圳常规故障 2 小时上门。集群反复掉卡又查不出原因时,建议做一次整机级压力与供电评估,而不是只换卡。

相关阅读:H100/H200 采购避坑清单、AI 训练集群 7×24 运维外包怎么做?

以上问题没有解答您的疑问?

免费咨询专家
400-865-8652 在线咨询 微信咨询
首页 产品 询价 电话