本文档介绍了 Xid 消息是什么,为用户提供常见 Xid 事件的含义解释与处理方法。
什么是 Xid 消息
Xid 消息是 NVIDIA 驱动程序向操作系统的内核日志或事件日志打印的错误报告。Xid 消息表示发生了 GPU 错误,通常是由于驱动程序对 GPU 编程不正确或发送到 GPU 的命令被损坏。GPU 硬件、NVIDIA 软件问题或者用户应用程序出现问题时都有可能产生 Xid 消息。这些消息提供的诊断信息可供用户和 NVIDIA 使用,以帮助调试报告的问题。
如何查询 Xid 报错信息
使用 GPU 实例时,可以通过执行以下命令,查看是否存在 Xid 相关报错,保存回显结果。
dmesg | grep -i xid
若检查项 GPU 节点上的 Xid 异常为空,说明无 Xid 消息。
若检查项 GPU 节点上的 Xid 异常不为空,您可按照以下不同 Xid 消息对应建议方法进行处理或者联系平台进行支持。
常见 Xid 事件的处理方法
尝试自行解决
XID 48 错误
XID 48: Double Bit ECC Error
当 GPU 发生不可纠正的错误时,会上报 Xid 48 事件。该错误也会同时反馈给用户的应用程序。通常需要重置 GPU 或重启CVM实例来清除这个错误。
处理建议:建议重启实例恢复;若重启后问题仍存在请联系平台为您排查处理。
XID 79 错误
XID 79: GPU has fallen off the bus
此错误一般是 GPU 驱动或硬件问题,用户感知 GPU 实例存在掉卡现象。
处理建议:建议重启实例恢复;若重启后问题仍存在请联系平台为您排查处理。
XID 94 错误
XID 94: Contained ECC error
此错误表示 GPU 发生了包含的 ECC 错误, 涉及 GPU 卡的应用会停止。
处理建议:建议重新启动应用验证业务是否正常,若重新启动应用后异常建议重启实例恢复;若重启后问题仍存在请联系平台为您排查处理。
XID 95 错误
XID 95: Uncontained ECC error
此错误表示 GPU 发生了未包含的 ECC 错误,涉及 GPU 卡的应用会停止。
处理建议:建议重启实例恢复;若重启后问题仍存在请联系平台为您排查处理。
XID 119 错误
XID 119: GSP RPC Timeout
此错误一般是 GPU 驱动触发 GPU 系统处理器(GSP) bug 导致异常。
处理建议:
1. 关闭 GSP。在新代次实例中,NVIDIA GPU 包含了 GSP 固件功能。GSP 旨在卸载 GPU 初始化以及其他管理任务。您可以参考以下步骤关闭 GSP:(更多相关详细信息,请参阅 NVIDIA 网站上的关闭GSP )
echo "options nvidia NVreg_EnableGpuFirmware=0" > /etc/modprobe.d/nvidia-gsp.conf cp /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak
如果是 centos/tlinux/redhat 系统:
dracut -f --kver $(uname -r)
如果是 ubuntu/debian 系统:
sudo update-initramfs -u
重启机器验证
检查是否禁用成功:查看相关值是否为 0,若为 0 则已禁用 GSP。
grep EnableGpuFirmware /proc/driver/nvidia/params
2. 若您不希望关闭 GSP,您可以尝试通过切换驱动版本解决:
更新驱动至 535.129.03 及以上版本,新版本驱动对 GPU GSP 引发的 XID 119 错误问题进行了修复。
降级驱动版本至 470 的最新稳定版本 470.223.02,该版本驱动默认不会开启 GSP ,不会触发 XID 119 错误。
联系平台处理
XID 74 错误
XID 74: Nvlink ERROR
此错误表示 GPU 检测到从 GPU 到另一个 GPU 或通过 NVLink 的 NVSwitch 的连接出现问题, 可能是 GPU 本身异常或互连的 GPU 卡异常。
XID 92 错误
XID 92: High single-bit ECC error rate
此错误表示高的单比特 ECC Error,可能是硬件或驱动故障。