TensorRT 常见问题排查

TensorRT 常见问题排查

• engine 能跨机器用吗？不能跨 GPU 架构与 TensorRT 大版本直接复用，同架构同版本可以；生产上按机型分别编译、分别分发。
• FP16 掉点怎么办？先定位掉点层，把敏感层（归一化、softmax、检测头）保持 FP32，再考虑对数值范围差异大的张量做缩放。
• 首帧为什么特别慢？反序列化引擎、分配显存、首次加载 kernel 都发生在这里；服务启动时先跑一次预热推理。
• trtexec 和 Python API 结果不一致？多半是 profile 或精度标志没对齐，两边的 flag 要对齐后再比较。
• 要不要用 torch.compile 替代？两者不冲突：torch.compile 使用成本低，TensorRT 在 NVIDIA 硬件上通常更极致，按团队的维护成本取舍。