Jetson SDK 核心功能:TensorRT 与 DeepStream 能力清单
三、核心功能:TensorRT 与 DeepStream 能力清单
| 能力 | 说明 | 关键配置 |
|---|---|---|
| 模型转换 | ONNX 等格式转为 TensorRT engine | 精度标志(FP32/FP16/INT8)、显存工作区大小 |
| 层融合与图优化 | 把多个算子合并成更少的 kernel,减少访存 | 由构建器自动完成,受算子支持面限制 |
| INT8 校准 | 用校准集统计激活分布,生成量化参数 | 校准集必须覆盖真实分布 |
| 动态形状 | 支持可变输入尺寸 | 优化 profile 的 min/opt/max 设置 |
| DeepStream 流水线 | 多路解码加推理加跟踪加上报 | pipeline 配置文件、批大小、路数 |
| 硬件编解码 | 用 SoC 上的编解码单元,不占 GPU | GStreamer 元插件与格式协商 |
几个必须理解的要点:
- engine 与机器绑定:TensorRT engine 是针对具体 GPU 架构和 TensorRT 版本序列化出来的,换机器或升级版本后通常要重新构建。
- INT8 不是免费的:必须有代表性校准集,否则精度塌方;同时部分层可能回退到 FP16,速度收益要实测。
- 显存是硬约束:批大小、输入分辨率、DeepStream 路数都吃显存,超了会直接构建或运行失败。
- 功耗模式影响可用算力:切到低功耗模式后,核心数与频率都会变,性能预期要跟着调整。

