NVIDIA TensorRT 多设备推理支持：跨 GPU 扩展 AI 推理，优化生产部署

一句话看懂

NVIDIA TensorRT 新增多设备推理支持，让生成式 AI 推理可以跨多个 GPU 扩展，同时保留内核融合、内存规划和量化等关键优化。

详细发生了什么

生成式 AI 工作负载（如媒体生成管线）正迅速超出单 GPU 的内存和计算预算。对于推理开发者来说，跨多个设备扩展而不牺牲 TensorRT 在生产部署中的关键优化（内核融合、内存规划、量化）是一大挑战。

NVIDIA 在 TensorRT 中引入了多设备推理支持，允许开发者将模型的不同部分分配到多个 GPU 上执行。这通过一种称为“设备并行”的策略实现：模型被分割成多个子图，每个子图在独立的 GPU 上运行，中间结果通过 NVLink 或 PCIe 传输。TensorRT 自动处理跨设备的内存管理和同步，开发者只需通过配置文件指定设备映射。

该功能支持所有基于 TensorRT 的推理引擎，包括 TensorRT-LLM 和 TensorRT 原生 API。在测试中，对于 Llama 3.1 70B 模型，使用 4 块 H100 GPU 相比单卡实现了 3.7 倍的吞吐量提升，同时延迟仅增加 15%。NVIDIA 还提供了详细的性能调优指南，包括如何选择分割点以最小化跨设备通信开销。

中文圈视角

对中文开发者而言，这一功能直接利好需要部署大模型（如 70B 以上参数）的团队。国内许多企业仍面临高端 GPU 供应紧张的问题，多设备推理允许利用多张中端 GPU（如 A100 80G 或 H800）组合运行大模型，降低单卡显存压力。

与国产方案对比：华为昇腾的 CANN 工具链也支持设备并行，但生态成熟度和文档丰富度不如 TensorRT。对于使用 NVIDIA GPU 的国内云厂商（阿里云、腾讯云、华为云等），TensorRT 多设备推理可以无缝集成到现有推理管线。

需要注意的是，跨设备通信依赖 NVLink 或高速 PCIe，国内部分数据中心可能未部署 NVLink，此时性能会受限于 PCIe 带宽。建议开发者先评估实际硬件环境。

几条值得记住的细节

• 多设备推理支持 TensorRT 8.6+ 版本，需使用 CUDA 12.0 以上。
• 设备并行通过自动图分割实现，开发者可手动指定分割点以优化通信。
• 对于 Llama 3.1 70B，4 卡 H100 吞吐量提升 3.7 倍，延迟增加 15%。
• 支持 NVLink 和 PCIe 两种互联方式，NVLink 延迟更低。
• 该功能已集成到 TensorRT-LLM 和 TensorRT 原生 API 中。

一句话总结

如果你需要部署超大规模模型但单卡显存不足，TensorRT 多设备推理让你用多张 GPU 高效运行，无需牺牲优化。