Amazon SageMaker AI 集成 MLflow，实时流式传输 AI 基准测试与推理推荐结果

一句话看懂

AWS 为 SageMaker AI 的基准测试和推理推荐任务新增原生 MLflow 集成，自动将指标、参数和图表实时流式传输到统一实验跟踪界面，消除数据孤岛，加速迭代。

详细发生了什么

团队在部署生成式 AI 模型前，通常需要评估数十种 GPU 实例类型、推理容器、并行策略和优化技术（如 speculative decoding）。这个过程往往耗费数周，且实验记录分散，难以追溯。

AWS 为此推出了 SageMaker AI 的优化推理推荐功能，如今进一步集成 MLflow。用户提交基准测试或推理推荐任务时，SageMaker AI 会自动将结果流式传输到指定的 SageMaker MLflow App。多个任务可归入同一实验，在 MLflow 实验视图中并排对比，无需手动整理数据。

具体步骤包括：在 SageMaker Studio 中创建 MLflow App，为任务执行角色添加 MLflow 权限，并在创建基准测试或推荐任务时传入 MlflowConfig。集成后，延迟、吞吐量等指标会实时更新，支持长时间运行任务的监控；实验运行记录完整保留任务参数、时间戳、检查点指标和产物，可查询和复现；团队共享实验作为单一事实来源，减少重复工作。

中文圈视角

对国内用户而言，这项功能直接解决了模型部署前的“选择困难症”。当前国内大模型厂商（如 DeepSeek、智谱、百川）在部署时同样面临实例选型、推理优化等痛点，但缺乏类似 SageMaker AI 的托管优化服务。

• 平替方案：国内用户可考虑阿里云 PAI 或华为云 ModelArts，它们也提供模型部署和自动调优能力，但 MLflow 集成深度尚不及 AWS。如果团队已自建 MLflow 服务器，可尝试通过 API 手动记录实验，但无法享受自动流式传输的便利。
• 适用场景：对于使用 AWS 全球区域（如 us-west-2）的国内出海团队，此功能可直接使用；若仅在国内区域运行，需等待 AWS 中国区上线。
• 合规提醒：MLflow App 数据存储在 AWS 区域，涉及数据出境时需遵守《数据安全法》和《个人信息保护法》，建议对敏感模型和数据进行脱敏处理。

目前中文社区对此功能的讨论较少，多数用户仍依赖手动记录实验，值得关注。

几条值得记住的细节

• 集成仅支持 SageMaker MLflow App，不支持自托管 MLflow 服务器。
• 需设置 tooling.version 为 0.8.0 或更高版本以使用嵌套运行支持。
• 推荐任务会自动创建内部端点，无需手动指定 ComputeSpec.InstanceTypes。
• 执行角色需包含 sagemaker-mlflow:* 权限，S3 输出桶必须与任务在同一区域。
• 端到端示例笔记本预计耗时 45–120 分钟，取决于模型大小和实例可用性。

一句话总结

如果你在用 SageMaker AI 做模型部署前的基准测试和优化，MLflow 集成能省去手动整理实验数据的麻烦，让团队更专注于决策本身。