Amazon SageMaker Python SDK v3 集成 LLM 推理优化，notebook 内完成基准测试与部署

一句话看懂

Amazon SageMaker Python SDK v3 新增生成式 AI 推理推荐功能，让开发者能在 notebook 中直接对端点进行基准测试、获得部署建议并一键部署，省去手动试错。

详细发生了什么

Amazon SageMaker Python SDK v3 现在把生成式 AI 推理推荐功能直接集成到 notebook 工作流中。此前，这些能力需要通过 SageMaker Studio 或手动构造 Boto3 API 调用，现在则成为 SDK 的原生操作，更贴合现有的 notebook 和 pipeline 流程。

新功能位于 sagemaker.serve.ai_inference_recommender 包中，从 3.17.0 版本开始可用，主要操作包括：ModelBuilder.from_jumpstart_config() 从 JumpStart 模型 ID 构建 ModelBuilder；start_benchmark() 对已部署端点运行负载测试；generate_deployment_recommendations() 探索实例和框架配置并返回排名建议；deploy() 将最佳配置部署到实时端点；ModelBuilder.from_recommendation_job() 从已完成的任务中恢复 ModelBuilder，便于跨会话部署。

使用前需安装最新 SDK（pip install --upgrade sagemaker >= 3.17.0），并具备 AWS 账户和相应 IAM 权限。整个流程可以在一个 notebook 中完成：生成推荐、解读结果、部署、基准测试，甚至可对比 LMI 和 vLLM 等不同 serving 框架。

示例中，通过 generate_deployment_recommendations() 指定 tokenizer、并发数、请求数、输入/输出 token 长度等参数，服务会自动探索实例类型和框架配置，返回按成本-性能排序的推荐列表。结果可以打印为表格，也可以转为 pandas DataFrame 进一步分析。

中文圈视角

对国内开发者而言，这个功能本身很实用，但需要先明确：SageMaker 是 AWS 的托管服务，国内使用需要合规考虑。如果业务部署在 AWS 海外区域，可以直接用；如果必须用国内区域，需确认 SageMaker 的可用性和数据出境合规性。

国内云厂商也有类似能力，比如阿里云的 PAI-EAS 支持模型部署和自动调优，腾讯云的 TI 平台也有推理优化功能，但通常集成在各自的控制台或 CLI 中，notebook 内的 SDK 集成程度可能不如 SageMaker 这么深。对于已经在用 AWS 的团队，这个功能能显著减少部署调优的时间，尤其是需要频繁试验不同实例类型和框架的场景。

另外，中文社区对 SageMaker 的讨论相对较少，这个新功能可能被低估。如果团队有 SageMaker 使用经验，值得尝试用 SDK 自动化推理优化流程，避免手动在控制台反复操作。

几条值得记住的细节

• 新功能从 sagemaker 3.17.0 版本开始可用，需先升级 SDK。
• 支持通过 generate_deployment_recommendations() 指定 performance_target，如 TTFT（首 token 延迟）作为优化目标。
• 推荐结果包含吞吐量、TTFT、端到端延迟等指标，并可按成本-性能排序。
• 可以对比不同 serving 框架，如 LMI 和 vLLM，找到最佳 serving 栈。
• 部署时可用 auto_approve=True 跳过 ModelPackage 审批检查，加快流程。

一句话总结

如果你用 SageMaker 部署 LLM，这个新 SDK 功能能帮你自动化调优，省下大量手动试错时间。