Amazon Nova Forge 自定义奖励函数指南：多轮强化学习的关键设计与陷阱
了解如何为 Amazon Nova Forge 设计多轮强化学习（RL）的自定义奖励函数，包括组合奖励结构、安全执行模型生成代码，以及避免奖励崩溃的常见陷阱。本文提供实用代码示例和中文圈视角，帮助开发者优化模型训练效果。
一句话看懂
Amazon Nova Forge 支持多轮强化学习自定义奖励函数，本文教你如何设计组合奖励、安全执行代码，并避开让训练悄悄失效的陷阱。
详细发生了什么
在强化学习（RL）中，奖励函数决定了模型实际学到什么。一个细微的错误奖励可能让模型学到错误行为，而训练曲线看起来却一切正常。Amazon Nova Forge 通过 Bring Your Own Orchestration（BYOO）能力，让自定义奖励逻辑在用户自己的环境中运行，同时协调多轮对话的 rollout、消息传递和状态管理。
文章聚焦于奖励函数本身：如何设计一个组合式多轮奖励，供 Group Relative Policy Optimization（GRPO）学习。GRPO 通过比较同一组内的多个 rollout 来更新模型，奖励信号只有通过组内差异才能影响学习。如果某个奖励项在组内所有样本中取值相同，它就不会对梯度产生任何贡献。
文章还展示了如何在奖励函数内部安全地执行模型生成的代码，以及为什么需要监控每个奖励组件，以确保训练真正学到东西。作者基于真实运行经验，指出了几个可能导致奖励崩溃的陷阱，例如权重最高的组件可能完全没有提供学习信号。
中文圈视角
对于中文开发者，Amazon Nova Forge 目前可能不是首选，因为国内更常用 DeepSeek、Kimi 或智谱等模型。但多轮强化学习的概念和奖励函数设计思路是通用的。即使不用 AWS，这些技巧也适用于其他支持 RL 的平台，比如 Hugging Face 的 TRL 库或 ModelScope 上的开源模型。
关键点在于：奖励函数设计是 RL 中最难的部分，中文圈讨论较少。很多开发者直接使用默认奖励，导致模型行为不符合预期。本文提供的组合奖励结构（结果奖励、行为奖励、惩罚）和监控方法，可以借鉴到任何 RL 项目中。此外，BYOO 模式允许在自有环境运行奖励逻辑，这对数据合规要求高的国内企业尤其重要，可以避免数据出境问题。
几条值得记住的细节
- 多轮 RL 中，奖励函数可以是规则检查（RLVR）或 LLM-as-Judge，Nova Forge 支持两者。
- 单轮 RFT 使用 Lambda 函数作为奖励，但多轮任务超过 15 分钟限制，需用 BYOO 环境容器。
- 组合奖励通常包含三类信号：结果奖励（如测试通过）、行为奖励（如正确调用工具）、惩罚（如重复或停滞）。
- 奖励信号只有通过组内差异才能影响学习，如果某项对所有样本取值相同，则对梯度无贡献。
- 文章代码来自 aws-samples/sample-nova-multi-turn-rl-infra 仓库，需在 cdk.json 中设置 use_custom_env 为 true。
一句话总结
设计多轮 RL 奖励时，务必组合多种信号并监控每个组件，否则可能白费训练算力。