Nathan Lambert新书《RLHF：对齐与后训练LLM》发布：5个关键知识点与中文圈启示

一句话看懂

AI研究员Nathan Lambert的新书《Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs》正式出版，系统讲解RLHF、PPO、GRPO等后训练技术，并附12小时免费课程。

详细发生了什么

Nathan Lambert是开源模型训练领域的知名研究者。他花了几年时间，把训练开放模型时积累的经验整理成书，最近终于完成。这本书由Manning出版，书名叫《Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs》。

写书的起因，是他早年建了一个网站，专门记录那些网上资料稀少、但又很关键的后训练方法，比如rejection sampling、outcome reward models和character training。这些内容在2024年都很难找到系统讲解，现在依然是少数几个讲得比较基础、直观的地方。

全书大约25%的篇幅在讲强化学习（RL），从policy-gradient theorem讲到PPO，再到GSPO、CISPO这些现代变体。作者想帮读者建立一种直觉，理解RL算法到底怎么改变模型输出。书中还专门用一章（第12章）澄清“distillation”这个词的多种含义，从2015年的知识蒸馏，一直讲到现在的多教师on-policy distillation（MOPD）。

新书在Manning官网有50%折扣，优惠码是PBLambert，活动到8月19日截止。书还附带一套完整的12小时课程（含幻灯片和YouTube视频）、一个简单的代码库，以及模型输出对比。目前Manning和亚马逊美国站已经发货，英国站要等到10月。

中文圈视角

这本书对中文圈的AI研究者和工程师很有参考价值。后训练技术在国内大模型开发里同样关键，但系统性的中文资料不多，这本书正好补上这块空白。书里对RL算法的直觉讲解，也能帮国内开发者更快判断一个新算法到底有没有潜力，避免盲目跟风。

不过要提醒一句：这本书是英文原版，而且默认读者已经读完CS本科，门槛不低。国内买电子版可以上Manning官网，但支付和下载可能需要科学上网。如果不想折腾，也可以先看知乎、ModelScope上的技术博客，但系统性肯定不如这本书。对于关注DeepSeek、Kimi这些国产模型的开发者，书里关于GRPO、MOPD的讲解直接相关，因为这些技术正是国产模型常用的后训练方法。

几条值得记住的细节

全书约25%内容聚焦RL，涵盖PPO、GRPO、GSPO、CISPO等主流算法。
书中用六区域图解释PPO的clipping机制，帮助理解梯度流动。
现代RL系统设计强调异步架构，learner和actor分离，以平衡off-policy、训练推理不一致和吞吐量。
第12章专门澄清“distillation”的多种含义，从2015年知识蒸馏到多教师on-policy distillation（MOPD）。
新书附带12小时免费课程、代码库和模型对比，Manning优惠码PBLambert享5折，截至8月19日。

一句话总结

无论你是研究者还是工程师，这本书都能帮你系统补齐后训练知识，值得入手。