PPO

PPO、DPO 与 GRPO 详解：从策略梯度原子模块到可运行 Python 实验

从 REINFORCE、baseline、GAE、重要性采样、KL 与偏好建模推导 PPO、DPO、GRPO，提供 CPU 可运行训练、梯度测试与扩展路线。