Hopper 策略学习实验室

同一台单腿机器人,用四种策略更新方法学习向前跳跃。切换训练阶段,观察从容易跌倒到保持平衡的变化;所有动作和曲线都来自本地 MuJoCo 实验记录。

读取实验记录…

观察策略怎样行动

—此回放累计回报
—模拟时长
—训练环境步数

画面按保存的 MuJoCo 刚体位置重绘,横向相机跟随机器人。评估使用确定性均值动作;单条回放不代表所有随机种子的表现。

相同采样预算下的学习曲线

横轴:训练环境交互步数;纵轴:5 次独立评估回合的平均总回报。每条线再对已有训练种子取均值;阴影表示种子间均值 ±1 标准差。只有一个种子时不画阴影。训练中数据每 10 秒刷新。

Hopper-v5:机器人在学什么?

机器人由躯干、大腿、小腿和足部组成,在二维平面运动。策略接收 11 个观测量:躯干高度、姿态和关节位置,以及对应速度;输出 3 个关节控制量,每个范围为 −1 到 1。

每一步的奖励鼓励向前移动、保持健康姿态,并惩罚过大的控制量。持续向前跳通常比短暂冲刺后摔倒获得更高的总回报。

本实验统一使用 Hopper-v5 默认设置。奖励 = 前进速度 + 健康奖励 − 0.001 × 动作平方和。躯干过低、倾斜过大或状态异常会终止回合;达到 1000 步为时间截断。训练中正确区分终止与截断的价值自举处理。
旧文献中的 Hopper 与 Hopper-v1 属于同类任务,但实现版本、观测和奖励细节可能不同,不直接拼接成绩。

实验进度与更新机制

算法种子环境步数最新评估回报状态

Actor–Critic:每批一次普通策略梯度更新;TRPO:平均 KL 约束、共轭梯度与回溯;PPO-Clip:裁剪代理目标;PPO-Penalty:加入 KL 惩罚并自适应调整系数 β。这里的 Actor–Critic 是批量 GAE 基线,并非 Sutton 书中逐步更新的资格迹算法。四种方法共享网络规模、价值学习和采样预算;这是一组预先固定参数的教学实验,不是全面调参后的算法排名。