机器人由躯干、大腿、小腿和足部组成,在二维平面运动。策略接收 11 个观测量:躯干高度、姿态和关节位置,以及对应速度;输出 3 个关节控制量,每个范围为 −1 到 1。
每一步的奖励鼓励向前移动、保持健康姿态,并惩罚过大的控制量。持续向前跳通常比短暂冲刺后摔倒获得更高的总回报。
本实验统一使用 Hopper-v5 默认设置。奖励 = 前进速度 + 健康奖励 − 0.001 × 动作平方和。躯干过低、倾斜过大或状态异常会终止回合;达到 1000 步为时间截断。训练中正确区分终止与截断的价值自举处理。
旧文献中的 Hopper 与 Hopper-v1 属于同类任务,但实现版本、观测和奖励细节可能不同,不直接拼接成绩。