接上篇： macos（M4）上跑强化学习 - PyTorch LunarLander-v3 Stable-Baselines3 官方文档参考：https://stable-baselines3.readthedocs.io/en/master/common/logger.html#explanation-of-logger-output 通用的图例数据基础介绍： Value：原始真实指标数值。（图标中与图例颜色较淡的那根线） Smotthed：TensorBoard 自带曲线滑动平均处理后的数值。主要用来观察整体升降趋势。（图表中和图例相同颜色的那根线） Step：横轴坐标，也就是从训练开始，智能体和环境一共执行了多少步 action。 Relative：相对时间。用来横向对比不同实验训练速度快慢。 Rollout PPO 不是走一步更新一次，而是先收集一批轨迹，再统一训练，这一批收集过程就叫一次 rollout。 其中有2个图标：如下图 rollout/ep_len_mean 本轮 rollout 收集到的所有回合，平均回合长度（其实就是回合执行的时间，这里用步数代替了）。如下图： rollout/ep_rew_mean 本轮 rollout 收集到的所有回合，平均回合奖励（就是平均回合奖励的总数）。如下图： Time 其中只有一个，就是fps。（这个不是游戏渲染帧率）每秒完成多少条环境交互 step，也就是训练数据采集阶段的运行速度。 简单来说，fps越高，收集训练样本速度越快，也就意味着训练速度越快。 Train 这里有9个表格。 train/approx_kl Approximate KL Divergence，近似平均KL散度，代表的是更新前旧策略 和 更新后新策略 的分布差距有多大。 PPO 最核心思想：不能让策略一次性改动太大！，否则训练极易崩溃、震荡。 数值小：新旧策略几乎没变化，更新力度太弱，学习慢 数值大：新策略一次性改动过猛，很危险，容易训崩 网上有很多说法，有说0.001-0.02之间，有说0.001-0.03之间。不过没有找到详细的解析或说明。 train/clip_fraction 被 Clip 裁剪截断的样本占全部样本的比例。 强化学习中，需要限制策略更新幅度，阻止一次性改动过大。也就意味着，更新的新策略越多，裁剪越大。所以这里有一个规律，KL 越高 → 策略改动越大 → 更多样本触发裁剪 → clip_fraction 上升。 train/clip_fraction PPO 裁剪区间的半径，是初始化模型设置的参数。默认为0.2。可以开启动态自适应clip_range。 train/entropy_loss 熵损失。熵（Entropy）：用来衡量策略随机性大小。 熵越大：动作概率分布越平均 → 智能体更喜欢随机探索 熵越小：策略趋向确定性，总是固定选最优动作，探索变少 train/explained_variance 解释方差（Explained Variance）专门用来评价 PPO 里 Critic 价值网络（估值网络）预测准不准。 数值区间解读 ≈ 1.0：完美！价值网络预测和真实回报几乎一致 > 0：价值网络有一定预测能力（有效） ≈ 0：价值网络预测效果 ≈ 和直接猜平均值差不多，基本没用 < 0：最差情况！价值网络预测完全不靠谱，甚至还不如直接输出常数均值 train/learning_rate 优化器当前使用的学习率 lr。其实就是控制神经网络每一次参数更新的步幅大小。 lr 大：参数改动幅度大，学习快，但容易震荡、训崩 lr 小：更新平稳，不容易翻车，但收敛速度变慢 图中是固定学习率，没有开启线性衰减（lr_schedule）。开启后随着训练步数增加，学习率会持续慢慢降低，这条曲线会一路向下倾斜。线性衰减优势在于，开始时快速探索，后期稳定收敛，不容易崩。 train/policy_gradient_loss 策略梯度损失（Actor 网络专属损失）。 这一步是策略更加倾向选择能拿到更高奖励的动作。只控制模型怎么选择动作。 好的表现是：缓慢持续下降，不会剧烈震荡、不会突然断崖式飙升。 强化学习的一个结论：平稳温和的迭代，经常比单次激进优化得到更好的最终结果。 train/value_loss 价值网络损失（Critic 网络专属损失）。 这个目标是让 Critic 的估值越来越贴近真实收益。 价值网络：评估当前状态好不好。 好的表现是：训练前期 Critic 完全不懂环境，预测偏差巨大；随着训练不断修正，估值误差持续缩小。平稳持续下降，没有突然剧烈跳涨。 train/loss 图表中这个会在policy_gradient_loss和value_loss前面。只是这里我放到了最后。 PPO 总的联合损失函数（Total Loss）。 策略梯度损失（policy_gradient_loss，优化 Actor） + 价值网络损失（优化 Critic）+ 熵损失（entropy_loss，鼓励探索，带负号）。 强化学习中，不能像普通监督学习一样，单纯认为 loss 越低 = 模型越好！。