V4.16 · 多候选生成 + 解析打分 + RL 后训练

📖 实施者须知（本手册的唯一读者：独立实施 Agent）

任务：训练一个 Transformer 神经网络，端到端解决重卡自动泊车——输入（初始状态 / 目标位姿 / 障碍物），输出 80 步控制序列，在仿真闭环评估中达到验收硬门。

物理设定：重卡（牵引+挂车铰接，存在 jackknife 约束）；RK4 定步长积分（dt 见数据样本）；OBB（有向包围盒）碰撞检测；障碍物为静态车辆/边界。评估口径：网络输出整条控制序列后逐步 rollout 至终态，统计终点误差 / 碰撞 / 超时三类结果（"闭环"，300+ 条固定验证场景）。

0 · Agent 角色定义：你是研究 Agent，不是执行脚本

职责：

• 执行实验（按本手册方案与验收口径）
• 分析失败原因（每个失败指标都要归因到机理，见 §0.5 失败决策树）
• 提出假设（基于证据，可被下一个实验证伪）
• 设计验证实验（最小成本区分 competing hypotheses）
• 根据证据调整路线（引用证据链说明为什么调整）

⛔ 禁止：

• 只汇报指标，不解释机理
• 无证据调参（拍脑袋改超参连跑）
• 为达到指标降低标准（验收口径一个字不许动）
• 隐藏失败结果（失败数据照实进留言板，它和成功数据同等重要）
• 无 ablation 修改 reward / 单指标提升宣布成功 / 删除失败数据 / 无失败归因直接换方向

1 · 项目已知结论（前序实验定论，避免重走弯路）

1.1 已证伪路线（不要重复投入）

1.2 已验证有效：轨迹级 Transformer（非反应式）+ goal-frame 表示（输入输出换到目标位姿坐标系）+ 物理一致性损失（RK4 可微 rollout 进 loss）——此配方开环 med 0.68m（单轨迹回归口径下的最好成绩）；分层双指标诊断（开环切片 vs 闭环 rollout 同时监控，差 5 倍即报警）；硬门择优存 best（碰撞>10% 不存）。

1.3 病灶双因定性：前序 9.7m 级闭环崩坏 = 输出形态病（L2 平均化）+ 切片训练病（以轨迹中间状态为起点的切片数据若切点偏后段，模型被教成"只会小幅微调"）叠加。若你采用切片数据训练，切点必须偏前段（如 t=0/8/20/40）且按剩余距离加权。

2 · 训练数据（45,971 条专家解）

下载：https://parking.sunearthl2.cn/data/parking_warehouse_45971.tar.gz（107MB，md5=b2e8b9a84d686fc463d0fc183299c9e6）

解压：tar xzf parking_warehouse_45971.tar.gz → warehouse/samples/*.npz（45,971 个）+ warehouse/index.json（索引，含批次与去重信息）

数据质量：每条均为 IPOPT 数值最优解，已过七道质检闸（RK4 重积分一致性 / 终端精度<5cm / 零碰撞 / 非常数控制 / 限幅 / 形状 / NaN），可直接作为模仿学习监督。

字段表（.npz）

2.5 · 🌲 失败决策树（每个阶段失败后先定位，再动手）

决策树的输出必须是留言板里的一条【结论】：定位到了哪一层、证据是什么、开了哪味药、预期下一轮什么指标会动。定位错了药就白开——所以证据先行。

3 · 技术方案：核心闭环逻辑与三阶段

P0 · 多候选头研究命题：候选空间是否包含可行解（不只是"训个模型"）

• 架构：Transformer 骨干（建议 §1.2 配方：goal-frame + 物理损失）+ 候选头——一次前向输出 K=16 条 (80,2) 控制序列（decoder 并行 K query）。K=16 为 baseline，须完成 K∈{8,16,32} scaling（oracle 能力 / 实际成功率 / 推理耗时三视图）
• 训练（winner-take-all）：K 条候选中 winner 判据 = RK4 rollout 碰撞硬筛 + 终端位姿最近（与部署打分同口径）；前期 soft assignment（softmax(-dist/T)，T 从 1.0→0.1 cosine 退火）后期切 hard winner；多样性正则 = pairwise 距离 hinge（阈值按"先进/先倒"两种机动模态的族间距离 med 定标）
• 打分（纯解析零参数，合规）：安全优先分层排序——①碰撞硬筛（rollout 零碰撞优先）→ ②min clearance → ③归一化 terminal（min(err/1.0,1)）→ ④smooth/jackknife（tanh 饱和归一）。"0.1m 精度但贴障碍"不应胜过"0.3m 精度但安全"，此排序不得退化为固定线性加权
• Oracle@K 诊断（P0 的核心实验）：K 扫描 1/4/8/16/32 全谱，每档输出 oracle collision / oracle med / diversity 三视图——它回答的研究问题是"可行解在候选空间里存在吗、随 K 怎么增长"。Oracle@16 碰撞 ≤15% → 候选空间足够，走 selector/RL 主线；>30% → generator 不足，暂停 selector 优化转修候选生成（多样性加强/噪声条件注入），不上调打分权重硬凑门；15-30% 灰区按 oracle med 门（≤0.8m 过 / >0.8m 不过）裁决
• 行为级 diversity 验证：统计 steering pattern / curvature profile / gear change（换向次数）/ final heading 四维行为特征聚类，K=16 至少形成 3 类不同驾驶行为簇——不足 3 簇即判"16 条近似轨迹"，diversity 形同虚设
• 监控：候选选中频次分布（top-1 >80% = 坍缩前兆警报，健康态 ≥3-5 条候选有实质选中率）；K×80 步 rollout 损失的显存峰值实测（备选方案：rollout 损失只算 winner，砍 2/3 反向图）

P1 · RL 后训练碰撞≤10% / med≤1m / 成功率≥80%

• P1-a · 冻结 generator，只训 selector：generator 完全冻结（K 条候选固定），只学习候选集上的选择分布（对 P0 数据做选择偏好优化 / 简单策略梯度）。实现最简，先验证"换选择分布能赚多少"
• P1-b · supervised ranking loss：把选择问题转监督学习——用（候选, RK4 rollout 真值结果）构造排序对，selector 学 pairwise/listwise ranking loss（无 RL 不稳定性，数据可离线批量生产）
• P1-c · offline RL：把 P0 模型批量 rollout 的（候选集, 选择, reward）存成离线数据集，offline RL（IQL/CQL 思路）在固定数据上迭代——无在线交互复杂度，先吃满离线证据
• P1-d · GRPO 完整形态（本手册主设计）：部署链路一致的在线 GRPO——即下方全部设计条款。仅当 a/b/c 三档均不过门时启用

阶梯本身也是实验：每档失败都按 §2.5 决策树归因（如 P1-a 失败且 Oracle@K 不涨 → 选择侧空间已榨干，病在 generator，回 P0）。走梯记录（每档跑到什么程度、为什么降档）必须进留言板。

• 以下为 P1-d 完整设计（a/b/c 档共享其方向约束，适用程度逐条自行判断并留言说明）
• 部署链路一致（关键设计）：policy 定义在候选集上——π(i) = softmax(-score_i/τ)（τ 扫 {0.1, 0.3, 1.0}×打分尺度）；GRPO 组采样 = 从 π 无放回抽 G=8 条，每条候选按自己的 RK4 闭环 rollout 得 reward。RL 优化对象与部署链路严格一致：candidate set → selector → selected trajectory → RK4 rollout → reward → GRPO update。⛔ 禁止只对单条 candidate 孤立做 reward 优化（优化目标脱离部署 = 白练）
• KL 锚定：锚候选集 category distribution（π 对 BC 底座同分布的距离，β=0.1 起）。⛔ 不要实现成逐候选高斯噪声策略——会把 WTA 多样性磨平、坍缩回单模态；RL 全程监控候选选中频次熵，熵跌 50% 即降 lr
• reward（解析可验证）：连续成功 bonus 1/(1+err/0.1) − terminal − λ1·soft碰撞hinge（罚接近不只罚撞）− λ2·smooth − λ3·timeout。组采样按 P0 闭环成绩做难度分层（全简单工况组内无方差、全难工况全零，都无梯度信号）。episode 级 80 步真实 rollout
• generator 更新验证 A/B（本阶段最高优先级）：A 组冻结 generator 只训 selector distribution；B 组 generator + selector 联合 GRPO。同预算对评 collision / success / med / Oracle@K——B 组 Oracle@K 显著高于 A 组才算 RL 真正改善候选生成能力；若 A≈B，RL 只在"选得更对"打转，加强 generator 侧梯度或回 P0
• reward ablation：A = terminal only / B = terminal+collision / C = 完整配方，小预算短程对评收敛速度 / 碰撞下降 / 成功率三视图（C 为默认主线）
• 防崩机制：①硬门择优（碰撞>10% 不存 best）+ lr=1e-5；②每个 GRPO checkpoint 必须与 BC baseline 同题对评——若 collision 上升 >20% 或 terminal error 上升 >20%，自动回滚到上一 checkpoint；③指标回撤>30% 自动回退（回撤窗口 = 滚动 5 次 eval vs 历史最优，防单次 eval 抖动误触发）
• refinement 头并行开发：训"给定粗解输出更优解"的 refinement 算子（专家轨迹的中间迭代解为教材），不占 GRPO 算力；P2 卡 0.5m 时立即顶上

P2 · 执行层收尾过关门 = 验收硬门四项

• 偏差触发重规划：实际状态 vs 执行中计划偏差超阈才重规划（重规划次数少而准）；阈值扫描 {0.15, 0.3, 0.5}；中间验证门：上线后在验证集测触发次数分布 + 触发后轨迹质量，med 改善 <30% 立即转 refinement，不等终评
• safety shield：打分 clearance 约束随训练收紧（soft→hard 课程）+ 执行层 OBB 前瞻检查触发重规划；全候选碰撞降级链写死：重规划 → 仍撞 → 选 clearance 最大候选执行前 1-2 步（最小风险推进）→ 连续 3 次全候选碰撞记失败终止。不训独立 critic。shield 干预事件全程记录（区分 policy 自身失败 vs shield 可恢复失败）
• 终止策略：终止三件套（位置达标退出 / 最大步数上限记 timeout / 检测碰撞即停记失败）；"成功 / timeout / 碰撞"三分计数全程作为一级指标；若 P1 后 timeout 率仍 >15%，增加接近目标时切换短视野精化模式
• refinement 自动触发：连续两个 checkpoint med 改善 <10% 且 med >0.5m → 自动进入 refinement（不依赖人工判读）

4 · 执行序列与验收表

selector 排序校准判据：Spearman 秩相关 ρ(score_rank, rollout_rank) > 0.7，且分场景分层验证（硬场景如 rotated_cars 单独过线，防全局达标硬场景失灵）——这是进 P1 的前置条件。成功定义：terminal error ≤0.3m 且无碰撞且未超时。

5 · 风险清单

6 · 评估协议（全程统一，数字才可比）

• 固定验证集：从数据集中按 difficulty 分层抽 300+ 条场景，seed 固定，全程不换
• 闭环评估：网络输出 → RK4 逐步 rollout 至终态 → 终点误差（med/p90）/ 碰撞（OBB）/ timeout 三分计数
• 分层双指标：每次闭环评估同步输出开环切片指标，开环 vs 闭环差 5 倍即报警（历史三次关键诊断靠它）
• 成功阈值 0.3m；碰撞即停（记碰撞时刻误差）；max_steps 120；执行层带转向角变化率 clip
• checkpoint 择优：硬门过滤（碰撞>10% 不存 best）+ periodic checkpoint 全程保存

7 · 汇报协议（留言板 = 你与任务方的唯一通道）

• 实验记录规范（每次留言板更新必含以下字段，缺一即不合格）：

【日期】
【阶段】E0/P0/P1/P2 + 子实验名
【实验目的】本轮要验证的假设（一句话，可证伪）
【修改内容】相对上一轮改了什么、为什么
【结果】指标四件套：
  med = ___ m    p90 = ___ m
  collision = ___ %    success rate = ___ %
（附：失败样本编号/分布，不许省略）
【结论】三问必答：
  1. 证明了什么？（证据→推断）
  2. 没证明什么？（本轮证据覆盖不到的）
  3. 下一步为什么这样做？（决策依据 = 1+2 + 失败决策树定位）

• 待决策事项：方案之外的选择（如需要改口径/换架构方向），留言注明 [决策] 前缀 + 选项 + 你的建议，等任务方答复，勿自行变更验收口径
• 失败与异常：训练崩坏/指标平台/数据问题，照实报数字和现象，不粉饰

7.5 · 实验存档规范（每次实验必须可追溯、可复现）

每次实验必须生成并保存以下九个必填字段（研究主线）+ 四个工程字段，缺一即不合格：

九个必填字段正好构成一条完整研究记录链：ID → Hypothesis → Change → Dataset → Config → Checkpoint → Result → Interpretation → Next Action——其中 Hypothesis/Change/Result/Interpretation/Next Action 与留言板记录模板一一对应，存档即汇报的底稿。

全部字段集中登记到一个 experiments.json（或等价索引），每次留言板【结果】里引用 Experiment ID。历史教训：丢权重、只存 best 不存 last、环境漂移后无法定位版本——都是存档不全的代价。

数据不可访问时的替代数据条款：若 §2 下载链接失效或数据损坏不可恢复，可以自行生成替代数据（用你自己的轨迹优化器/求解器生产专家解），但必须：
① 留言告知生成策略（求解器/动力学参数/场景分布/质检标准，须对齐 §2 的口径与七道质检闸）；② 替代数据的使用在所有汇报中显式标注；③ 恢复官方数据后关键结论需复验。

终止与总结条件（防止无限跑下去，也防止过早收工）——满足任一即进入总结阶段：

总结阶段产出：全证据链复盘（每轮实验证明了什么/没证明什么）、最终指标、失败样本分析、对下一条路线的建议——经留言板提交，任务方裁决是否开启下一版。

📜 时间线（实施记录，任务方回填）

💬 留言板（实施 Agent 与任务方交互区）

无需注册。单条最多 10000 字，仅保留最新 1000 条。阶段汇报用 [阶段] 前缀，待决策用 [决策] 前缀。