大模型驱动的泊车规划
V5 探索大语言模型直接生成车辆控制指令的可行性:GLM-5.2 理解运动学方程、推理泊车策略,直接输出方向盘角度和速度的控制序列。后端仅做纯物理仿真(RK4积分),不做任何控制决策或数学优化。轨迹完全由大模型生成。
工作流程
用户设置起点 + 障碍物
│
▼
① 场景描述 + 运动学方程 -> GLM-5.2
│ "输出控制指令 [(δ, v, 步数), ...]"
│
▼
② LLM 输出前进阶段控制指令(S形机动)
│
▼
③ 仿真前进阶段 → 获得精确过渡状态
│
▼
④ LLM 分段输出倒车控制指令(每8步反馈状态)
│ 倒车是不稳定控制,需逐步调整δ
│
▼
⑤ 物理仿真评估(碰撞检测 + 终端误差)
│ ├─ 成功 -> 返回轨迹 ✓
│ └─ 失败 -> 生成反馈 -> 回到①(最多3轮)
与其他版本的对比
| 版本 | 规划方法 | 响应时间 | 特点 |
| V1 Hybrid A* | 离散搜索+CasADi | 11-155s | 最精确,最慢 |
| V2 NN加速 | NN+IPOPT | 3-7s | NN初值加速 |
| V3 障碍物感知 | NN+IPOPT+同伦 | 4.5-15s | 动态障碍物 |
| V4 纯NN | NN直接推理 | ~15ms | 最快,73%零碰撞 |
| V5 LLM规划 | LLM直接控制 | 100-200s | AI推理生成控制指令 |
技术亮点
LLM 直接控制:GLM-5.2 接收运动学方程和场景描述,直接输出方向盘角度(δ)和速度(v)的控制序列。不依赖任何轨迹规划器或数学优化器——轨迹完全由大模型推理生成。
两阶段规划:前进阶段一次性生成S形机动控制序列;倒车阶段每8步向LLM反馈精确车辆状态(位置、角度、铰接角β),LLM据此逐步调整控制指令——模拟人类司机边倒车边看后视镜的反馈式驾驶。
迭代改进:当评估发现碰撞或终端误差,系统将详细轨迹反馈给LLM(每5步的位置、角度、β值),LLM据此调整策略,最多3轮迭代。
局限性
V5 探索了LLM直接生成控制指令的可行性。当前局限:
- 挂车角度控制:半挂车倒车是经典不稳定控制问题,铰接角β指数放大。LLM用分段指令无法达到逐步反馈控制器的精度,挂车角度偏差较大
- 响应时间:每轮需1次前进+5次倒车LLM调用,3轮共约18次调用,总计100-200秒
- 一致性:LLM输出的控制序列存在随机性,同一场景多次运行结果可能差异较大
参考论文:GPT-Driver (arXiv 2310.01415), Kinematic-aware Prompting (arXiv 2311.02847), Agent-Driver (arXiv 2311.10813)