diff --git a/docs/data/cards/extended/move_design_closed_loop_metric_correlated_with_real_world_safety.md b/docs/data/cards/extended/move_design_closed_loop_metric_correlated_with_real_world_safety.md new file mode 100644 index 0000000..ece3bbc --- /dev/null +++ b/docs/data/cards/extended/move_design_closed_loop_metric_correlated_with_real_world_safety.md @@ -0,0 +1,47 @@ +# 方法学原语 · 设计与真实安全相关的闭环指标 + +> 这一动作不再追问"离线 L2 与真实事故率有多相关"——它知道答案是"几乎无关"。取而代之,它从真实车队的事故率 / 脱离率倒推闭环指标:把碰撞、近碰撞、舒适度、规则违规、进展度按事故贡献加权融合,让离线评测对决策真正有判别力。 + +## 做什么 + +设真实部署里观察到的事件率为 $\{p_k\}_{k=1..K}$(碰撞、近碰撞、急刹、违章、舒适脱离、行程未完成)。给每类事件分配一个安全权重 $w_k$,使得加权和近似拟合年化事故率或保险出险率。再在闭环仿真器上跑 $N$ 个种子,每条轨迹记录各事件计数 $n_k$,最终复合指标 + +$$\text{Score}(\pi) = -\sum_k w_k\,\mathbb{E}_{\tau \sim \pi}[n_k(\tau)] + w_\text{progress}\,\mathbb{E}_{\tau}[\text{progress}(\tau)]$$ + +权重 $w_k$ 通过把"指标"与"实车事故"做相关回归调优。指标设计成可分解:每个分项可独立报、可定位失败类目,避免单一标量掩盖结构性问题。 + +## 为什么这是一个研究动作 + +- **正面回应 [`problem:offline_metric_does_not_predict_closed_loop_performance`](problem_offline_metric_does_not_predict_closed_loop_performance.md)**:从根源把"代理指标"换成与现实风险高相关的"闭环复合指标"。 +- **沿"单一标量 → 可分解多分量"维度移动**:单一 L2 是黑盒,复合指标是白盒——能告诉你"在哪一类场景输给基线"。 +- **把仿真器与现实绑定为反馈回路**:实车数据用于校准 $w_k$,仿真用于优化 $\pi$,两者形成"校准 - 优化 - 再校准"闭环。 +- **支撑模型选择与发布门**:迭代版本以闭环指标淘汰高度不一致的离线代理,发布门也按闭环指标设阈值。 + +## 在哪些工作里被重复使用 + +| 工作 | 闭环指标 | 校准来源 | +|---|---|---| +| [nuPlan](../paper_nuplan.md) | progress + collision + comfort + rule | 人类驾驶基线 | +| [NAVSIM](../paper_navsim.md) | non-reactive closed-loop with safety subscores | nuScenes 验证集 | +| [CARLA Leaderboard 2.0](../paper_carla_lb2.md) | route completion + infraction penalties | 仿真器内 | +| [Bench2Drive](../paper_bench2drive.md) | 多维场景分项 + 综合分 | 驾驶专家轨迹 | +| Waymo Driver scorecard | 内部公开的复合指标 | 真实车队事故率 | +| Tesla AI Day metrics | disengagement + intervention rate | 影子模式 | + +## 替代选择 / 同义动作 + +- **单一进展度 (progress / route completion)**:简单但鼓励冒险驾驶,惩罚保守策略。 +- **单一碰撞率**:与事故对齐但奖励"开得慢但不撞"的策略,进展度被牺牲。 +- **人类相似度 (L2 / displacement)**:与"驾驶质量"相关性低,已被多项独立研究证伪。 +- **跟踪闭环—离线指标相关性 (本卡之姊妹动作)**:参见 [跟踪离线与闭环指标相关性以筛选模型](move_track_metric_correlation_offline_vs_closed_loop_to_select_models.md) ——本卡设计指标,那张卡用指标筛模型。 + +## 容易踩的坑 + +- **权重选择仍是经验**:$w_k$ 与真实事故率的回归只在有限样本上做,新车型 / 新地区可能让权重失效。 +- **仿真器保真度是天花板**:闭环指标再好,仿真里他车行为不真实,仍可能在真实部署中失效;需要 [`problem:closed_loop_simulation_fidelity_gap`](problem_closed_loop_simulation_fidelity_gap.md) 的并行投入。 +- **指标可被针对性优化**:策略学到的是"通过该指标",而非"安全驾驶";需要持续刷新场景库 + 红队对抗,参见 [`problem:reward_hacking_in_learned_objectives`](problem_reward_hacking_in_learned_objectives.md)。 +- **多分量权衡不可对单一目标线性化**:碰撞极低但进展极慢的策略仍是发布失败;要分项设硬阈值,不能只看复合分。 + +## 与之相关的洞察 / 范式 + +它兑现 [闭环评估是规划的唯一真值](insight_closed_loop_evaluation_is_the_only_ground_truth_for_planners.md):闭环不仅是评估方式,复合指标设计本身是研究对象。它是 [`paradigm:closed_loop_data_engine_centric_development`](paradigm_closed_loop_data_engine_centric_development.md) 的度量层基础。它和 [跟踪离线与闭环指标相关性以筛选模型](move_track_metric_correlation_offline_vs_closed_loop_to_select_models.md) 构成 "指标设计 → 指标使用" 的两步流程。它的失败模式由 [`problem:rare_safety_critical_events_dominate_real_risk_but_are_under_represented`](problem_rare_safety_critical_events_dominate_real_risk_but_are_under_represented.md) 给出:闭环指标也只能度量已知事件类目,未知盲区仍逃逸。 diff --git a/docs/data/cards/extended/move_gather_diverse_pretraining_data_then_filter_by_quality.md b/docs/data/cards/extended/move_gather_diverse_pretraining_data_then_filter_by_quality.md new file mode 100644 index 0000000..d9de567 --- /dev/null +++ b/docs/data/cards/extended/move_gather_diverse_pretraining_data_then_filter_by_quality.md @@ -0,0 +1,47 @@ +# 方法学原语 · 先广采预训练数据再按质量过滤 + +> 这一动作分两步:第一步从公开 web、合成、众包等所有可获得来源批量抓取尽量多样化的数据;第二步用一个或多个质量评分器(分类器、嵌入距离、相对模型 perplexity)做粗到细过滤,把"低信号 / 高噪声 / 重复 / 不安全"样本剔除。"广 + 滤"被反复证明优于"窄 + 全收"。 + +## 做什么 + +设候选数据集合 $\mathcal{D}_\text{raw} = \bigcup_s \mathcal{D}_s$,来自多个 source $s$。第一步把 $|\mathcal{D}_\text{raw}|$ 推到尽量大(百亿样本 / TB 级)。第二步为每个样本 $x$ 计算质量分数 $q(x)$: + +$$q(x) = w_1\,\text{simhash\_uniqueness}(x) + w_2\,\text{lang\_id}(x) + w_3\,\text{classifier}(x) + w_4\,\text{embedding\_density}(x) + \dots$$ + +按 $q(x)$ 阈值或分位数截断,得到 $\mathcal{D}_\text{filtered}$。规模通常缩到 $\mathcal{D}_\text{raw}$ 的 5–30%。最后再做 deduplication、安全审查、格式归一。"过滤" 不是减少数据,而是把数据信噪比拉高。 + +## 为什么这是一个研究动作 + +- **沿"全量训练 → 高质量子集训练"维度移动**:经验上 GPT-3 / LLaMA / Chinchilla 都证明在固定算力下,filter 后的小数据集 outperform 全量。 +- **解耦"覆盖率"与"质量"**:广采保证覆盖率(罕见知识、多语言、长尾领域),过滤保证质量(无低质重复、无格式垃圾)。 +- **质量评分器可学习且可迭代**:评分器本身可以用上一轮预训练模型自评,形成"模型→评分→数据→模型"的滚动改进。 +- **是 scaling law 能继续往上推的前提**:超过某数据规模后噪声开始主导,没有过滤就撞数据 ceiling。 + +## 在哪些工作里被重复使用 + +| 工作 | raw 来源 | 过滤策略 | +|---|---|---| +| [GPT-3](../paper_gpt3.md) | Common Crawl + 书籍 + Wikipedia | 启发式 + 分类器 reweight | +| [LLaMA](../paper_llama.md) | CC + GitHub + arXiv | n-gram dedup + perplexity | +| Chinchilla | 同 LLaMA 类源 | quality classifier | +| [DINOv3](../paper_2508.10104_dinov3.md) | LVD 1.7B + web | 嵌入聚类 + 多样性采样 | +| [Cosmos](../paper_cosmos.md) | 海量驾驶视频 | 质量分类 + 场景多样性 | +| FineWeb / FineWeb-Edu | CC 大规模过滤 | 语言模型质量评分 | + +## 替代选择 / 同义动作 + +- **窄域专业数据全量训练**:完全依赖一类高质量源(人工标注、专业语料);适合小模型 fine-tune,规模受限。 +- **课程学习 (curriculum)**:先训简单后训复杂样本,不丢弃数据但调顺序;与过滤可叠加。 +- **active learning + retrain**:交替训练 / 挑样本,让模型告诉你下一步要什么数据;适合 fine-tune 但 pretrain 上昂贵。 +- **synthetic-only pretraining**:完全用模型生成数据训练;目前规模受限,难超越混合策略。 + +## 容易踩的坑 + +- **过滤过度让分布偏移**:质量分类器自身有偏(偏好正式英文 / 标准格式),过滤后语言 / 文化 / 领域多样性下降,下游 fine-tune 时反而不如全量。 +- **dedup 粒度选错**:完全相同句子的 dedup 太严会丢真实重复信号("hello world"),太松又留下大量近重复;常用 MinHash + 8-gram。 +- **质量评分器循环依赖**:用前代模型给数据打分,新模型学到的是"前代模型偏好",长期下来同质化严重;需要外部 anchor (人类标注子集) 作锚。 +- **隐私 / 法务**:广采常包含个人识别信息与版权数据;过滤管线必须叠 PII detection 与版权过滤。 + +## 与之相关的洞察 / 范式 + +它兑现 [扩规模数据解锁不在小模型中存在的能力](insight_scaling_data_unlocks_capabilities_not_present_in_smaller_models.md) 与 [Scaling laws 预测能力涌现](insight_scaling_laws_predict_capability_emergence.md):这两条洞察的前提是数据质量随规模不退化,"广采 + 过滤"正是工程上让这一前提成立的手段。它支撑 [基础模型轴](paradigm_foundation_model_axis.md) 与 [自监督扩规模数据](paradigm_scaling_data_with_self_supervision.md)。它和 [`paradigm:closed_loop_data_engine_centric_development`](paradigm_closed_loop_data_engine_centric_development.md) 互补——闭环数据引擎处理"在线增量",过滤管线处理"离线存量"。在驾驶领域它是 [`paradigm:simulator_first_synthetic_data_centric`](paradigm_simulator_first_synthetic_data_centric.md) 的真实数据补充:合成与采集都需要相同的质量门。 diff --git a/docs/data/cards/extended/move_learn_open_vocabulary_classifier_via_language_anchor.md b/docs/data/cards/extended/move_learn_open_vocabulary_classifier_via_language_anchor.md new file mode 100644 index 0000000..0d21e73 --- /dev/null +++ b/docs/data/cards/extended/move_learn_open_vocabulary_classifier_via_language_anchor.md @@ -0,0 +1,52 @@ +# 方法学原语 · 用语言锚点学开放词表分类器 + +> 这一动作把"分类器"从一个固定 $C$ 路 softmax 替换成"一组类别文字 → 文本 embedding → 与视觉 embedding 内积取最大"。新增类别不再需要改架构、不需要重新训练,只需把新类别名喂进文本编码器。这是 CLIP 之后所有开放词表识别 / 检测 / 分割的统一原语。 + +## 做什么 + +让视觉 encoder $f_\text{img}$ 输出图像 (或区域) embedding $v \in \mathbb{R}^d$,文本 encoder $f_\text{txt}$ 输出每个类别 prompt 的 embedding $t_c = f_\text{txt}(\text{prompt}_c) \in \mathbb{R}^d$。分类等价于在 prompt embedding 集合上做最近邻: + +$$\hat c = \arg\max_c\ \frac{v \cdot t_c}{\|v\|\|t_c\|}$$ + +训练时图像-文本对通过 contrastive 损失对齐: + +$$\mathcal{L} = -\log\frac{\exp(v_i \cdot t_i / \tau)}{\sum_j \exp(v_i \cdot t_j / \tau)}$$ + +推理时只要拿到任意新类别的文字描述,就能立刻产出分类器;类别表是 "运行时参数" 而非 "训练时常量"。 + +## 为什么这是一个研究动作 + +- **沿"封闭词表 → 开放词表"维度移动**:固定类别 head 把 vocabulary 编码进权重;语言锚点把它外化为文字 prompt,扩展类别零成本。 +- **跨任务通用**:同一原语扩展到检测 (GLIP / Detic)、分割 (OpenSeg / SAM)、3D 占用 (OpenOccupancy) 与 VLM 推理 (CLIP head 接 LLM)。 +- **零样本能力源自规模**:在十亿级图文对上预训练后,未见过的稀有类别也能用文字描述召回。 +- **天然支持语义层次组合**:类别 prompt 可以是 "穿黄背心的工人骑电动车",分类器自动复用 CLIP 学到的属性组合能力。 + +## 在哪些工作里被重复使用 + +| 工作 | 模态 / 任务 | 文本侧 | +|---|---|---| +| [CLIP](../paper_clip.md) | 图像分类 | 类别 prompt | +| GLIP / GroundingDINO | 开放词表检测 | phrase prompt | +| Detic | 开放词表检测 | class name + LVIS | +| OpenSeg / Mask2Former-CLIP | 开放词表分割 | 类别 prompt | +| [LLaVA](../paper_llava.md) | VLM 多模态 | 用户问句 | +| [DriveVLM](../paper_2402.12289_drivevlm.md) | 驾驶语义理解 | scene caption | +| OpenOccupancy / [SurroundOcc](../paper_surroundocc.md) (extended) | 3D 开放占用 | 类别 prompt | + +## 替代选择 / 同义动作 + +- **固定 $C$ 路 softmax head**:经典监督方法,类别数定死后训练;准确度高,但每加新类要重训。 +- **prototype-based few-shot**:每类用少量示例算 prototype embedding,新类只需提供示例;省去文本侧。 +- **propeller / hierarchical class head**:把类别组织成树,按层级 softmax;扩展性更好,但需要人工维护层级。 +- **语言模型直接做分类**:把图像作为 token 喂进 LLM 让它生成类别名;表达力强但延迟高。 + +## 容易踩的坑 + +- **prompt 工程敏感**:同一类别用 "car"、"a photo of a car"、"a sedan in traffic" 得分差别可达 5–10%;通常做 prompt ensembling。 +- **零样本召回与精度难两全**:把"看似可能"的物体都召回会带来大量误检;需要 OOD 检测或下游 verifier。 +- **小目标与极端形状鲁棒性差**:文本侧对"翻倒的椅子"、"被风吹起的塑料布"几乎无 prior 可学;需要合成数据补全。 +- **跨数据集语义对齐**:同一物体在 nuScenes / Waymo / Argoverse 中类别名不一致,语言锚点不会自动统一。 + +## 与之相关的洞察 / 范式 + +它实现 [基础特征无需微调即可迁移](insight_foundation_features_transfer_without_finetune.md) 在分类层的具体兑现:foundation model 把表征学好,分类靠语言锚定。它和 [`problem:long_tail_object_categories_in_open_world`](problem_long_tail_object_categories_in_open_world.md) 互为表里——长尾物体识别的最现实路径就是放弃封闭词表。它支撑 [VLA 范式](paradigm_vla_paradigm.md) 与 [基础模型零样本驾驶代理](paradigm_foundation_model_zero_shot_driving_agent.md):让模型在新地区 / 新天气 / 新交通参与者上零样本起跑。它和 [Token 化抹平模态差距](insight_tokenization_collapses_modality_gap.md) 协同——文本侧的类别 prompt 与图像侧的 patch token 在同一 embedding 空间对话。 diff --git a/docs/data/cards/extended/problem_grounding_language_token_to_continuous_physical_world.md b/docs/data/cards/extended/problem_grounding_language_token_to_continuous_physical_world.md new file mode 100644 index 0000000..0c5a4af --- /dev/null +++ b/docs/data/cards/extended/problem_grounding_language_token_to_continuous_physical_world.md @@ -0,0 +1,38 @@ +# 悬而未决 · 把语言 token 接地到连续物理世界 + +> 语言模型在离散符号空间训练,但要驱动机械臂或车辆就必须输出有度量含义的连续量;离散 token 与连续物理之间存在天然的语义到物理的接地鸿沟。如何系统性地学到这种接地,而不是依赖手工动作 token 表,是 VLA 与具身智能的根本未解问题。 + +## 现象 + +LLM 输出的是字符 / 子词 / 学习 token,每个 token 对应词表中的一个离散 ID。VLA 一类工作 ([RT-2](paper_rt2.md)、[OpenVLA](paper_openvla.md)、[PaLM-E](paper_palme.md)) 让模型在同一序列里既生成自然语言、也生成动作;动作通常被手工离散化成 256 个 bin,每个 bin 对应一个动作 token。这套方案在 manipulator 上得到 60–80% 任务成功率,但在驾驶场景里出现明显瓶颈:256 个 bin 对应的角度 / 加速度精度是 $\approx 0.7°$ / 0.4 m/s²,已经接近舒适度下限;增加 bin 数虽可提高分辨率,但 token 数线性增长导致延迟与训练数据稀疏化。更深的问题是:同一动作 token 在不同状态下含义不同 (低速时的 "+10 速度 bin" 与高速时的 "+10 速度 bin" 物理含义完全不同),模型必须额外学习这种条件化映射。Lingo-2、EMMA、Senna 都在驾驶 VLA 上观察到 "语言看起来对,动作却轻微违反动力学" 的失败模式。 + +## 为什么难 + +- **离散 token 与连续控制度量不对齐**:词表 ID 无序号;动作离散化引入量化误差,且不同 bin 间的物理距离不等。 +- **物理一致性无内嵌**:LLM 训练目标是似然,从未被惩罚"违反动力学";约束只能在生成后过滤,难以在 representation 内部表达。 +- **接地链路单向**:语言模型生成"前方有行人"无法被自动反向核验回视觉特征,[`problem:hallucinated_action_from_vision_language_model_in_safety_critical_loop`](problem_hallucinated_action_from_vision_language_model_in_safety_critical_loop.md) 给出形式化。 +- **跨任务接地不一致**:同样动作 token 在 manipulator 上代表 6-DoF 末端速度,在驾驶上代表 longitudinal + lateral 控制,跨任务迁移要重新学习接地。 +- **奖励与监督信号稀疏**:动作正确与否要在物理世界 (或仿真) 闭环里才能判断;这与 LLM 训练所需的 token 级监督节奏不匹配。 +- **可证安全难以叠加**:用 shield / constraint 对连续动作做限制可以,但对生成连续动作的离散 token 模型做形式化验证几乎无方法。 + +## 已有的半解 + +| 半解 | 怎样接近 | 它没解决什么 | +|---|---|---| +| 手工动作 token 表 ([`move:replace_explicit_action_head_with_tokenized_action_sequence`](move_replace_explicit_action_head_with_tokenized_action_sequence.md)) | 把动作离散到固定 bin | 量化误差,bin 数与精度二难 | +| 多尺度 / 残差动作 token | 用粗 bin + 残差 bin 提精度 | 训练数据稀疏 | +| 元动作 + 经典 planner ([Senna](paper_senna.md), [DriveVLM](paper_2402.12289_drivevlm.md)) | VLM 出元动作,几何由 MPC 实例化 | 元动作仍是离散,与物理约束不直接交互 | +| Diffusion Policy 路线 ([Diffusion Policy](paper_diffusion_policy_chi2023.md)) | 用扩散模型直接生成连续动作 | 与语言侧的协同表征不统一 | +| VLA + 连续 head (RT-X 改造) | 在 LLM 输出层接一个 MLP 回归连续动作 | 与 token 训练目标冲突 | +| 物理可微仿真闭环 ([`paradigm:simulator_first_synthetic_data_centric`](paradigm_simulator_first_synthetic_data_centric.md)) | 用仿真给出梯度信号 | 仿真保真度是上界 | +| 多模态预训练对齐 ([RT-2](paper_rt2.md), [OpenVLA](paper_openvla.md), [PaLM-E](paper_palme.md)) | 用图文 + 动作三元组共同训 | 接地仍是统计相关而非可证一致 | + +## 真正未解的部分 + +1. **离散 token 与连续物理量的双向可微桥接**:当前所有 VLA 都是"离散 token → look-up table → 连续量"的单向映射;需要一个可微、可逆、可对接 LLM 训练目标的桥接层,让物理约束可以反向影响 token 表征。 +2. **接地的可证性**:每个 "看到 X"、"做 Y" 都应可回溯到视觉 / 物理证据,并被独立 verifier 接受;当前 cross-attention 可视化不构成可证。 +3. **跨任务跨实体的统一接地表征**:同一个 "向左转 30°" token 在自行车、卡车、机器人上对应不同物理操作;需要一种参数化、可由实体特征调制的接地 protocol,目前仍是研究空白。 + +## 与之相关的研究路径 + +它的直接对策路径是 [`move:replace_explicit_action_head_with_tokenized_action_sequence`](move_replace_explicit_action_head_with_tokenized_action_sequence.md):动作 token 化是当前最可行的接地方式,本卡问题是它的形式化短板。它和 [`paradigm:vla_paradigm`](paradigm_vla_paradigm.md) 共生——VLA 范式本身预设语言可被接地,本问题是这一前提的工程现实。它和 [`problem:hallucinated_action_from_vision_language_model_in_safety_critical_loop`](problem_hallucinated_action_from_vision_language_model_in_safety_critical_loop.md) 互为表里:接地失败具现为幻觉动作。它和 [`insight:tokenization_collapses_modality_gap`](insight_tokenization_collapses_modality_gap.md) 提供互补视角:token 化抹平模态差距,但留下"离散 / 连续"的最后一道差距未消。在论文链上 [RT-2](paper_rt2.md)、[OpenVLA](paper_openvla.md)、[PaLM-E](paper_palme.md) 是 VLA 主线,[Diffusion Policy](paper_diffusion_policy_chi2023.md) 是连续侧对照;[`paradigm:foundation_model_zero_shot_driving_agent`](paradigm_foundation_model_zero_shot_driving_agent.md) 是把这一接地推到驾驶具身的最终落地路径。 diff --git a/docs/data/cards/extended/problem_long_horizon_reasoning_with_finite_context_window.md b/docs/data/cards/extended/problem_long_horizon_reasoning_with_finite_context_window.md new file mode 100644 index 0000000..53ac10f --- /dev/null +++ b/docs/data/cards/extended/problem_long_horizon_reasoning_with_finite_context_window.md @@ -0,0 +1,38 @@ +# 悬而未决 · 有限上下文窗口下的长时推理 + +> 驾驶任务跨越分钟甚至小时尺度,但语言模型的 attention 代价随窗口长度二次增长,必须在固定窗口内表达远超窗口的历史信息。如何用外部记忆、层次化总结与世界模型来弥补这一矛盾,是把代理范式推进到真实长时任务的瓶颈。 + +## 现象 + +主流 LLM / VLM 的实际有效上下文从早期 4 k 涨到 1 M token,但在长时驾驶推理里仍然不够:一段 30 秒视频以 0.1 秒采样 + 多视相机 + 文本 prompt 已超过 100 k token;一次 30 分钟通勤里包含的语义事件 (变道、过弯、过路口、过收费站、过桥洞) 数以百计;用户级长期偏好 (今天我赶时间 / 别走桥洞) 跨越 session。GPT-4 / Gemini / Claude 等模型都在 needle-in-haystack 上展示了对长 context 的检索能力,但驾驶任务要求的不是"找特定 token",而是"在远过去某事件后调整当前行为"。已有评测显示:当 context 超过 $10^5$ token,模型对中段 token 的实际利用率显著下降;token 数翻倍带来的延迟在 $4\times$–$10\times$,已超出实时控制预算。 + +## 为什么难 + +- **二次注意力代价**:朴素 self-attention 复杂度 $O(L^2 d)$,$L = 10^5$ 时单层 FLOPs 已达 $10^{14}$,多层堆叠在车端 GPU 不可行。 +- **位置编码外推**:训练时 $L_\text{train} = 8 k$,部署时 $L_\text{infer} = 100 k$,绝对位置编码退化、相对位置编码也需专门外推。 +- **记忆访问语义不清**:把"远过去的事件"塞进 context 后,模型不知道哪个事件该被取出;retrieval 又要求外部索引,与 attention 不对齐。 +- **延迟与质量 trade-off**:长 context 让推理质量上升、延迟同步增长;驾驶控制有 100 ms 级硬延迟约束,[`problem:latency_budget_for_large_model_in_realtime_control`](problem_latency_budget_for_large_model_in_realtime_control.md) 给出形式化。 +- **长程因果归因困难**:策略失败可能源于半小时前的一个让行决策;模型必须把奖励 / 失败信号反向归因到极远的 token,[`problem:long_horizon_credit_assignment_in_driving`](problem_long_horizon_credit_assignment_in_driving.md) 是其孪生。 +- **个性化记忆与隐私**:跨 session 的乘客偏好需要持久化,但同时受隐私法规约束,工程实现复杂。 + +## 已有的半解 + +| 半解 | 怎样接近 | 它没解决什么 | +|---|---|---| +| 大窗口 LLM ([Gemini 1.5 Pro](paper_gemini.md), [Claude](paper_claude.md)) | 把窗口拉到 1 M+ | 推理延迟与显存仍随长度增长 | +| Sparse / Linear / Mamba attention ([Flash](paper_flashattention.md), [Mamba](paper_mamba.md), [Linear](paper_linear_attention.md)) | 把复杂度降到亚二次 | 长程精度退化,尤其在中段 token | +| Retrieval-augmented memory ([`move:use_retrieval_augmented_memory_to_extend_context`](move_use_retrieval_augmented_memory_to_extend_context.md)) | 把过去存外部向量库按需取 | retrieval 召回不完整时模型失忆 | +| 层次化子目标 ([`move:long_horizon_via_hierarchical_subgoal`](move_long_horizon_via_hierarchical_subgoal.md)) | 把长时任务切成短时段 | 子目标划分本身仍需人工设计 | +| 循环隐状态 ([`move:carry_recurrent_hidden_state_across_long_videos`](move_carry_recurrent_hidden_state_across_long_videos.md)) | 用 RNN / SSM 维持常数状态 | 状态压缩信息损失,深远过去模糊 | +| 世界模型 imagination ([`paradigm:model_based_world_imagination_planning`](paradigm_model_based_world_imagination_planning.md)) | 把"未来"压成 latent rollout | 仍受世界模型保真度限制 | +| 慢-快双系统 ([DriveVLM](paper_2402.12289_drivevlm.md)) | 慢系统在 1 Hz 做长程推理 | 慢系统漏掉短时危险 | + +## 真正未解的部分 + +1. **可证的长程信息流**:能不能在某种约束下证明"过去 $t$ 时刻的关键信号能以小于 $\epsilon$ 的失真影响当前决策"?目前所有亚二次注意力都缺这种 lower bound。 +2. **记忆 / 当下的可微切换**:当模型该用 retrieval 时用 retrieval,该用 in-context 时用 in-context;选择应由数据学到,而不是手工分发。这要求一种端到端可微的混合架构,目前 RAG 与 attention 是松耦合。 +3. **个性化长期记忆与可遗忘性**:跨 session 偏好需要可写入、可读出、可在用户请求下精确删除的存储;当前没有任何 LLM-agent 体系支持"可证遗忘"。 + +## 与之相关的研究路径 + +它的直接对策路径是 [`move:carry_recurrent_hidden_state_across_long_videos`](move_carry_recurrent_hidden_state_across_long_videos.md) (状态压缩) + [`move:use_retrieval_augmented_memory_to_extend_context`](move_use_retrieval_augmented_memory_to_extend_context.md) (外部检索) + [`move:long_horizon_via_hierarchical_subgoal`](move_long_horizon_via_hierarchical_subgoal.md) (层次化分解)。它和 [`paradigm:llm_agent_paradigm`](paradigm_llm_agent_paradigm.md)、[`paradigm:vla_paradigm`](paradigm_vla_paradigm.md) 互为约束——agent 范式假设模型能跨步追踪 task progress,本问题是这一假设的现实瓶颈。它和 [`insight:agent_loop_is_just_iterated_conditional_generation`](insight_agent_loop_is_just_iterated_conditional_generation.md) 共生:迭代生成在窗口爆炸时退化为只看最近一步,长时一致性消失。在论文链上 [Gemini](paper_gemini.md)、[Mamba](paper_mamba.md)、[FlashAttention](paper_flashattention.md) 是主线,[`problem:planning_horizon_vs_compute_budget_tradeoff`](problem_planning_horizon_vs_compute_budget_tradeoff.md) 是其在计算预算维度的孪生。 diff --git a/docs/data/cards/extended/problem_multi_modal_calibration_drift.md b/docs/data/cards/extended/problem_multi_modal_calibration_drift.md new file mode 100644 index 0000000..2a8485c --- /dev/null +++ b/docs/data/cards/extended/problem_multi_modal_calibration_drift.md @@ -0,0 +1,38 @@ +# 悬而未决 · 多模态标定漂移 + +> 相机、激光雷达、毫米波雷达之间的外参在车辆使用过程中会缓慢漂移,使中间表示空间里的特征对不齐,融合性能急剧下降。在线自标定、可微外参学习都是回应,但鲁棒性仍未达到工业级要求。 + +## 现象 + +出厂时多传感器外参通过靶标标定到毫米 / 弧分级精度。投入运行后,振动、温变、悬挂磨损让相机 / LiDAR / Radar 之间的相对位姿持续漂移:长期统计显示半年内常规乘用车的相机俯仰角可漂移 0.5–1 度,LiDAR 高度可漂移数毫米。这一漂移会在融合阶段被显著放大——一个 0.5 度的相机俯仰偏差,在 50 m 距离上等价于 0.4 m 的 BEV 错位。BEVFusion / TransFusion 等中融合模型在标定良好时优于单模态 5–10%,但在标定漂移 0.5° 时性能反而比单模态差。Tesla AI Day 公开了影子模式数据,提示多传感器系统在 1 万公里后必须重新校准至少一次外参;商用 Robotaxi 厂商一般在每日入库后做一次自标定流程。 + +## 为什么难 + +- **真值不可获取**:在线运行时没有标定靶标,外参真值未知,所有自标定都是基于 surrogate 信号 (LiDAR-相机点对应、运动一致性) 反推。 +- **漂移信号弱、低频**:漂移以小时 / 天为单位累积,单帧观测里的标定误差远小于一般感知噪声,难以单帧检测。 +- **观测分布与漂移耦合**:行驶环境 (隧道、平直路、急转弯) 直接决定哪种外参分量可被估计;平直路上俯仰角几乎不可观,急弯时偏航角才被激发。 +- **下游模型对漂移敏感方向不一**:占用预测对 z 漂移敏感,3D 检测对俯仰漂移敏感,规划对地图对齐漂移敏感;单一标定目标难以同时优化所有下游。 +- **可微外参学习引入耦合风险**:把外参写成可学习参数后,模型梯度会同时调整外参与特征提取器,可能"用学到的特征伪装错的外参"。 +- **多车一致性**:车队规模化时每辆车有独立漂移轨迹,无法共享一份外参参数。 + +## 已有的半解 + +| 半解 | 怎样接近 | 它没解决什么 | +|---|---|---| +| 离线靶标重标定 | 每日 / 周入库做一次靶标标定 | 漂移在两次标定间持续累积 | +| 在线点对应自标定 ([LiDAR-Cam calib](paper_lidar_cam_calib.md)) | 用 SIFT / 边缘对应估计外参 | 依赖纹理 / 边缘,雨雪天失效 | +| 运动一致性自标定 | 用 IMU + 轮速 + LiDAR 里程比对 | 仅可恢复部分自由度 | +| 可微外参作为可学习参数 ([BEVFusion](paper_bevfusion.md) 工程实践) | 把外参嵌入 BEV 投影算子,让下游损失反传 | 与特征学习耦合,鲁棒性差 | +| 中融合容错训练 ([`move:fuse_modalities_in_shared_intermediate_space`](move_fuse_modalities_in_shared_intermediate_space.md)) | 训练时随机对一路模态加 dropout / 噪声 | 提高鲁棒但不修复漂移 | +| 双系统单模态退化 | 一旦检测到漂移就切换到单模态后端 | 单模态本身性能下界 | +| 时间一致性正则 | 跨帧约束目标的 BEV 位置抖动 | 不能区分"目标动" 与"外参漂" | + +## 真正未解的部分 + +1. **可观测性的形式化保证**:能不能在不知道真值的前提下,给"当前路况能恢复哪几个外参自由度、置信区间多少"这一问题以可计算的回答?只有这样才能让自标定系统知道何时该工作、何时该禁用。 +2. **联合学习外参与表征的解耦目标**:外参与特征提取在端到端训练中纠缠;需要某种正交化正则 (例如让外参只通过几何算子影响 loss,特征只通过感知 head 影响 loss) 才能避免互相伪装。 +3. **车队级共享自标定**:每辆车独立漂移,但同型号、同环境的统计先验应该可共享;如何在保护车主隐私的前提下做 federated 标定漂移建模,是悬而未决的工程问题。 + +## 与之相关的研究路径 + +它的直接半解是 [`move:fuse_modalities_in_shared_intermediate_space`](move_fuse_modalities_in_shared_intermediate_space.md):中融合本身就把可学习外参写进 BEV 投影算子,自然允许标定残差被下游梯度修正。它和 [`insight:bev_is_planning_friendly_intermediate`](insight_bev_is_planning_friendly_intermediate.md) 互为耦合——BEV 既是融合载体也是漂移放大器。它和 [`paradigm:modular_perception_to_planning_pipeline`](paradigm_modular_perception_to_planning_pipeline.md) 共生:模块化栈把标定单列为前置模块,端到端栈把它内化为可学习参数。它是 [`paradigm:closed_loop_data_engine_centric_development`](paradigm_closed_loop_data_engine_centric_development.md) 的隐性运行条件——车队数据闭环必须有标定漂移监控作为质量门,否则上游漂移会把闭环引擎本身带偏。论文链上 [BEVFusion](paper_bevfusion.md)、[LiDAR-Cam Calibration](paper_lidar_cam_calib.md) 是两条主线,前者展示中融合的潜力,后者揭示标定本身的脆弱性。 diff --git a/docs/data/cards/extended/problem_open_world_corner_case_synthesis_for_training.md b/docs/data/cards/extended/problem_open_world_corner_case_synthesis_for_training.md new file mode 100644 index 0000000..5da8143 --- /dev/null +++ b/docs/data/cards/extended/problem_open_world_corner_case_synthesis_for_training.md @@ -0,0 +1,38 @@ +# 悬而未决 · 用于训练的开放世界 corner case 合成 + +> 现实道路上真正危险的 corner case 罕见到无法靠采集解决,必须由生成模型在保持物理合理性的前提下大量合成。如何衡量合成 corner case 的覆盖率与有效性,又如何避免模型只学到合成数据上的虚假相关,是世界模型工程化的核心未解问题。 + +## 现象 + +主流驾驶数据集(nuScenes、Waymo Open、Argoverse 2)合计约 $10^4$ 小时驾驶时长,事故率级别的危险事件几乎全部缺席。视频世界模型路线([GAIA-1](paper_gaia1.md)、[DriveDreamer](paper_drivedreamer.md)、[Cosmos](paper_cosmos.md))已能生成 5–20 秒的高保真驾驶视频,外加可控场景属性(天气、密度、行人)。但即便合成 10 万条 corner case 视频喂进训练,下游闭环成绩的提升常常不到 5%;同时模型在合成场景上的指标显著优于真实场景上的对应指标,提示"在合成数据上 overfit"已经发生。CF-VLA、PRISM-1 等工作把这一痛点列为合成数据中心化范式的主要瓶颈。 + +## 为什么难 + +- **覆盖率不可度量**:要声称"我们合成的 corner case 已覆盖 X% 的危险场景"必须先定义"危险场景空间";这一空间本身高维且未知。 +- **合成器分布与下游策略分布耦合**:合成器若由当前模型反馈塑造,它学到的是"模型当前盲点",并非"现实盲点";策略越强,可合成的 corner 越少。 +- **物理合理性难量化**:合成视频里他车轨迹是否符合动力学、行人是否符合社会博弈——这些"软合理性"目前没有可微度量。 +- **虚假相关在合成数据上更易出现**:合成数据共享生成器的纹理 / 光照特征,模型可能学到"看到这种 artifact 就降速",部署到真车时失效。 +- **评估反馈环路**:合成 corner case 的有效性必须在闭环里验证,但闭环本身又依赖另一组合成器(仿真代理),形成"合成评估合成"的不可信回路。 +- **未知未知**:人类无法穷举"我们想不到的危险场景";合成器只能扩展已知本体,扩展未知本体需要某种自驱发现机制,当前没有。 + +## 已有的半解 + +| 半解 | 怎样接近 | 它没解决什么 | +|---|---|---| +| 视频扩散世界模型 ([GAIA-1](paper_gaia1.md), [Cosmos](paper_cosmos.md)) | 大规模视频预训练 + 动作条件 | 生成的危险仍是训练分布的内插,未知盲区不可达 | +| 反事实生成 ([CF-VLA](paper_2512.24426_cfvla.md), [`paradigm:counterfactual_data_centric_safety`](paradigm_counterfactual_data_centric_safety.md)) | 给已知日志做"如果他车这样"的扰动 | 扰动参数化由人决定,无法逼出真正未见几何 | +| 离线场景扰动 ([`move:augment_dataset_via_offline_scenario_perturbation`](move_augment_dataset_via_offline_scenario_perturbation.md)) | 在真实日志上改其它代理速度 / 朝向 | 改不了视觉外观,覆盖几何而非语义 | +| 程序化场景库 (SMARTS / MetaDrive scenario zoo) | 把"危险" 枚举成参数化合约 | 本体依赖人类对"危险" 的当前理解 | +| 对抗场景生成 (PRISM-1) | 让对抗代理主动诱发碰撞 | 对抗代理本身可能不真实 | +| 反事实重规划 + 合成评估 (CF-VLA) | 让 VLA 在多反事实分支里互评 | 评估器与合成器同源,盲区共享 | +| 神经场重建 + 编辑 ([EmerNeRF](paper_emernerf.md), [DrivingGaussian](paper_drivinggaussian.md)) | 重建真场景再编辑 | 编辑空间狭窄,跨场景泛化差 | + +## 真正未解的部分 + +1. **覆盖率的可证下界**:能不能给出"我们的合成集已覆盖碰撞前 2 秒可能态的 $\alpha$ 比例"的统计声明?这要求在状态空间上找到一个可度量、可计算的子集划分,使"未见过的子集"可被显式 bound。 +2. **合成器与下游策略的解耦训练**:合成器需要持续被下游反馈塑造(找盲点),又必须保持"现实盲点"分布的代表性;如何在两者间设计正交目标,使合成器在策略改进时不退化为"专门骗当前策略"。 +3. **未知未知的发现机制**:让某种自驱探索 (entropy-driven generation, novelty search) 产生 "人类未想到的危险几何";当前 generative model 的 mode 都来自训练分布,不存在真正的"新模式"涌现。 + +## 与之相关的研究路径 + +它直接喂养 [`paradigm:counterfactual_data_centric_safety`](paradigm_counterfactual_data_centric_safety.md) 与 [`paradigm:simulator_first_synthetic_data_centric`](paradigm_simulator_first_synthetic_data_centric.md),并与 [`paradigm:closed_loop_data_engine_centric_development`](paradigm_closed_loop_data_engine_centric_development.md) 形成"合成 + 引擎"双轮。它和 [`problem:rare_safety_critical_events_dominate_real_risk_but_are_under_represented`](problem_rare_safety_critical_events_dominate_real_risk_but_are_under_represented.md) 互为表里——罕见性正是合成不可替代的根本动机。它和 [`insight:long_tail_solved_by_synthesis_not_data_alone`](insight_long_tail_solved_by_synthesis_not_data_alone.md) 共生:后者是 hypothesis,本卡问题是该 hypothesis 工程化时撞上的具体难关。在工程兑现上,[给视频生成模型加入控制条件作为世界模型](move_condition_video_generative_model_on_control_action_for_world_model.md) 提供合成接口,而本卡问题指出该接口的"覆盖率证明"仍空白。 diff --git a/docs/data/cards/extended/problem_reward_specification_for_safe_polite_driving.md b/docs/data/cards/extended/problem_reward_specification_for_safe_polite_driving.md new file mode 100644 index 0000000..59c6ce4 --- /dev/null +++ b/docs/data/cards/extended/problem_reward_specification_for_safe_polite_driving.md @@ -0,0 +1,38 @@ +# 悬而未决 · 为安全又礼貌的驾驶指定奖励 + +> 驾驶任务的奖励既要鼓励到达目标,又要惩罚危险、不舒适、不文明,而这些维度彼此冲突且难量化。如何写出一个数学上明确、又能在真实数据中可计算的奖励,是端到端规划长期未解的问题。 + +## 现象 + +绝大多数端到端规划论文都在 reward / cost 设计上做"经验调味":常见做法是把 progress (前进距离 / 时间)、collision (碰撞惩罚)、TTC (时距罚)、comfort (加加速度惩罚)、rule-violation (违章罚) 加权求和,权重数量级常在 $10^0$ 到 $10^3$ 之间,调权重的工程成本与最终模型迭代成本相当。nuPlan 官方的复合分函数有 7 个分项;Waymo Driver 内部 scorecard 公开过 10+ 维。即便是这种精心设计的奖励,仍会出现"高分但不被人类乘客接受"的策略:踩刹太早 (理论上安全但乘客不适)、变道过频 (理论高 progress 但被报告"开起来发疯")、永远走最右车道 (避免冲突但被认为"礼让过度"导致后方堵塞)。"礼貌 / 文明 / 默契"等维度长期缺乏可计算量。 + +## 为什么难 + +- **多目标维度内禀冲突**:到达目标要求加速,安全要求保守,舒适要求平滑,礼貌要求让行;任何线性加权都会在某一类场景上失分。 +- **"礼貌"没有形式化定义**:人类驾驶里的"让行"、"借道"、"眼神交流"是社会博弈,文本与轨迹都难以独立编码。 +- **奖励 hacking 不可避免**:[`problem:reward_hacking_in_learned_objectives`](problem_reward_hacking_in_learned_objectives.md) 的所有困难在驾驶 reward 上都重现,且后果直接转换成事故风险。 +- **人类驾驶数据隐含奖励但不可分离**:[`insight:human_demonstrations_compress_implicit_reward_function`](insight_human_demonstrations_compress_implicit_reward_function.md) 提示模仿数据压缩了一个看不见的 reward,但任何具体的 IRL 反推都难以辨识。 +- **跨地域 / 跨文化的偏好漂移**:同样动作在德国 vs 印度 vs 新加坡 被赋予不同"礼貌"标签,单一 reward 模型不可能通用。 +- **不同乘客的偏好不同**:保守驾驶者讨厌激进 ego,时间敏感者讨厌过度礼让,存在乘客-个性化维度。 + +## 已有的半解 + +| 半解 | 怎样接近 | 它没解决什么 | +|---|---|---| +| 人工设计复合代价 ([nuPlan](paper_nuplan.md) / [Bench2Drive](paper_bench2drive.md)) | 把多维事件加权求和 | 权重靠经验,迁移到新车型 / 新地区失效 | +| 偏好学习 ([RLHF / DPO](paper_rlhf_dpo.md), [PEBBLE](paper_pebble.md)) | 用人类成对偏好训 reward 模型 | 偏好标注偏向已知场景,长尾不学到 | +| 模仿 + 约束 ([`move:treat_planner_as_policy_optimisation_with_constraints`](move_treat_planner_as_policy_optimisation_with_constraints.md)) | 用 BC 学性能,用 constraint 写安全 | 礼貌仍无 constraint 表达 | +| Lagrangian 安全约束 ([`move:apply_dual_lagrangian_to_safety_constraint`](move_apply_dual_lagrangian_to_safety_constraint.md)) | 把"安全代价" 单独做对偶约束 | 礼貌、文明仍夹在主目标里 | +| 人类舒适度信号 (motion sickness models) | 用医学 / 心理研究量化舒适 | 文化适应性差 | +| 多代理仿真行为评分 (SMARTS / MetaDrive) | 用其他代理的反应作为礼貌信号 | 仿真代理的反应不真实 | +| Constitutional / 规则驱动 ([Constitutional AI](paper_constitutional_ai.md) 思路) | 用 LLM 给出"礼貌违规"判别 | 判别器自身被 hacking | + +## 真正未解的部分 + +1. **可分解又可对齐的奖励本体**:能不能给出一组"原子驾驶偏好"(让行性、稳定性、可预测性、礼貌信号清晰度),其线性组合既可对齐真实人类偏好,又能在仿真里计算?目前任何一项都缺少干净度量。 +2. **礼貌的博弈论形式化**:把"礼貌"写成对其他代理 reaction 的影响指标 (causal impact),让 ego 主动减少给他车带来的反应负担。这要求 ego 同时建模 "我对他人轨迹的因果影响",远超当前 prediction 能力。 +3. **乘客侧个性化与社会侧一致性的解耦**:把"我喜欢这种开法"与"社会接受这种开法"分别成两个 reward,前者个性化、后者共享;当前没有任何工程化方法明确二者分工。 + +## 与之相关的研究路径 + +它的最直接对策是 [`paradigm:safe_rl`](paradigm_safe_rl.md) 与 [`paradigm:safety_by_constraint_layered_architecture`](paradigm_safety_by_constraint_layered_architecture.md):把"安全义务"放进 constraint,把"性能 / 舒适 / 礼貌"分别按可优化维度组织。它和 [`problem:reward_hacking_in_learned_objectives`](problem_reward_hacking_in_learned_objectives.md) 共生——所有 reward specification 失败都最终具现为 hacking。它和 [`insight:human_demonstrations_compress_implicit_reward_function`](insight_human_demonstrations_compress_implicit_reward_function.md) 提供互补路径——既然 reward 难写,那就把它从人类驾驶里 IRL 反推;但反推目前精度不足。它和 [`insight:safety_emerges_from_constraint_lagrangian_not_reward_shaping`](insight_safety_emerges_from_constraint_lagrangian_not_reward_shaping.md) 给出工程方向:把 hacking 风险高的项移出 reward、放进 constraint。在论文链上,[RLHF / DPO](paper_rlhf_dpo.md)、[PEBBLE](paper_pebble.md) 是偏好学习起点,[nuPlan](paper_nuplan.md) 与 [Bench2Drive](paper_bench2drive.md) 提供了当前最成熟的复合代价工程范本,但都未触及"礼貌"的真正形式化。