CoRL 2026 — 每场报告,AI 逐一解读

2026 年机器人学习大会(CoRL 2026)(美国得克萨斯州奥斯汀,11 月 9–12 日)以四段长录像直播了全部主会议程。本页将其拆分为单场报告:主题演讲、口头报告、亮点报告、赞助商报告和辩论小组讨论。每个条目都有简短摘要、要点,以及一个只播放该场报告的播放器。

摘要依据直播字幕和论文摘要撰写。每篇论文在有条件时链接到 arXiv 和项目主页,并链接到 OpenReview。标题已翻译,英文原题附在括号中;姓名和单位保留英文。

免责声明:本页由 Claude Opus 5.5 生成,尚未经过完整审核,可能存在错误。中文译文同样由 AI 翻译。具体细节请以原始录像或论文为准。所有报告、论文、幻灯片和录像的权利归其作者及 CoRL 2026 所有。

会议综述

CoRL 2026 规模扩大到原来的三倍,在核心要素(大型预训练策略、人类视频、世界模型、前沿模型规划器)上已基本趋同,却公开争论这套方案能否造出有人愿意付费的机器人。

投稿数
2,094
据程序委员会主席介绍,高于 2025 年的 ~700 篇;录用 687 篇
录用率
32.8%
与往年大致持平;口头报告占录用论文的 ~3%,亮点报告 72 篇
参会人数
~4,800
据大会主席介绍,约为 2025 年的两倍
审稿人
2,400+
另有 23 位高级领域主席,这是今年新增的一层
录用的最新成果
89 项中 39 项
新设智能体机器人和真实到仿真再到真实专题
因虚构引用而直接拒稿
~12
CoRL 首次对此进行筛查

第十届 CoRL 共收到 2,094 篇投稿,约为 2025 年大约 700 篇的三倍,并在奥斯汀的三个场馆吸引了约 4,800 名参会者。程序委员会主席通过增设仅海报展示的层级和 3 分钟亮点报告,保持了 32.8% 的录用率和单一会场形式。投稿中最常见的关键词是操作、模仿学习、感知/控制表征、RL 和机器人基础模型,录用论文的分布也与之高度一致。新设的最新成果(late-breaking)专题聚焦智能体机器人和真实到仿真再到真实(real-to-sim-to-real),是对仅仅几个月前发布的前沿模型的回应。

在台上,技术图景比战略图景更为明朗。Physical Intelligence、NVIDIA、Google DeepMind 以及众多学术实验室展示的是同一套技术栈:一个以行为克隆预训练的大型策略,以人类第一人称数据实现规模化,用世界模型生成数据和进行评估,再在顶层放置一个前沿模型负责规划。分歧在于这套技术栈能否实现可靠且盈利的部署。在围绕这一问题的闭幕辩论前后进行的投票都倾向于反对该辩题,且几乎没有变化。Ken Goldberg(UC Berkeley) 形容该领域正处于“收入危机”之中,意思是它现在必须在可靠性、吞吐量和可解释性上交出成果。

阅读完整综述收起完整综述

主题

前沿模型在上层,快速策略在下层

大多数系统都在快速的学习型控制器之上放置一个慢速推理器。Hang Zhao(Tsinghua University / Galaxea AI) 报告称,在真实时钟约束下,将前沿模型作为逐步执行的策略使用时,其在 RoboCasa 上的成功率降至 15-20%,并认为大多数失败发生在层与层之间的交接处。Boston Dynamics 表示,没有任何现成的 VLM 在不经微调的情况下足够可靠,能够用来检查任务是否完成。在辩论中,Vincent Vanhoucke(Waymo) 表示通用模型在一些机器人基准上正在超越本次会议上的机器人模型;Pulkit Agrawal(MIT / Eka Robotics) 回应称,这些模型仍然缺少接触密集型的系统1数据。

参见:跨时间尺度组织物理 AI(Organizing Physical AI Across Timescales); 从梦想到行动:世界动作模型与智能体机器人(From Dreaming to Doing: World Action Models and Agentic Robotics); 面向真正长时程行为的动作与智能体(Actions and Agents for True Long-Horizon Behavior.); 趣味智能体机器人学习(Playful Agentic Robot Learning)

世界模型被用作策略、模拟器和评估器

DreamZero 和 GR00T 2 对视频和动作进行联合去噪。DreamZero 的作者发现,失败主要源于视频生成,因此更好的视频骨干网络应当带来更好的动作。SuperMimic 通过一个学习得到的可微分动力学模型,用约三个 GPU 小时训练出人形机器人动作跟踪器,并获得最佳论文奖。Tesla 警告称,在世界模型内部进行训练(而不仅仅是用它进行评估)会让策略利用其中的物理误差。另一篇亮点报告则表明,世界模型可能遭到投毒攻击。

参见:世界动作模型即零样本策略(World Action Models are Zero-shot Policies); SuperMimic:用单个可微世界模型扩展人形机器人全身控制(SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model); GRAIL:从世界模型生成人形机器人移动操作(GRAIL: Generating Humanoid Loco-Manipulation from World Models); 在 Tesla 构建机器人基础模型(Building Foundational Models for Robotics at Tesla); 以世界模型为攻击目标破坏机器人学习流程(Targeting World Models to Compromise Robot Learning Pipelines)

人类数据是规模化的主要来源,但需要一座桥梁

EgoScale 表明,人类数据上的验证损失遵循对数线性扩展定律,并与真实机器人上的成功率同步变化。该研究还发现,最难的灵巧任务需要一个对齐的中期训练阶段(约 4 小时遥操作数据,搭配 50 小时与之匹配的人类数据)。Ego2Robot 发现,手部姿态的精度限制了其在精细任务上的提升。

参见:EgoScale:利用多样化第一人称人类数据扩展灵巧操作(EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data); Being-H0.5:扩展以人为中心的机器人学习,实现跨本体泛化(Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization); RoboTTT:面向机器人策略的上下文扩展(RoboTTT: Context Scaling for Robot Policies); 面向物理 AI 的数据基础设施(Data Infrastructure for Physical AI); Ego2Robot:基于第一人称人类数据的可扩展机器人数据合成(Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data)

力觉和触觉正在被加入 VLA

多篇论文将 VLA 在接触密集型任务中的失败归因于缺少力信号,或归因于流匹配的噪声调度对接近接触时的微小动作赋予了过低的权重。修复方法成本很低:为普通商用机械臂学习力矩估计、在图像上绘制触觉箭头,以及在后训练后期加入力觉专家。Wolfram Burgard(University of Technology Nuremberg) 和 Sharpa 都认为机器人基础模型需要力觉和触觉。

参见:FACTR 2:为通用商品机械臂学习外力感知以改进策略学习(FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning); PACE:面向基于动作块的插接策略的时序角色触觉条件化(PACE: Temporal-Role Tactile Conditioning for Chunk-Based Insertion Policies); 揭秘 VLA 在接触密集任务中何时及为何失败以及如何修复(Demystifying When and Why VLAs Fail in Contact-Rich Tasks and How to Fix Them); 可见的触觉:为视觉运动策略渲染接触(Visible Touch: Rendering Contact for Visuomotor Policies); 实现具身智能的挑战(Challenges to Realize Embodied AI)

RL 以有针对性的后训练形式回归

RL 大多被用在预训练的通用策略之上,而不是取而代之。RL Token 在压缩后的 VLA 嵌入上运行一个小型 actor-critic,可在数小时内修复某项任务中最难的步骤;其以太网插接任务的执行速度快于专家遥操作员。π0.7 则以质量元数据为条件,从而能够从质量参差不齐的数据中学习;Play2Perfect 表明,在仿真中进行 RL 自由探索(play)预训练可以使稀疏奖励的装配任务变得可学习。

参见:RL Token:利用视觉-语言-动作模型自举在线 RL(RL Token: Bootstrapping Online RL with Vision-Language-Action Models); π0.7:具备涌现能力的可引导通用机器人基础模型(π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities); Play2Perfect:面向精密装配的灵巧玩耍预训练中什么最重要?(Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?); 无需从头再来的学习:拓展机器人在真实世界中可学习的内容(Learning Without Starting Over: Expanding What Robots Can Learn in the Real World)

评估不被信任

一篇最佳论文入围作品表明,一个 DINO 加 MLP 的策略几乎能达到 LIBERO 上报告的最佳成绩,并且所报告的提升中很少具有统计显著性。RoboColosseum 估计,每得出一个显著结论需要 400-500 次比较。LIBERO-CF 发现,当 VLA 看到训练任务中出现过的物体时,往往会忽略语言指令。

参见:机器人操作中我们究竟在评测什么?(What Are We Actually Benchmarking in Robot Manipulation?); RoboCap 与 RoboColosseum(RoboCap & RoboColosseum); 当视觉压倒语言:评估与缓解 VLA 中的反事实失效(When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs); ATOM-Bench:面向操作策略原子技能与组合泛化的真实世界基准(ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies)

部署数据与收入问题

工业界的报告给出了运营指标。Atlas 在 Hyundai 进行零件排序:完成率 98.6%,干预率 9.5%,但节拍时间慢了约 50%,无法收回成本。Walden 在 Toyota 的凸轮轴工作单元从未导致产线停线。Gemini Robotics 2.5 报告了 96% 的自主配料(kitting)率。辩论双方在一个问题上存在分歧:除了洗衣之类的任务之外,花钱雇人采集领域内数据是否有可能在经济上划算。

参见:在工厂中学习(Learning in the factories); 面向真正长时程行为的动作与智能体(Actions and Agents for True Long-Horizon Behavior.); 用 Gemini 构建通用机器人(Building general purpose robots with Gemini); 辩论:“当前以行为克隆预训练加领域内微调为主的路线将带来具备商业可行性的通用机器人”(Debate: "The current recipe of behavior cloning pre-training and in-domain fine-tuning will lead to commercially viable generalist robots")

与 CoRL 2025 相比

论文数是原来的三倍,人数是原来的两倍

据 2026 年主席介绍,首尔会议从约 700 篇投稿中录用了 263 篇论文,非官方统计的现场参会人数为 2,441 人。奥斯汀会议收到 2,094 篇投稿,约有 4,800 名参会者;为应对这一规模,会议增设了仅海报展示的层级、高级领域主席、反驳前的首轮拒稿以及引用筛查。

奖项从任务成果转向学习机制

2025 年的最佳论文奖授予了面向足式移动操作的统一位置/力控制,以及 Fabrica 的双臂装配,π0.5 和 DexUMI 进入决选。2026 年的获奖作品则是用于训练人形机器人控制的学习型世界模型(SuperMimic)和上下文扩展(RoboTTT)。

模型发布如今以工厂为衡量标准

Google DeepMind 在 CoRL 2025 前后发布了 Gemini Robotics 1.5。在奥斯汀,Gemini Robotics 2.5 的发布伴随着一项产线配料试点。Physical Intelligence 从 π0.5 推进到了 π0.7。2025 年的特别小组讨论探讨的是人形机器人学习;2026 年的则辩论商业可行性。

从 VLA 和 real2sim 到智能体和世界模型

一项 2025 年的综述将 VLA、Real2Sim2Real 和触觉感知列为 CoRL 的主要主题。这三者在 2026 年都得到延续,Real2Sim2Real 还拥有了自己的最新成果专题。新出现的是智能体机器人专题,以及在视频和动作上联合训练的世界动作模型,这些都不是 2025 年的主题。

展望 2027

巴黎会议的评估规范将会收紧

预测:更多论文将报告置信区间,并使用留出或发布后的测试集,审稿人也会质疑在 LIBERO 和 SimplerEnv 上的提升。依据:恰好讨论这一问题的一篇最佳论文入围作品、RoboColosseum 提供的免费评估,以及主题演讲中对截止时限和每小时干预次数等指标的呼吁。

层间接口成为研究对象

预测:研究将转向系统1与系统2之间传递的内容:向上传递的失败信号,以及向下传递的力或接触意图。依据:Zhao 对交接失败的分析、Agrawal 关于系统1才是瓶颈的论断,以及 NVIDIA 和 Boston Dynamics 的智能体框架。

评判世界模型的标准将是能否在其中训练

预测:世界模型论文需要证明,在其内部训练的策略不会利用模型误差,并且模型内预测的成功率与真实世界的成功率一致,而不仅仅是视频看起来正确。依据:Tesla 的警告、MemWorld 仍然被低估的成功率,以及投毒攻击。

在部署宣称中,吞吐量取代成功率

预测:2027 年的工业界报告将以节拍时间、平均干预间隔时间以及每名远程操作员可管理的机器人数量作为首要指标。Boston Dynamics 预计 Atlas 将在 2027 年完成首个 8 小时班次,Goldberg 则将这一年的挑战定义为收入。BC 预训练加上领域内数据能否跨过这道门槛,仍将存在争议。

要点

  1. 该领域已在技术栈上基本趋同;悬而未决的是经济问题,而非架构问题。
  2. 前沿模型作为规划器有帮助,但在真实时钟约束下作为直接的逐步控制器则失败了。
  3. 人类第一人称数据可以规模化,但精细的灵巧操作仍需要机器人与人类数据对齐的中期训练。
  4. 力觉和触觉可以低成本地加入现有 VLA,这样做能修复特定的接触失败。
  5. 如今大多数 RL 针对的是预训练通用策略的瓶颈步骤,而不是从零开始训练。
  6. 流行的仿真基准在很大程度上可以靠记忆解决,而且大多数报告的提升都在噪声范围之内。
  7. 最佳论文授予了在学习得到的可微分世界模型内部训练人形机器人控制的工作。
  8. 部署在有人工干预的情况下可达到约 99% 的完成率,但速度仍然太慢,无法收回成本。

来源:CoRL 2026 program · CoRL 2026 awards · CoRL 2026 Day 1 livestream (welcome, keynotes) · CoRL 2026 Day 3 afternoon livestream (debate, awards) · CoRL 2025 home (Seoul, Sept 27-30) · CoRL 2025 awards · CoRL 2025 keynotes · CoRL 2025 special panel · alphaXiv: CoRL 2025 accepted papers (263) · CoRL 2025 survey (H. Abe): attendance, themes

日期
类型
主题
奖项
场次 显示 115 / 115 场报告

第1天 · 11月9日 周一

欢迎致辞与开幕式

周一 8:30 AM · Hilton Austin

1 场报告
开幕致辞

欢迎致辞与开幕式(Welcome and Opening Remarks)

Yuke Zhu (UT Austin / NVIDIA), Peter Stone (UT Austin / Sony AI), Georgia Chalvatzaki (TU Darmstadt), Ani Majumdar (Princeton University), Roberto Martin-Martin (UT Austin)

大会主席 Yuke Zhu 为第十届 CoRL 致开幕辞,指出参会人数翻了一番,投稿量增长到约三倍,接近 2,100 篇;他还介绍了类似 South by Southwest 的会议形式,会场分布在 Hilton、JW Marriott 和 UT 的 Bass Concert Hall。程序委员会主席介绍了新的三层议程(口头报告、3 分钟亮点报告、仅海报展示)、32.8% 的录用率、聚焦智能体机器人和真实到仿真再到真实的新最新成果专题、高级领域主席,以及一项因虚构引用而直接拒稿约十几篇论文的政策。随后,研讨会、演示、本地组织和包容性事务主席分别介绍了半天制研讨会、17 个演示、场馆、午餐、Wi-Fi、差旅资助和儿童看护,Peter Stone 最后概述了 Texas Robotics 和新成立的 UT School of Computing,并感谢赞助商。

要点
  • 投稿量从约 700 篇增至接近 2,100 篇,迫使会议采用三层展示形式以保持单一会场。
  • 录用率为 32.8%,与往年接近,且录用论文的关键词分布与全部投稿的分布高度一致。
  • 会议首次对含有多处虚构或错误引用的论文进行标记,约十几篇被直接拒稿,而其他 AI 辅助写作则交由作者自行判断。
  • 首轮拒稿在反驳阶段之前淘汰了略多于三分之一的投稿,从而使审稿精力集中在至少有一位支持者的论文上。
  • 学生注册费降至 $200,低于成本,由赞助商补贴,以降低学生参会门槛。
  • 研讨会改为半天制,以鼓励互动讨论,而不是变成迷你会议式的报告串讲;在 78 份有效提案中录用了 32 份。
第1天录像 · 34 分钟在 YouTube 打开

亮点报告 S1 · 通用策略、记忆与迁移

周一 9:00 AM · Hilton Austin · 主持:Yash Narang

9 场报告
亮点报告

MolmoAct2:面向真实世界部署的动作推理模型(MolmoAct2: Action Reasoning Models for Real-World Deployment)

Jiafei Duan · Allen Institute for AI / University of Washington / National University of Singapore

全部作者

Haoquan Fang1,2, Jiafei Duan1,2,3, Donovan Clay1,2, Sam Wang1,4, Shuo Liu2, Weikai Huang1,2, Xiang Fan1,2, Wei-Chuan Tsai2, Shirui Chen1,2, Yi Ru Wang1,2, Shanli Xing2, Jaemin Cho1,2,5, Jae Sung Park1, Ainaz Eftekhar1,2, Peter Sushko1, Karen Farley1, Angad Wadhwa2, Cole Harrison6, Winson Han1, Ying-Chun Lee2, Eli VanderBilt1, Rose Hendrix1, Suveen Ellawela7, Lucas Ngoo7, Joyce Chai8, Jason Ren1,2,9, Ali Farhadi1,2, Dieter Fox1,2, Ranjay Krishna1,2

1Allen Institute for AI2University of Washington3National University of Singapore4University of Pennsylvania5Johns Hopkins University6Amazon7Cortex AI8University of Michigan9University of North Carolina at Chapel Hill

作者介绍了 MolmoAct2,一个完全开放的机器人基础模型,其开放的训练方案涵盖预训练、中期训练和适配;它将一个专门面向空间理解的 VLM 与一个动作专家相连,并对深度进行自适应推理,而不是每一步都重新生成深度。它开箱即用便在开放的具身推理基准上超越了强基线,并且在微调后还由一家第三方公司进行了盲测评估。

要点
  • 深度推理是自适应更新的,而不是在每个时间步重新生成每个 token,从而使推理增强的控制保持高效。
  • 首次采用第三方盲测评估来考察微调后的模型。
  • 作者认为开放是有回报的:MolmoAct 模型和数据在 Hugging Face 上的下载量已超过 150 万次,这帮助他们了解哪些内容可以迁移。
第1天录像 · 4 分钟在 YouTube 打开
亮点报告

面向机器人动作表征的语义锚定(Semantic Anchoring for Robotic Action Representations)

Yuan Xu · Peking University(录像中未提及报告人,显示第一作者)

全部作者

Yuan Xu1, Youheng Shi1, Chengyang Li2,3, Wentao Zhu2, Yizhou Wang1

1Peking University2Eastern Institute of Technology, Ningbo3Shanghai Jiao Tong University

受镜像神经元启发,作者表明,VLA 的动作表征在微调过程中会失去与预训练视觉-语言语义的对齐,而这种对齐程度与任务成功率相关。他们将特征拆分为一条与冻结 VLM 对齐的共享语义通路和一条保留执行细节的私有通路,在仿真和真实机器人上提升了多种 VLA(包括 pi0)的表现。

要点
  • 动作表征的语义对齐在微调过程中会明显减弱,并且与执行成功率和分布外泛化能力同步变化。
  • 将所有特征都对齐到语义会损害执行,因此需要共享/私有的特征拆分来保留物理细节。
  • 在组合任务等泛化维度上的提升大于在领域内任务上的提升。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

MEM:面向视觉-语言-动作模型的多尺度具身记忆(MEM: Multi-Scale Embodied Memory for Vision Language Action Models)

Marcel Torne · Physical Intelligence / Stanford University

全部作者

Marcel Torne1,2, Karl Pertsch1, Homer Walke3, Kyle Vedder1, Suraj Nair1, brian ichter1, Allen Z. Ren1, Haohuan Wang1, Jiaming Tang1,4, Kyle Stachowicz1,3, Karan Dhabalia1, Michael Robert Equi1, Quan Vuong1, Jost Tobias Springenberg1, Sergey Levine1, Chelsea Finn1, Danny Driess1

1Physical Intelligence2Stanford University3UC Berkeley4MIT

作者为 VLA 加入了多尺度记忆:短期视觉记忆保存最近几秒的画面,经视频编码器压缩后输入底层策略;长期文本记忆则由 VLM 循环地预测过去事件的摘要。这使策略能够处理长达 15 分钟的任务,例如按菜谱做菜并清理厨房。

要点
  • 直接输入原始视频历史并不可行:以 50 Hz、每张图像 256 个 token 计算,一小时约为 5,000 万个 token。
  • 消融实验表明,要完成长时程任务,长期文本记忆和短期视频记忆缺一不可。
  • 记忆使上下文内适应成为可能:策略会注意到一次失败的尝试,并改用不同的策略,而不是重复同样的错误。
第1天录像 · 4 分钟在 YouTube 打开
亮点报告

PRTS:基于对比表征的基元推理与任务分配系统(PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations)

Yang Zhang · TeleAI, China Telecom / Tsinghua University(录像中未提及报告人,显示第一作者)

全部作者

Yang Zhang1,2, Jiangyuan Zhao1,3, Chenyou Fan1,4, Fangzheng YAN1, Tian Li1, Haitong Tang1, Sen Fu1, Xuaner Wu1, Qizhen Weng1, Weinan Zhang3, Xiu Li2, Chi Zhang1, Chenjia Bai1, Xuelong Li1

1TeleAI, China Telecom2Tsinghua University3Shanghai Jiao Tong University4Fudan University

PRTS 将 VLA 预训练重新表述为以目标为条件的对比式 RL,把语言指令视为目标,使状态-动作嵌入在无需奖励标注的情况下捕捉朝向目标的进展;该方法与动作 token 预测相结合,并扩展到 4 亿个样本。所得策略能够从严重的人为干扰中恢复,零样本地执行新指令,并在长时程的托盘清理任务中应对未见过的情况。

要点
  • 同一指令下的步骤被视为正样本,且越靠后的步骤权重越高,因此嵌入编码了朝向目标的时间进展。
  • 对比式预训练无需额外的奖励标签,下游后训练则使用标准行为克隆和一个全新的流匹配动作专家。
  • 该策略处理了所有演示中都未出现过的空碗情况,表明感知进展的表征有助于恢复。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

学会对你的 VLA 说什么:基本无害的视觉-语言-动作模型引导(Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering)

Hyun Joe Jeong · Carnegie Mellon University

全部作者

Hyun Joe Jeong1, Gokul Swamy1, Andrea Bajcsy1

1Carnegie Mellon University

作者学习了一个语言反馈策略来引导冻结的 VLA:在局部扰动的语言序列中进行搜索,以闭环方式执行这些序列,并通过拒绝采样微调将最优序列蒸馏到一个 VLM 中。一个结合共形预测的改进头负责决定何时介入,从而提供“不造成损害”的保证;在仿真和硬件上,pi0.5 和 MolmoAct2 的成功率均有提升。

要点
  • VLA 从语言到动作的映射很脆弱,因此改写一条指令可能会不可预测地改变其行为。
  • 在改进头上使用共形预测,使系统在引导不太可能有帮助时退回到原始指令。
  • 仅通过语言进行引导,无需更新底层策略的权重,就能提升 VLA 的性能。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

当视觉压倒语言:评估与缓解 VLA 中的反事实失效(When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs)

Yu Fang · University of North Carolina at Chapel Hill

全部作者

Yu Fang1, Yuchun Feng1, Dong Jing1, Jiaqi Liu1, Yue Yang1, Zhenyu Wei1, Daniel Szafir1, Mingyu Ding1

1University of North Carolina at Chapel Hill

作者提出了 LIBERO-CF,这是一个包含 50 多个反事实任务的基准,表明 VLA 由于视觉捷径,常常忽略语言并重复已经学熟的训练任务。他们提出了 Counterfactual Action Guidance,这是一种双分支推理方案,放大以语言为条件和无条件的动作预测之间的差异,在仿真中以及在真实机器人上使用 pi0.5 时都改善了语言落地(grounding)。

要点
  • 在 LIBERO 上,VLA 即使只有视觉输入也能达到很高的成功率,这揭示了其对视觉线索的强烈依赖。
  • 反事实失败是由训练任务中物体的出现所触发的;移除这些物体有助于策略遵循指令。
  • CAG 不需要额外的演示,也无需改动基础 VLA 的架构或权重。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

ZETA:面向桌面操作的零样本跨本体 VLA 迁移对照研究(ZETA: A Controlled Study of Zero-Shot Cross-Embodiment VLA Transfer for Tabletop Manipulation)

Mi Yan · Peking University / Galbot(录像中未提及报告人,显示第一作者)

全部作者

Mi Yan1,2, Wenhao Zhang2,1, Zhiqi Zhang2,1, Yu Peng2,3, Tangxinyu Wang2,1, Lingfei Zhai2,1, Jiayi Su2,4, Shengliang Deng2,5, Lin Peng2,6, Yaowei Liu2,1, Yuxing Chen1,2, Zhiyuan Wei2,1, Jilong Wang2, Jiayi Chen1,2, Jiangran Lyu1,2, Zhizheng Zhang2, He Wang1,2

1Peking University2Galbot3Renmin University of China4Xiamen University Malaysia5The University of Hong Kong6Beihang University

作者将严格的零样本跨本体迁移与预训练中接触过目标本体的迁移区分开来,并构建了一个受控基准,在仿真和真实世界中包含 14 个未见过的目标机器人,且只有机器人本身发生变化。他们研究了表征方式、源数据多样性、辅助目标以及对目标本体的接触程度。

要点
  • 在夹爪自身坐标系中以增量形式表示状态和动作,使仿真中的平均进度从 60 提升到 76,在真实机器人上从 56 提升到 90。
  • 更多的源机器人可带来约 18 个点的提升,但前提是在固定预算下每个机器人仍能获得足够的数据。
  • 仅将 5% 的训练数据替换为目标机器人数据,就使 Google 机器人的成绩从 51 提升到 69,因此严格设置和预训练接触设置的结果应分别报告。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

EmbodiSteer:利用关节空间引导操控本体无关的视觉运动策略,实现零样本跨本体部署(EmbodiSteer: Steering Embodiment-Agnostic Visuomotor Policies with Joint-Space Guidance for Zero-Shot Cross-Embodiment Deployment)

Shihefeng Wang · Tsinghua University

全部作者

Shihefeng Wang1, Kangchen Lv1, Mingrui Yu1, Xiang Li1

1Tsinghua University

EmbodiSteer 保持一个基于手持夹爪数据训练的笛卡尔空间视觉运动策略冻结不变,并借助正运动学和雅可比矩阵将扩散采样转移到目标机器人的关节空间中。在每个去噪步骤中,一种基于优化的引导在碰撞间距与末端执行器运动的改变之间进行权衡,从而在九个仿真机器人和两个真实机器人上实现零样本、感知自身本体的部署。

要点
  • 在关节空间中去噪几乎不改变任务性能,同时增加了全身感知能力。
  • 朴素的基于梯度的碰撞引导会把夹爪拉离任务,因此必须在约束与末端执行器运动之间取得平衡。
  • 在真实任务中,无需针对特定机器人进行训练,成功率几乎翻倍,碰撞率从 97% 降至 7%。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

诊断序列化机器人任务中的组合泛化(Diagnosing Compositional Generalization in Sequential Robot Tasks)

Yixiao Wang · UC Berkeley

全部作者

Yixiao Wang1, Cheng-En Wu1, Lingfeng Sun1, Pengcheng Wang1, Xiang Ji1, Boyuan Liang1, Guojian Zhan1, Masayoshi Tomizuka1

1UC Berkeley

作者将序列任务中的组合泛化差距分解为边际指令偏移、指令组合偏移和上下文-动作偏移,并以此探究机器人究竟需要见过哪些指令组合。实验表明,稀疏但精心选择的覆盖就已足够,而稀疏覆盖下的失败源于指令引导,而非技能缺失。

要点
  • 完整的组合覆盖并非必要;精心挑选的四分之一数据即可达到完整训练的效果。
  • 为每个任务只增加一条演示就能修复许多稀疏覆盖下的失败,表明指令引导才是瓶颈。
  • 当指令之间相互依赖时,需要对相互依赖的指令对进行关系覆盖,而配有理想高层指示器的模块化策略会失败。
第1天录像 · 3 分钟在 YouTube 打开

青年学者主题演讲 I

周一 9:30 AM · Hilton Austin · 主持:Chen Feng

1 场报告
青年学者主题演讲

跨时间尺度组织物理 AI(Organizing Physical AI Across Timescales)

Hang Zhao · Tsinghua University (IIIS) / Galaxea AI

在 Chen Feng 的介绍下,Hang Zhao 主张机器人智能应按时间尺度而非功能来划分:S2 在秒级进行推理,S1 策略以数十赫兹运行,S0 控制以数百赫兹运行。在一项带有真实时钟的 RoboCasa 研究中,被用作直接或智能体式逐步策略的前沿模型的成功率骤降至 15-20%,而将慢速模型与快速学习技能配合的编排式设计则保持了稳定表现。他借鉴了 DriveVLM 在量产汽车中的双系统以及机器人跑酷的经验,随后介绍了三种保持 S1 快速的方法:FastWAM,在训练时从视频中学习但在测试时跳过视频生成(G0-7);在 G0.5 中于推理时关闭思维链;以及流式动作分词器 ActionCodec 2。最后他指出,层与层之间的接口需要更丰富的向上反馈,以及向下传递的力或接触意图,并呼吁各基准在报告推理时间的同时报告截止时限内的成功率。

要点
  • 慢速的前沿模型与快速的下层结合时表现良好,但在真实时钟约束下作为逐步执行的直接策略使用时,大多数任务都会失败。
  • 层的边界应划在所需反应时间发生变化之处:任务和场景在秒级,手-物体运动在数十赫兹,接触和力在数百赫兹。
  • 在推理时跳过思维链,对约 90% 的任务没有影响,同时使速度翻倍,主要对长时程多阶段任务有帮助。
  • 在测试时跳过未来视频生成,使一个世界动作模型的速度提升了四倍以上,16B 参数的 G0-7 在 RTX 5090 上每个动作耗时 60 ms。
  • 大多数失败发生在层与层之间的交接处,因为下层无法向上报告失败,而仅含运动的指令又遗漏了力。
  • Zhao 建议将 S2 放在云端,S1 放在由多台机器人共享的边缘服务器上,S0 放在机器人本体上。
第1天录像 · 35 分钟在 YouTube 打开

口头报告 O1 · 通用策略与上下文扩展

周一 10:30 AM · Hilton Austin · 主持:Michael Ryoo

3 场报告
口头报告

π0.7:具备涌现能力的可引导通用机器人基础模型(π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities)

Ashwin Balakrishna, Lucy Xiaoyang Shi · Physical Intelligence

全部作者

Bo Ai1, Ali Amin1, Raichelle Aniceto1, Ashwin Balakrishna1, Greg Balke1, Kevin Black1, George Elledge Bokinsky1, Shihao Cao1, Thomas Charbonnier1, Vedant Choudhary1, Foster Collins1, Ken Conley1, Grace B Connors1, James Darpinian1, Karan Dhabalia1, Maitrayee Dhaka1, Jared Di Carlo1, Danny Driess1, Michael Robert Equi1, Adnan Esmail1, Yunhao Fang1, Chelsea Finn1, Catherine Glossop1, Thomas Godden1, Ivan Goryachev1, Lachy Groom1, Haroun Habeeb1, Hunter Hancock1, Karol Hausman1, Gashon Hussein1, Victor Hwang1, brian ichter1, Connor Jacobsen1, Szymon Jakubczak1, Rowan Jen1, Tim Jones1, Gregg Kammerer1, Benjamin Katz1, Liyiming Ke1, Mairbek Khadikov1, Chandra Kuchi1, Marinda Lamb1, Devin LeBlanc1, Sergey Levine1, Xinyu Li1, Adrian Li-Bell1, Vladislav Lialin1, Zhonglin Liang1, Wallace Lim1, Yao Lu1, Enyu Luo1, Vishnu Mano1, Nandan Marwaha1, Aikys Mongush1, Liam Murphy1, Suraj Nair1, Karl Pertsch1, Allen Z. Ren1, Gavin Schelske1, Charvi Sharma1, Baifeng Shi1, Lucy Xiaoyang Shi1, Laura Smith1, Jost Tobias Springenberg1, Kyle Stachowicz1, Will Stoeckle1, Jiaming Tang1, James Tanner1, Shalom Tekeste1, Marcel Torne1, Kyle Vedder1, Quan Vuong1, Anna Walling1, Haohuan Wang1, Jason Wang1, XuDong Wang1, Christopher Whalen1, Sam Whitmore1, Blake Williams1, Charles Xu1, Sukwon Yoo1, Lili Yu1, Wuming Zhang1, Zhuoyang Zhang1, Ury Zhilinsky1

1Physical Intelligence

Physical Intelligence 介绍了 π0.7,这是一个用丰富的多模态提示训练的通用机器人基础模型:提示包括子目标图像、详细的子任务指令,以及描述任务执行方式的元数据(例如质量、失误、速度)。开箱即用时,单个模型在叠衣服、制作意式浓缩咖啡和折纸箱任务上可达到、有时甚至超过经过特定任务 RL 后训练的 π*0.6,并且无需微调就能执行 PI 早期版本中的任务。元数据使模型能够从质量参差不齐的遥操作和评估数据中学习;作者重点介绍了涌现出的组合泛化能力,例如在没有任何 UR5 叠衣数据的情况下,在 UR5 双臂平台上叠衬衫。在问答环节中,他们解释说质量标签主要来自事后的人工标注,而速度是与质量相关性较好的信号之一。

要点
  • 在没有元数据提示的情况下,逐步加入质量越来越低的叠衣数据会使性能下降;而有了元数据,性能会随数据增长持续提升。
  • 以质量元数据为条件,使模型能够区分好的和坏的行为,因此在测试时只需请求高质量行为即可,类似于让 LLM 扮演专家。
  • 尽管与数据采集所用的轻量机械臂存在较大的本体差异,π0.7 仍将叠衣服技能迁移到了 UR5 双臂工业机械臂上。
  • 如何判定数据质量仍是一个开放且需要反复迭代的问题;PI 依赖事后标注,并根据与真实世界表现的相关性对其加以改进。
第1天录像 · 12 分钟在 YouTube 打开
口头报告

Being-H0.5:扩展以人为中心的机器人学习,实现跨本体泛化(Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization)

Hao Luo · BeingBeyond

全部作者

Hao Luo1, Ye Wang1, Wanpeng Zhang1, Sipeng Zheng1, Ziheng Xi1, Chaoyi Xu1, Haiweng Xu1, Haoqi Yuan1, Chi Zhang1, Yiqing Wang1, Yicheng Feng1, Zongqing Lu1

1BeingBeyond

作者介绍了 Being-H0.5,这是一个将人手交互数据作为跨机器人本体通用锚点的 VLA,用以应对来自约 30 种本体的机器人数据稀缺且不均衡的问题。其语料库结合了从第一人称人类视频中重建的手部运动、约 14,000 小时的机器人数据和约 5,000 小时的视觉-语言数据,在一个共享的基于槽位的动作空间中,通过运动生成、描述和续写任务进行训练。针对特定机器人的专门化采用了混合流(mixture-of-flow)动作专家、一种应对观测偏移的流形保持门控机制,以及通用异步分块(universal async chunking)——它在 RTC 的基础上加入了每台机器人各自的延迟。在五种本体上的单个通用检查点表现接近各机器人的专用模型,并且在泛化方面更好。

要点
  • 以人为中心的预训练缩小了通用模型与专用模型之间的差距,而从零开始训练时这一差距会显著扩大。
  • 一个仅在 Unitree G1 上采集的任务,在有预训练的情况下能以非零成功率迁移到另一台机器人上,而从零训练的模型则完全失败。
  • 在共享的动作槽位空间中,将人手视为又一种本体,使人类手腕运动能以相同的损失监督机器人末端执行器槽位。
  • 手部运动标签主要来自经启发式质量指标过滤的重建流程,并辅以带有手部标签的开源数据集。
第1天录像 · 11 分钟在 YouTube 打开
口头报告 最佳学生论文奖

RoboTTT:面向机器人策略的上下文扩展(RoboTTT: Context Scaling for Robot Policies)

Yunfan Jiang · NVIDIA / Stanford University

全部作者

Yunfan Jiang1,2, Yevgen Chebotar1, Ruijie Zheng1, Fengyuan Hu1, Yunhao Ge1, Jimmy Wu1, Tianyuan Dai1,3, Scott Reed1, Li Fei-Fei2, Yuke Zhu1,3, Linxi Fan1

1NVIDIA2Stanford University3The University of Texas at Austin

RoboTTT 通过在 GR00T N1.7 的 DiT 动作块的逐时间步输出之间插入测试时训练(TTT)层,将机器人策略的视觉运动上下文扩展到 8,000 个时间步;这些层的快速权重在训练和推理时都通过梯度下降进行更新。训练采用序列动作强制(sequence action forcing,即每个动作块使用独立的噪声水平)以及将上下文与模仿目标分开的损失掩码,从而实现从人类视频进行上下文内模仿,以及 DAgger 蒸馏——模型借此学会纠正自己的失败。在长时程装配任务上,它在推理延迟恒定的情况下达到 79% 的平均任务完成度,并且是唯一完成齿轮机器人装配全部十个阶段的方法。该模型还在长时程人类视频(EgoScale)上进行了中期训练。

要点
  • 闭环性能随上下文长度稳步提升,8K 上下文比 1K 上下文高出 63%,而门控 DeltaNet 替代方案则无法扩展。
  • 快速权重相当于一个固定大小的循环状态,无论上下文多长,内存和延迟都保持恒定。
  • 对每个动作块独立采样噪声水平,可以稳定在时间上高度相关的机器人轨迹上的序列训练。
  • 在上下文中放入一段人手演示,使机器人能够一次性(one-shot)完成未见过的装配配置。
第1天录像 · 11 分钟在 YouTube 打开

口头报告 O2 · 世界模型与时间表征

周一 11:00 AM · Hilton Austin · 主持:Andrea Bajcsy

3 场报告
口头报告

世界动作模型即零样本策略(World Action Models are Zero-shot Policies)

Shenyuan Gao · NVIDIA

全部作者

Seonghyeon Ye1, Yunhao Ge1, Kaiyuan Zheng1, Shenyuan Gao1, Sihyun Yu1, George Kurian1, Suneel Indupuru1, You Liang Tan1, Chuning Zhu1, Jiannan Xiang1, Ayaan Naveed Malik1, Kyungmin Lee1, William Liang1, Nadun Ranawaka Arachchige1, Jiasheng Gu1, Yinzhen Xu1, Guanzhi Wang1, Fengyuan Hu1, Avnish Narayan1, Johan Bjorck1, Jing Wang1, Gwanghyun Kim1, Dantong Niu1, Ruijie Zheng1, Yuqi Xie1, Jimmy Wu1, Qi Wang1, Ryan Julian1, Danfei Xu1, Yilun Du1, Yevgen Chebotar1, Scott Reed1, Jan Kautz1, Yuke Zhu1, Linxi Fan1, Joel Jang1

1NVIDIA

作者介绍了 DreamZero,一个 14B 参数的自回归世界动作模型(World Action Model),它基于预训练的视频扩散模型构建,并通过教师强制(teacher-forcing)目标进行微调,以联合去噪未来视频帧和动作。按块进行的自回归去噪支持 KV 缓存,并使模型在执行过程中能够以真实观测为条件;系统和模型层面的优化将每块的推理时间从 5.7 s 缩短到 0.15 s(在 GB200 上提速 38x)。在 AgiBot 和 DROID-Franka 平台上,它在见过和未见过的任务上都优于 VLA 基线(包括经过跨本体预训练的基线),并在特定任务后训练之后仍保持优势。

要点
  • 在跨环境、跨任务的多样化、非重复数据上训练,使模型继承了视频模型的零样本泛化能力。
  • 让视频模型快到足以进行实时控制,是主要的工程挑战。
  • 作者观察到视频预测与动作预测保持高度一致,且失败主要源于视频生成,因此更好的视频骨干网络应能带来更好的动作。
  • 预训练中没有使用失败数据;利用这些数据进行测试时适应留待未来工作。
第1天录像 · 12 分钟在 YouTube 打开
口头报告

面向机器人操作的记忆增强型动作条件世界模型(Memory-augmented Action-conditioned World Model for Robot Manipulation)

Jim (CMU, presenting for the authors)

全部作者

Zirui Zheng1,2, Jiaqian Yu2, Xiongfeng Peng2, jun shi2, Mingyi Li1, Chao Zhang2, Weiming Li1, Dong Wang1, Huchuan Lu1, Xu Jia1

1Dalian University of Technology2Samsung R&D Institute China-Beijing

MemWorld 针对的是以动作为条件的世界模型在长时程推演中的一个问题:物体离开腕部相机视野后再次进入时会发生形变。它基于面元(surfel)的记忆将场景表面与其被观测到的时刻关联起来;利用由即将执行的动作块计算出的未来相机位姿,对面元进行渲染,并按可见性、任务相关性和时效性打分,检索出 top-K 个历史帧作为多视角世界模型的上下文。在 34 条具有挑战性的 DROID 轨迹上,它相比 Ctrl-World 提升了视觉一致性,更紧密地反映了真实策略的表现,并且其想象出的推演可用于微调策略。由于作者无法出行,报告由一位非作者代讲,问答环节也被跳过。

要点
  • 机器人未来的动作是决定应检索哪些过去观测的直接线索,因为它们决定了腕部相机接下来会看向哪里。
  • 在五个任务上,π0 和 π0.5 的世界模型成功率与真实世界成功率之间的相关性从 0.85 提升到 0.97,但成功率仍被低估。
  • 在每个任务 20–30 条精选的成功想象推演上微调 π0.5,使三个长时程任务的平均真实世界成功率从 58% 提升到 72%。
  • 多视角一致性和显式物理约束仍是未解决的挑战。
第1天录像 · 12 分钟在 YouTube 打开
口头报告

TEMPO:为动态机器人操作学习时间上下文(TEMPO: Learning Temporal Context for Dynamic Robot Manipulation)

Jimin Heo, Zhenyang Feng · UC Irvine

全部作者

Zhenyang Feng1, Jimin Heo1, Erik B. Sudderth1, Unnat Jain1

1UC Irvine

TEMPO 针对的是动态操作任务(从行走的人手中接过瓶子、接住下落物体、接住被弹起的物体,以及向移动的篮子中倾倒),在这些任务中,即使采用 RTC 等降低延迟的方法,单帧 VLA 仍会失败。它补上了两个缺失的要素:一是运动 token,通过对冻结的视频基础模型在最近若干帧上提取的特征做时间注意力得到(默认使用 SAM 2,每帧约 11 ms);二是由最近关节指令构成的紧凑本体感知历史,同时输入 VLM 和动作专家。这段历史可以解决视觉上相似的状态却需要相反动作的情况。所有内容都在学术规模的算力上运行,代码和数据均已开源。

要点
  • 仅降低推理延迟并不能解决动态任务;策略还需要物体速度信息和自身的动作历史。
  • 在递瓶任务中,相比基础 VLA(在 50 次试验中有 18 次完全失手),TEMPO 将完全失手的次数减半,成功次数几乎翻倍。
  • 每个要素单独使用都优于基础 VLA,两者结合达到 74%,并且这些提升在三种不同的 VLA 骨干网络上都成立。
  • 运动理解能力受限于视频基础模型的预训练,因此对于被抛出的球这类非常快速的运动仍可能失败。
第1天录像 · 11 分钟在 YouTube 打开

口头报告 O3 · 数据、仿真与评估

周一 11:30 AM · Hilton Austin · 主持:Ed Johns

3 场报告
口头报告

真正可度量的多样性:面向机器人数据集的快速、无模型多样性指标(Diversity You Can Actually Measure: A Fast, Model-Free Diversity Metric for Robotics Datasets)

Sreevardhan Sirigiri · The University of Sydney

全部作者

Sreevardhan Sirigiri1, Nathan Samuel de Lara2, Christopher Agia3, Florian Shkurti2,4, Fabio Ramos1,5

1The University of Sydney2University of Toronto3Stanford University4Allen Institute for AI5NVIDIA

作者提出了签名熵(signature entropy),这是一种用于机器人演示数据集的非参数多样性度量:每条演示被视为由展平的状态、动作和(嵌入后的)观测构成的路径,经过签名变换(signature transform)映射,再用签名核进行比较。熵可由核矩阵的特征值以闭式形式计算,另有一种基于行列式的体积替代方案。他们还提出了 FACTUAL,一种无需模型的数据筛选算法,通过贪心方式选出使熵最大化的子集。在 RoboMimic 上,FACTUAL 优于随机剪枝,有时甚至优于完整数据集;在真实机器人上使用小型 VLA 时也呈现类似趋势。

要点
  • 在 RoboMimic 上,签名熵与策略成功率高度相关,在从 RNN 到扩散策略的各类架构中,Pearson 相关系数在 0.74 到 1 之间。
  • 签名变换可以处理不同长度的轨迹,同时保留路径的几何结构,从而无需构建难以处理的概率分布。
  • FACTUAL 不需要辅助模型、无需访问策略,也无需执行推演,因此比其他数据筛选方法轻量得多。
  • 随着演示数量增加,数据集的熵会趋于饱和,而饱和速度反映了底层数据的多样性。
第1天录像 · 10 分钟在 YouTube 打开
口头报告

MolmoB0T:大规模仿真实现零样本操作(MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation)

Rose Hendrix, Abhay Deshpande, Maya Guru · Allen Institute for AI

全部作者

Abhay Deshpande1, Maya Guru1, Rose Hendrix1, Snehal Jauhri1,2, Ainaz Eftekhar1,3, Rohun Tripathi1, Max Argus1, Jordi Salvador1, Haoquan Fang1,3, Matthew Wallingford1, Wilbert Pumacay1, Yejin Kim1, Quinn Pfeifer3, Ying-Chun Lee3, Piper Wolters1, Omar Rayyan4, Mingtong Zhang5, Jiafei Duan1,3, Karen Farley1, Winson Han1, Eli VanderBilt1, Dieter Fox1,3, Ali Farhadi1,3, Georgia Chalvatzaki2, Dhruv Shah5, Ranjay Krishna1,3

1Allen Institute for AI2TU Darmstadt3University of Washington4UCLA5Princeton University

MolmoBot 是一系列仅用仿真数据训练、可零样本迁移到真实机器人的操作策略。MolmoBot 引擎基于 MolmoSpaces 资产生态系统,对场景、物体和容器进行采样,大幅随机化机器人关节、光照、纹理和相机,并通过带有重试和动作噪声的脚本化状态机生成演示。由此得到的 MolmoBot 数据包含约 94,000 个环境中的 170 万条演示。这些策略(基于 Molmo 2 的 MolmoBot、轻量级的 MolmoBot-SPOC 以及 MolmoBot-Pi0)在 Franka DROID 平台和 RB-Y1 移动操作机器人上进行了测试,每个策略各进行 120 次真实试验,所有内容均已开源。

要点
  • MolmoBot-Pi0 与 π0 架构相同,但仅用合成数据训练,在真实世界中依然表现强劲,说明仅凭仿真数据就能训练出鲁棒的 VLA。
  • 作者的实用原则是:凡是可以随机化的都应该随机化;大幅度的相机随机化使策略对大范围相机运动具有鲁棒性,同时并未忽视外部相机。
  • 消融实验表明,数据规模始终有帮助,而在简单的抓取任务上,物体类别和环境的多样性超过某个阈值后便趋于饱和。
  • 目前尚不支持可变形物体,但 MuJoCo 新增的原生可变形体支持为这一方向打开了大门。
第1天录像 · 10 分钟在 YouTube 打开
口头报告 最佳论文入围

机器人操作中我们究竟在评测什么?(What Are We Actually Benchmarking in Robot Manipulation?)

Tianchong Jiang · Toyota Technological Institute at Chicago

全部作者

Tianchong Jiang1, Xiangshan Tan1, Samuel Wheeler2, Luzhe Sun1, Tewodros W. Ayalew3, Matthew Walter1

1Toyota Technological Institute at Chicago2Argonne National Laboratory3University of Chicago

作者考察了五个被广泛报告的操作基准,指出高分可能产生误导的四种方式:捷径、处于噪声范围内的提升、对分布内微小变化的脆弱性,以及被误认为泛化的数据优势。一个没有机器人预训练、也不具备语言理解能力的简单 DINO 加 MLP 策略,几乎达到了 LIBERO 上报告的最佳结果,因为重置分布几乎没有变化;而在 SimplerEnv 和 LIBERO 上报告的提升中,具有统计显著性的寥寥无几。从更宽的训练范围中采样测试位姿会降低所有策略的分数,而一个在仿真脚本化演示上训练的微型策略就接近 SimplerEnv 的最佳分数。他们将大部分问题归因于公开、固定且狭窄的测试集,并建议使用发布后的或极其多样化的测试集,同时给出明确的置信区间指导。

要点
  • LIBERO 和 CALVIN 等基准在很大程度上可以通过记住在哪里执行动作来解决,因为测试的初始状态几乎都被训练演示覆盖。
  • 论文很少报告标准差或每次推演的结果,因此微小的改进往往无法与偶然性区分开来。
  • 由于评估协议并不限制训练数据来源,仅凭 SimplerEnv 分数无法证明真实到仿真的泛化能力。
  • 任何公开、固定的基准都会被过拟合,而如今 LLM 智能体可以针对其反复迭代,这一问题愈发严重,因此需要隐藏的或高度多样化的测试集。
第1天录像 · 11 分钟在 YouTube 打开

钻石赞助商报告 I

周一 1:30 PM · Hilton Austin · 主持:Carlo Sferrazza

3 场报告
赞助商报告

扩展机器人灵巧性,迈向真实世界应用(Scaling Robotic Dexterity Toward Real-World Applications)

Wei 'Reed' Lu · Sharpa

Lu 将灵巧操作定位为通用机器人最后一块尚未解决的拼图,其瓶颈在于数据必须捕捉接触、力和恢复过程。他介绍了 Sharpa 的三条互补路径:通过软硬件协同设计扩展数据来源(W2 触觉灵巧手、D01 机器人和 AE01 外骨骼手套、共享自主遥操作以及以人为中心的视觉-触觉采集);在系统1/2 策略之下加入快速的触觉“系统0”交互层;以及通过感知形态的 token 空间实现跨本体触觉学习。最后,他介绍了公司的发展时间线,以及一个完全自主的机器人冰淇淋店部署案例。

要点
  • 遥操作数据采集缓慢且成本高,而视频又缺少接触和力的信息,因此 Sharpa 将以人为中心的手套采集与机器人数据结合起来,而非以一种替代另一种。
  • 利用接近接触点的感知的底层交互层,被定位为高质量触觉感知最能发挥作用的地方(“最后一毫米”)。
  • 将异构触觉传感器映射到共享的、感知形态的 token 空间,使单个触觉专家能够在不同传感器和本体之间迁移经验。
  • 一家真实门店的部署端到端完成一份 55 步的冰淇淋订单,被用作对整个技术栈可靠性的全面测试。
第1天录像 · 12 分钟在 YouTube 打开
赞助商报告

通过数据与仿真扩展机器人学习(Scaling Robot Learning Through Data and Simulation)

Christian Ureno · Lightwheel

Ureno 介绍了 Lightwheel 用于训练机器人策略的闭环:第一人称人类数据、经物理验证的仿真以及评估。他介绍了 EgoSuite 第一人称数据集(已开放 10k 小时,并正朝 100k 小时扩展)、SimFoundry 真实到仿真流程(其中包括一个用于标定摩擦、阻尼以及线缆等可变形物体的测量工厂),以及作为评估基准的 RoboFinals 和基于真实工业任务构建的新 RL 环境。在问答环节中,他解释说会利用实测的真实世界振荡数据反推仿真器参数。

要点
  • 训练一个策略被概括为需要三样东西:有用的示例、一个练习的场所,以及一种衡量方式。
  • 线缆等可变形资产通过匹配仿真与真实的振荡-稳定曲线来标定,以缩小真实到仿真的差距。
  • Lightwheel 认为,基于真实工业任务构建的 RL 环境比桌面遥操作任务更有价值。
  • 环境构建以智能体方式完成,并由仿真工程师逐步审核其物理保真度。
第1天录像 · 15 分钟在 YouTube 打开
赞助商报告

从梦想到行动:世界动作模型与智能体机器人(From Dreaming to Doing: World Action Models and Agentic Robotics)

Jim Fan · NVIDIA

Fan 认为,强大的前沿模型(“Astra”)的出现并不会让快速的系统1过时,真正的问题在于什么样的技能才是好的、可教的、可引导的。他介绍了 GR00T 2,一个 2B 参数的世界动作模型,在一次扩散过程中联合预测未来视频帧和动作,另有面向边缘算力的 Turbo 版本;演示内容包括数据中心内存条更换和化学实验室操作流程等长时程灵巧任务。他展示了从人类可穿戴设备、动捕手套、DexUMI 外骨骼和仿真进行的“cross adapt”零样本迁移,以及将前沿模型与 GR00T 结合的三种方式(视觉引导、动作编辑和 Aspire 智能体框架)。最后,他宣布将开放发布模型权重、SimFoundry、Aspire、Flora 标注套件、100k 小时人类数据以及硬件设计。

要点
  • 模型在像素空间中“梦见”未来帧并据此行动,联合解码动作和视频。
  • 仅在人类采集的数据(UMI 夹爪、动捕手套、DexUMI 外骨骼)上微调,就能零样本迁移到不同的机器人硬件。
  • 在像素上绘制引导信息,使大型推理模型能够引导小型策略,把汉诺塔递归之类的认知工作交给上游处理。
  • 一个在学习策略与代码即策略(code-as-policy)恢复技能之间切换的智能体框架,实现了几乎整夜不间断的装配。
  • NVIDIA 宣布将于 12 月开源 GR00T 2 和 Turbo 的权重以及 cross-adapt 方案。
第1天录像 · 18 分钟在 YouTube 打开

青年学者主题演讲 II

周一 2:00 PM · Hilton Austin · 主持:Ken Goldberg

1 场报告
青年学者主题演讲

机器人如何学会与他人交互和协作?(How Can Robots Learn to Interact and Coordinate with Others?)

Negar Mehr · UC Berkeley

Mehr 由 Ken Goldberg 介绍登场,她用一个双机器人协作搬运任务来说明,为什么学习交互不同于单智能体学习。在模仿学习方面,她解释说多智能体行为克隆必须关注可利用性(exploitability)而非价值差距,并使用去中心化扩散策略来处理多模态协调,同时学习残差去噪器,在冻结的单智能体策略之上加入协调能力。在 RL 方面,她展示了基础模型作为“教练”分解任务、编写奖励和组合代码并进行信用分配,从而完成单纯 MAPPO 无法解决的任务。最后,她将持续学习表述为权重空间中的时间一致性问题,用原始-对偶乘子法更新求解;该方法在新任务上微调 pi-0.5,既不遗忘预训练任务,也无需回放。

要点
  • 在多智能体模仿中,一个智能体的微小偏差就可能毁掉整个联合任务,因此对失败模式和交互模式的数据覆盖比单智能体场景更加重要。
  • 以滚动时域方式运行的去中心化扩散策略,无需通信就能隐式地就某一种协调模式达成一致。
  • 冻结预训练的单智能体策略,仅从少量演示中学习协调残差,既保留了个体技能,又实现了团队协作。
  • 在一个仓库协调任务中,使用现成的基础模型进行信用分配,优于标准的多智能体 RL 基线。
  • 对教练生成的技能组合代码进行迭代,在两轮之内将人形机器人按按钮任务的成功率从约 20% 提升到 90%。
  • 无回放的时间一致性方法(TACO)保持了预训练任务的性能,而监督微调则会遗忘;在动态建图中,它还避免了重复或过时的物体。
第1天录像 · 32 分钟在 YouTube 打开

亮点报告 S2 · 高效执行、世界模型与学习

周一 2:30 PM · Hilton Austin · 主持:Dinesh Jayaraman

9 场报告
亮点报告

BitVLA:面向机器人操作的 1 比特视觉-语言-动作模型(BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation)

Hongyu Wang · Institute of Computing Technology, Chinese Academy of Sciences / University of Chinese Academy of Sciences(录像中未提及报告人,显示第一作者)

全部作者

Hongyu Wang1,2, Chuyan Xiong1,2, Ruiping Wang1,2, Xilin CHEN1,2

1Institute of Computing Technology, Chinese Academy of Sciences2University of Chinese Academy of Sciences

作者介绍了 BitVLA,一个基于 BitNet b1.58 构建、采用三值权重的完全原生 1-bit VLA,并使用“先量化后蒸馏”(Quantize-then-Distill)阶段来压缩视觉编码器。它的操作性能达到 OpenVLA-OFT 的水平,同时内存占用减少 11x,运行速度提升 4.4x,并配有专用的推理运行时。

要点
  • 用三值权重、8-bit 激活的层替换线性层,消除了大部分浮点乘加运算,为专用边缘加速器打开了大门。
  • 由全精度教师模型对齐量化后视觉编码器的潜在表示,有助于在压缩后保持精度。
  • 采用打包三值权重的专用运行时,在同一 GPU 上比 PyTorch 快 3.52x。
第1天录像 · 4 分钟在 YouTube 打开
亮点报告

EagleVLA:通过前瞻对齐的异步推理迈向机载实时机器人控制(EagleVLA: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference)

Zebin Yang · Peking University / TLAIC

全部作者

Zebin Yang1,2, Qi Wang1, Yunhe Wang1, Xiurui Guo3, Bo Yu4, Shaoshan Liu4, Jiafeng Xu1, Hao Dong1, Meng Li1,2

1Peking University2TLAIC3PrimeBot Research Institute4AIRS

作者针对的是在 Jetson Orin 等低功耗机载设备上部署 VLA 的问题:推理耗时长会导致感知与执行错位以及反应迟缓。他们根据已确定执行的动作预测未来的 VLM 隐藏状态,使动作专家从未来时间步出发行动;根据预测置信度调度 VLM 与动作专家的调用;并加入了一个机载推理引擎。

要点
  • 仅靠异步推理可以掩盖延迟,但机器人仍会基于过时的观测行动;预测未来表征可以纠正这一点。
  • 基于置信度的调度使得在未来预测可靠时只运行廉价的动作专家,从而缩短反应时间。
  • 在真实世界叠布任务中,其轨迹比同步推理和实时分块(real-time chunking)基线更平滑。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

REACT:基于滚动去噪与双重解耦的 VLA 模型反应式机器人控制(REACT: Rolling Denoising and Dual Decoupling for Reactive Robot Control with VLA Models)

Ran Cheng · PrimeBot

全部作者

Houlong Xiong1,2, Zhenqi Qiu2,3, Zechen Wang2, Suohang Zhang4, Yiyu Ren2, Wanting Xu3, Hongfei Niu2, Chengyang He5, GE SUN5, Ran Cheng2, Qian Zhu2

1Shanghai Jiao Tong University2PrimeBot3ShanghaiTech University4Zhejiang University5National University of Singapore

REACT 解决了基于流的 VLA 在平滑的长动作块与反应式重规划之间的权衡问题:它维护一个滚动动作缓冲区,其中各个块处于错开的去噪阶段,并随每个新观测进行细化。双重解耦使感知、VLM 编码、去噪和执行异步运行。

要点
  • 仅靠更快的推理或异步执行,并不能提高“输入吞吐量”,即新观测影响动作的速率。
  • 滚动去噪使每个被执行的块都能经过最近多个观测的细化,同时提升平滑性和响应性。
  • 使用错开的逐块噪声水平进行训练,收敛更快,开环预测误差也更低。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

TARC:时间自适应机器人控制(TARC: Time-Adaptive Robotic Control)

Arnav Sukhija · ETH Zurich

全部作者

Arnav Sukhija1, Lenart Treven1, Jin Cheng1, Florian Dorfler1, Stelian Coros1, Andreas Krause1

1ETH Zurich

TARC 是一个 RL 框架,其中策略在控制更新次数受预算约束的情况下,同时输出一个动作以及该动作保持的时长,从而使控制频率成为可学习的量。在四足机器人上,站立时控制频率保持较低,被推搡时则骤然升高;在 pi-0 VLA 上,它能自适应地决定何时重新规划。

要点
  • 该约束问题可以归约为带有逐次更新代价的标准 MDP,因此任何现成的 RL 算法都适用。
  • TARC 以不到一半的控制频率达到了固定 50 Hz 策略的表现,而相同平均频率下的固定频率策略表现更差。
  • 在 pi-0 上进行自适应重规划,在保持相同成功率的同时节省了约 38% 的前向计算。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

Diffusion ReRoll:面向机器人序列预测的可修正去噪(Diffusion ReRoll: Revisable Denoising for Robotic Sequential Prediction)

Seonsoo Kim · Agency for Defense Development

全部作者

Seonsoo Kim1, Seongil Hong1, Jun-Gill Kang1

1Agency for Defense Development

Diffusion ReRoll 对序列中已经趋于稳定的区域进行选择性重新加噪,同时其他区域继续去噪,使时域中较早和较晚的部分能够相互修正。它在 OGBench 规划、LIBERO/RoboCasa 策略学习、统一的视频-动作预测,以及机载推理频率为 5 Hz 的真实世界导航任务上进行了评估。

要点
  • 全序列扩散可能会认定一个错误的决策,然后只是把它变得更“干净”;而因果扩散强制(causal diffusion forcing)无法让后续上下文修正早期的前缀。
  • 重新加噪带来的提升随重新加噪次数增加而增长,直至饱和;因果注意力掩码则会限制这种收益。
  • 在真实导航中,它能应对分布外的布局和急转弯,而全序列和因果基线在这些情况下都失败了。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

以世界模型为攻击目标破坏机器人学习流程(Targeting World Models to Compromise Robot Learning Pipelines)

Ethan Rathbun · Northeastern University

全部作者

Ethan Rathbun1, Ahmed Agha1, Saaduddin Mahmud2, Christopher Amato1, Alina Oprea1, Eugene Bagdasarian2

1Northeastern University2University of Massachusetts Amherst

作者表明,用于生成合成机器人训练数据的世界模型是一个隐蔽的投毒入口:对看似安全的演示施加难以察觉的图像扰动,就可以向文本条件模型注入恶意提示,或在动作条件模型的动力学中植入后门。被投毒的推演随后会传播到 VLA 和 PPO 策略中。

要点
  • 扰动一帧上下文图像,就可能让文本条件世界模型从一个无害的提示生成一个不同的有害任务(例如把武器放进礼品盒)。
  • 后门会使世界模型的预测崩溃,除非智能体在看到触发信号时执行某个目标动作,而 RL 策略随后就会学会这一行为。
  • 作者称这是首个仅通过攻击世界模型植入的后门攻击,并呼吁建立更安全的世界模型供应链。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

分块式基于模型的策略优化(Chunk-wise Model-based Policy Optimization)

Weixi Song · Zhejiang University / Shanghai Innovation Institute / Westlake University(录像中未提及报告人,显示第一作者)

全部作者

Weixi Song1,2,3, Donglin Wang3, Yong-Lu Li2,4

1Zhejiang University2Shanghai Innovation Institute3Westlake University4Shanghai Jiao Tong University

作者用一个块级世界模型取代循环式的世界模型推演:该模型一次性将潜在状态和预测的动作块映射为未来的潜在块,从而无需随时间反向传播即可优化价值扩展。他们在 HumanoidBench 上进行了评估,并在 Unitree Go2 四足机器人上部署了双足行走。

要点
  • 块级预测避免了单步误差的累积,以及梯度穿过循环推演时的不稳定性。
  • 在 HumanoidBench 上,它仅用约 50% 的训练时间就取得了强劲表现,推理速度比 TD-MPC2 快 30x。
  • 该方法在真实四足机器人上发现双足行走的速度比 SAC 更快。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

FedGuide:面向异构联邦强化学习的扩散先验对齐与价值基线引导(FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning)

Zhilin He · Carnegie Mellon University

全部作者

Zhilin He1, Gauri Joshi1

1Carnegie Mellon University

FedGuide 处理的是各客户端在动力学、奖励和初始状态上存在差异的联邦 RL 问题:它使用个性化的扩散先验,并通过最优传输混合专家进行聚合,同时引入 DICE 价值基线来稳定带先验正则化的 PPO。该方法在 MuJoCo 运动任务和 Meta-World 操作任务上进行了评估。

要点
  • 直接对本地策略取平均会抹去每个异构客户端所需的专门行为模式。
  • 在分布空间中聚合行为先验保留了多种奖励模式,而策略平均则会坍缩为一种。
  • DICE 价值基线被认为显著降低了各训练轮次之间的回报波动。
第1天录像 · 3 分钟在 YouTube 打开
亮点报告

MoRE:面向多物理机器人世界模型的混合专家(MoRE: Mixture-of-Experts for Multi-Physics Robotic World Models)

Ziyu Zhu · UIUC / Georgia Tech

全部作者

Ziyu Zhu1,2, Shaowei Liu1, Albert J. Zhai1, Henry Che1, Wei-Chiu Ma3, Shenlong Wang1

1UIUC2Georgia Tech3Cornell University

MoRE 是一个基于 3D 点的世界模型,它在共享编码器之上将机器人交互路由到分别处理刚体、可变形体和抓握动力学的运动专家,并在 Isaac Sim 和真实数据上进行训练。与 MPC 结合后,单个模型就能在真实机器人上推动刚性箱子、操作柔软布料,并完成多步工具使用。

要点
  • 单个共享动力学模型往往会模糊不同的交互模式,而带路由器的混合专家可以避免这一点。
  • 在刚体、可变形体和抓握基准上,MoRE 的预测精度均优于先前方法。
  • 在 MPC 中使用单个世界模型,无需针对每种材料单独建模,就能完成多样的真实操作任务。
第1天录像 · 3 分钟在 YouTube 打开

主题演讲 I

周一 3:30 PM · Hilton Austin · 主持:Dieter Fox

1 场报告
主题演讲

实现具身智能的挑战(Challenges to Realize Embodied AI)

Wolfram Burgard · University of Technology Nuremberg

在 Dieter Fox 的介绍下,Burgard 将机器人研究比作西西弗斯一次次把巨石推上山,所借助的是三种技术:概率机器人学、深度学习,以及如今的基础模型。他认为概率方法实现了毫米级定位并推动了自动驾驶汽车的兴起,但其对高精地图的依赖将系统限制在地理围栏内的 Level 4 自动驾驶;而深度学习对预定义本体(ontology)的需求在杂乱的家庭环境中难以为继。随后,他回顾了其团队在基础模型方面的工作,包括无地图导航(FlowNav、MetricNet)、由 LLM 串联的技能、语义抓取、触觉预测、显式力旋量控制,以及视觉-语言导航智能体的可解释性。最后,他呼吁实现校准的不确定性、在机器人基础模型中加入力觉和触觉、共享大规模学术算力,并建立一个“机器人领域的 CERN”。

要点
  • 将深度感知与概率状态估计相结合需要经过校准的不确定性,而在基础模型中这一点变得更加困难。
  • Burgard 预计机器人进入工厂车间会比进入杂乱的家庭早得多,这与自动驾驶在更结构化的环境中率先成功如出一辙。
  • 无地图导航仍需要一定的度量几何信息:缺乏尺度的基于扩散的导航会导致碰撞,而 MetricNet 带尺度的路径点解决了这一问题。
  • 在模仿策略中加入显式的力/力旋量控制,相比位置加刚度控制,显著提升了接触密集型任务的表现。
  • 最先进的视觉-语言导航智能体相对于人工标注的相关区域,精确率不到 70%,这推动了更多的可解释性研究。
  • 他认为学术界必须集中资源,开发包含力觉和触觉的开放机器人基础模型,才能跟上工业界的步伐。
第1天录像 · 63 分钟在 YouTube 打开

钻石赞助商报告 II

周一 4:30 PM · Hilton Austin · 主持:Matt Walter

3 场报告
赞助商报告

GM 的自动驾驶创新(Innovations in Autonomy at GM)

Sean Harris · General Motors

Harris 介绍了 GM 从 Cruise 自动驾驶出租车项目向个人自动驾驶的转型,目标是在 2028 年推出无需目视的高速公路产品。他对比了两种方法:一种是在运行速度超过真实时间 50,000x 的模拟器中进行自博弈 RL,它能超越人类表现并学会恢复,但使用的是简化输入,驾驶感受可能不够像人;另一种是在数十万小时驾驶日志上进行模仿学习。他概述了将两者结合的方式,并介绍了 VLM 在车端和车外的用途,例如场景推理、数据挖掘、分诊和评审。

要点
  • 在 GM 的快速模拟器中,不到两小时的自博弈训练就涌现出了稳健的汇入和让行行为。
  • 自博弈能够覆盖罕见事件,并避免 DAgger 所针对的误差累积问题;而模仿学习能提供真实的分布和类人的行为。
  • 可能的结合方式包括将 RL 锚定到模仿策略、蒸馏 RL 教师模型,或从人类驾驶中学习奖励。
  • VLM 可用于在事故现场进行高层次的车道级推理,以及挖掘道路碎片这类罕见的非结构化事件。
第1天录像 · 10 分钟在 YouTube 打开
赞助商报告

RoboCap 与 RoboColosseum(RoboCap & RoboColosseum)

Michael Cho, Jiafei Duan · BitRobot Network / NUS

Cho 介绍了 BitRobot 众包真实世界数据的目标,包括 RoboCap 六摄像头头戴式采集设备、无线同步的腕部相机、触觉手套集成,以及 RoboCap 10K、一个带 LiDAR 真值的数据集、一个大型城市导航数据集和 500 小时真实家庭中人形机器人数据等开放数据集。随后,Duan 介绍了 RoboColosseum,这是一项大规模的真实世界评估计划,拥有数百台机器人、一支 30 人的评估团队和数百个环境,并提供微调赛道和开放赛道。

要点
  • RoboCap 10K 提供在 11 个国家采集的 10,000 小时真实场景职业工作数据,带有手部姿态和 SLAM 信息。
  • RoboColosseum 的首轮评估发现,没有任何模型能在所有设置中占据优势,也没有任何人形机器人模型达到完全成功。
  • Duan 报告称,要对模型得出具有统计显著性的结论,大约需要 400 到 500 次比较。
  • RoboColosseum 正在为学术实验室提供 10,000 小时的免费真实世界评估。
第1天录像 · 12 分钟在 YouTube 打开
赞助商报告

面向物理 AI 的数据基础设施(Data Infrastructure for Physical AI)

Kun Wang · MaxInsights

MaxInsights 的联合创始人兼 CTO 介绍了公司作为大型第一人称人类数据提供商、服务机器人学习的定位,已交付超过两百万小时的数据。他分享了关于数据质量的内部证据:一次仅使用第一人称数据的预训练,达到了与用约十倍混合数据训练的模型相近的成功率;以及一套细粒度语言标注方案,按每只手、按阶段进行标注。他还预告了一个开放的标注数据集,以及一个真实场景评估与纠正的反馈闭环。

要点
  • 据报告,在仿真中,使用约 600 小时他们的第一人称数据进行预训练,大致可以匹敌用超过 6,000 小时机器人加第一人称数据训练的基线。
  • 语言标注围绕目标清晰度、时间一致性和执行细节来组织,左右手分别标注,粒度约为一秒。
  • MaxInsights 计划开源一个带有手指级接触标签的标注数据集,并称现有的第一人称数据集缺少这类标签。
  • 一个检查结果并向策略发送纠正反馈的推理模型,是其真实世界数据反馈闭环的一部分。
第1天录像 · 12 分钟在 YouTube 打开

第2天 · 11月10日 周二

亮点报告 S3 · 人类学习、灵巧性与协作

周二 8:30 AM · Hilton Austin · 主持:Danfei Xu

9 场报告
亮点报告

Ego2Robot:基于第一人称人类数据的可扩展机器人数据合成(Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data)

Ye Wang · Renmin University of China / Alibaba Inc.(录像中未提及报告人,显示第一作者)

全部作者

Ye Wang1,2, Pei Lin2,3,4, Xiong-Hui Chen2, Haoqi Yuan2, Zhixuan Liang2, Yiyang Huang2, Anzhe Chen2, Zixing Lei2, Jie Zhang2, Tao Zhang1, Haoyang Li2, Tong Zhang2, Chenxi Xiao3, Ziyuan Jiao4,5, Qin Jin1

1Renmin University of China2Alibaba Inc.3ShanghaiTech University4Beijing Institute for General Artificial Intelligence5Beihang University

作者介绍了 Ego2Robot,一个将第一人称人类操作视频转换为机器人训练数据的流程:将手部姿态重定向为夹爪动作,修补(inpaint)掉人类手臂,在仿真中重放运动,将渲染出的机器人叠加到原始场景中,然后过滤掉低质量片段。他们使用扩展后的 RoboTwin 基准,从外观、场景布局、本体和任务语义等维度衡量这些合成数据对机器人基础模型预训练的帮助。

要点
  • 合成的 Ego2Robot 数据与真实机器人数据均衡混合时预训练效果最好,并且混入合成的机器人格式数据优于混入原始第一人称视频。
  • 最大的提升出现在光照和机器人颜色变化、相机偏移鲁棒性、跨本体迁移以及涉及未见物体的指令上,而加入更多机器人本体会持续改善迁移效果。
  • 目前,手部姿态估计的精度限制了在最精细的真实机器人任务上的提升。
第2天录像 · 4 分钟在 YouTube 打开
亮点报告

面向机器人操作的人类意图学习(Learning Human Intention for Robotic Manipulation)

Kaiyi Xiong · Shanghai Jiao Tong University

全部作者

Chengyang Li1,2, Kaiyi Xiong1, Yuan Xu3, Lei Qian4, Yizhou Wang3, Wentao Zhu2

1Shanghai Jiao Tong University2Eastern Institute of Technology, Ningbo3Peking University4ShanghaiTech University

作者将人类注视作为与本体无关的意图信号:一个在标注了手部和注视信息的大型第一人称数据集上预训练的模型,先以自回归方式预测意图 token,再生成动作,类似思维链的方式。后训练只需少量不带注视标注的机器人数据,并搭配针对该任务的人类数据。

要点
  • 高层意图比底层动作更容易跨本体迁移,因此可以作为从人到机器人迁移的桥梁。
  • 手动编辑预测出的意图会即时改变机器人的轨迹,而对意图进行建模能提高任务成功率。
  • 人类数据在预训练和后训练中都有帮助,并能让机器人在只在人类视频中出现过的场景中取得成功。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

基于真实-仿真-真实共享自主的高效可靠遥操作(Efficient and Reliable Teleoperation through Real-to-Sim-to-Real Shared Autonomy)

Shuo Sha · Columbia University

全部作者

Shuo Sha1, Yixuan Wang1, Binghao Huang1, Antonio Loquercio2, Yunzhu Li1

1Columbia University2University of Pennsylvania

作者提出了一个真实到仿真再到真实的共享自主框架:一个残差 RL 副驾驶在仿真中针对一个 k 近邻人类代理模型进行训练(该代理模型由不到五分钟的真实遥操作数据拟合而成),在拧螺母、齿轮啮合和销钉插入等接触密集型任务中协助操作员。人类提供高层意图,副驾驶负责底层的接触对齐。

要点
  • 分工协作——由人类给出意图、由 RL 负责底层接触控制——无需实现完全自主就能让遥操作更加可靠。
  • 副驾驶辅助的遥操作提高了成功率,缩短了完成时间、减轻了工作负担,并能遵循操作员的意图,例如改变插入速度。
  • 在副驾驶辅助的演示上训练的扩散策略,优于在同等数量的直接遥操作数据上训练的策略。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

FlowDAgger:在潜空间中对生成式机器人策略进行人在回路适应(FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space)

Michael Murray · Microsoft Research

全部作者

Michael Murray1, Daphne Chen1,2, Simran Bagaria1, Dean Fortier1, Tess Hellebrekers1, Galen Mullins1, Harshavardhan Reddy Gajarla1, Oier Mees3,4, Maya Cakmak2, Andrey Kolobov1

1Microsoft Research2University of Washington3Microsoft4ETH Zurich

Michael Murray 介绍了 FlowDAgger,它通过训练一个小型潜在空间引导策略,仅利用少量人类空间鼠标纠正,就能适配冻结的流匹配和扩散策略(例如 pi0.5、Cosmos Policy 和普通扩散策略)。其关键要素是动作反演:通过不动点优化将每次纠正映射回能够产生该纠正的噪声潜变量,并在 DAgger 式循环中使用。

要点
  • 用反演得到的纠正直接监督潜在空间,几十个回合就能取得进展,而在噪声空间中探索可能需要数千个回合。
  • 由于只训练一个小型潜在策略,该方法保留了预训练先验,避免了监督微调中出现的灾难性遗忘,并且可以在消费级 GPU 上运行。
  • 在存在高精度瓶颈的任务上提升最大。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

BiDexGrasp:跨物体几何形状与尺寸的协调双臂灵巧抓取(BiDexGrasp: Coordinated Bimanual Dexterous Grasps across Object Geometries and Sizes)

Mu Lin · Sun Yat-sen University / Tsinghua University

全部作者

Mu Lin1,2, Yi-Lin Wei1, Jiaxuan Chen1, Yuhao Lin1, Shuoyu Chen1, Zhizhao Liang1, Jiangran Lyu3, Jiayi Chen3, Xiaoyi Fan4, Chengyi Xing5, Yansong Tang2, He Wang3, Wei-Shi Zheng1

1Sun Yat-sen University2Tsinghua University3Peking University4Jiangxing Intelligence (Guizhou) Technology Inc.5Stanford University

作者介绍了 BiDexGrasp,一个双手灵巧抓取合成流程及生成模型。基于区域的初始化和解耦优化使合成速度提升 40 倍,并生成了一个包含近 1,000 万个抓取的数据集;而双手协调模块和适应物体的抓取锚点则负责处理协调问题和较大的尺寸差异。

要点
  • 在有希望的区域初始化双手并解耦其优化,使双手抓取合成的效率大幅提高,合成成功率达到基线的两倍以上。
  • 学习得到的生成器比基线的成功率高出约 25 个百分点。
  • 在真实测试中,它在 30 个物体上进行的 260 次试验中达到 74.6% 的成功率,并能迁移到其他机器人手上。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

KPGrasp:面向灵巧抓取生成的可扩展关键点流匹配(KPGrasp: Scalable Keypoint Flow Matching for Dexterous Grasp Generation)

Yuansen Huang · Peking University / Galbot(录像中未提及报告人,显示第一作者)

全部作者

Yuansen Huang1,2, Jiayi Chen1,2, Haoran Liu1,2, Yubin Ke1,2, Bing Han2,3, Jiangran Lyu1,2, Mi Yan1,2, Li Yi2,4, He Wang1,2

1Peking University2Galbot3Xi'an Jiaotong University4Tsinghua University

KPGrasp 将灵巧抓取表示为物体坐标系中的 3D 手部关键点,并仅用标准的流匹配损失训练一个 DiT 风格的 transformer,再通过一个轻量的逆运动学步骤恢复关节角度,无需接触损失或测试时细化。

要点
  • 在 Dexonomy 上,它达到 76.3% 的成功率,穿透深度为 2.4 mm,并能以 63.8% 的成功率零样本迁移到 DexGraspAnything。
  • 全欧氏空间的关键点参数化避免了运动学误差累积,简化了损失平衡,并且随数据、模型和批量规模的扩展表现更好。
  • 基于单视角局部点云的真实世界抓取,在 20 个物体上的 100 次试验中成功 83 次。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

WM-Craftnet:面向鲁棒且可泛化的灵巧手内操作的世界联觉模型(WM-Craftnet: World Synesthesia Model for Robust and Generalizable Dexterous In-Hand Manipulation)

Xiaojing Tan · Sharpa Robotics

全部作者

Jie Yin1, Zeyuan Zhao1, Xiaojing Tan1, Yang Liu1, Chiyu Wang1, Xinyang Gu1

1Sharpa Robotics

WM-Craftnet 为一只 20-DoF 的人形灵巧手训练了一个 Dreamer 风格的循环状态空间世界模型,输入包括深度、触觉、本体感知、过去的动作和奖励。其潜在状态被训练为从带噪传感器数据中重建干净的深度,并被用作闭环手内旋转策略的条件,而不是用于想象推演。

要点
  • 干净深度重建对带噪感知起到正则化作用,提升了仿真到现实(sim-to-real)的鲁棒性,而部署时只使用原始传感器。
  • 一个仅在九个物体上预训练的世界模型可作为可复用的先验,使下游策略在没有物体标识或特权信息的情况下泛化到 49 个物体。
  • 循环历史可以估计当前的接触状态,从而能够从扰动中恢复,并从困难的初始抓取中重新居中。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

用于学习耦合机器人策略的序列非对称模仿(Sequential Asymmetric Imitation for Learning Coupled Robot Policies)

Weiming Zhi · The University of Sydney

全部作者

Ranpeng Qiu1, Yincong Chen1, Zihao Li1,2, Yanan Zhou2, Guoqiang Ren1,3, Weiming Zhi2

1Zeno AI2The University of Sydney3Zhejiang University

作者提出了顺序非对称模仿(Sequential Asymmetric Imitation,SAI),使单个遥操作员就能为两台双臂移动操作机器人训练耦合策略:先在人类搭档的配合下学习机器人 A,然后让机器人 B 与 A 的冻结策略一起接受教学,最后在 A 必须等待、让步或恢复的纠正数据上对其进行微调。任务包括铺桌布和把一幅画翻转立正。

要点
  • 让已学习的搭档参与教学过程,使 B 能够适应 A 实际的时机和失误,而无需两名操作员同步演示。
  • 在相同架构和预算下,SAI 优于独立训练的模仿策略,主要是因为它学会了何时等待以及如何保持共同支撑。
  • 消息传递基线在通信可靠时表现良好,但在存在延迟和丢包时性能下降。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

让它比你发现时更好:序列任务中的价值引导协作(Leave It Better Than Found: Value-Guided Cooperation in Sequential Tasks)

Mario Gomez Andreu · University of Cambridge / ETH Zurich

全部作者

Mario Gomez Andreu1,2, Michael Amir1, Antonio Marino1, Tianxu An2, Marco Hutter2, Amanda Prorok1

1University of Cambridge2ETH Zurich

Mario Gomez Andreu 介绍了 PAVE,一种用于顺序任务接续的临时(ad hoc)协作方法:领导者机器人以自身策略为先验,在线优化自身目标与跟随者在交接状态下的价值函数之间的权衡。一个分布外指示器可防止领导者在跟随者训练中从未见过的状态下信任其价值估计。

要点
  • 共享 RL 跟随者已有的价值函数,无需联合训练数据就能实现协作,这在机器人来自不同厂商时尤为重要。
  • 跟随者的价值估计在分布外时会过度自信,因此用 OOD 指示器对其进行门控至关重要。
  • 该方法将跟随者的成功率提高了约 28 个百分点,同时保持领导者的高成功率,并能匹敌一个使用特权信息的微调基线。
第2天录像 · 3 分钟在 YouTube 打开

口头报告 O4 · 强化学习与运动推理

周二 9:00 AM · Hilton Austin · 主持:Katerina Fragkiadaki

3 场报告
口头报告

RL Token:利用视觉-语言-动作模型自举在线 RL(RL Token: Bootstrapping Online RL with Vision-Language-Action Models)

Charles Xu · Physical Intelligence

全部作者

Charles Xu1, Jost Tobias Springenberg1, Michael Robert Equi1, Ali Amin1, Adnan Esmail1, Sergey Levine1, Liyiming Ke1

1Physical Intelligence

Charles Xu 介绍了 Physical Intelligence 的 RL Token:它对 pi0.6 VLA 进行改造,使其输出单个压缩的“RL token”,作为一个小型在线 actor-critic 的观测;该 token 通过一个必须重建完整末层嵌入的编码器-解码器学习得到。actor 以 VLA 采样出的动作块为条件,并被正则化以靠近该动作块;结合人类成功标签和干预的在线 RL 只针对任务中最难的部分,例如对准螺丝刀或穿扎带。

要点
  • 对于小网络 RL 而言,VLA 的预训练嵌入是比通用编码器好得多的感知骨干;在消融实验中,从 ResNet-10 换成 RL token 使下游 RL 速度大约翻倍。
  • 让高斯 RL actor 以 VLA 的动作提议为条件,可避免坍缩到多模态流策略的均值,并使学习更容易。
  • 在以太网插接任务中,RL 策略的回合步数中位数为 66 步,而 SFT 为 230 步、专家遥操作员约为 150 步,并且其一半的回合快于最快的遥操作回合。
  • 针对任务瓶颈的在线 RL 只需数小时,而对整个 VLA 进行迭代 RL 则需要数天。
第2天录像 · 11 分钟在 YouTube 打开
口头报告

面向机器人控制的流策略梯度(Flow Policy Gradients for Robot Control)

Hongsuk Choi · Amazon FAR / UC Berkeley

全部作者

Brent Yi1,2, Hongsuk Choi1,2, Himanshu Gaurav Singh1,2, Xiaoyu Huang1,2, Takara E. Truong1,3, Carmelo Sferrazza1, Yi Ma2,4, Rocky Duan1, Pieter Abbeel1,2, Guanya Shi1,5, Karen Liu1,3, Angjoo Kanazawa1,2

1Amazon FAR2UC Berkeley3Stanford University4The University of Hong Kong5Carnegie Mellon University

Hongsuk Choi 介绍了 FPO++,它通过两项改动使流匹配策略梯度 RL(FPO)在机器人控制中保持稳定:一是逐样本信任域,对每个噪声时间步的比率分别裁剪;二是非对称信任域,对正优势保留 PPO 裁剪,对负优势则使用 SPO。该方法从零开始训练运动控制和人形机器人动作跟踪并部署到真实机器人上,还能微调基于图像的操作策略。

要点
  • 原始 FPO 在复杂机器人任务上会崩溃;逐样本裁剪加上非对称信任域,在不同随机种子和阈值下都能获得稳定的高回报。
  • 将流推离负优势动作可能会扩大 ELBO 后验差距,而 SPO 式正则化可以防止这一点。
  • 流策略能学到具有语义意义的关节相关性,并比高斯 PPO 更持久地保持探索,从而产生更自然的步态。
  • 推理时采用零噪声采样,即使积分步数很少,也能得到更平滑、更可靠的动作。
第2天录像 · 11 分钟在 YouTube 打开
口头报告

驾驶,快还是慢?多模态地面移动中运动预测的神经符号引导(Driving, Fast or Slow? Neuro-Symbolic Guidance for Motion Prediction in Multi-Modal Ground Mobility)

Simon Kohaut, Felix Divo · TU Darmstadt

全部作者

Simon Kohaut1, Felix Divo1, Julius Hahnewald1, Benedict Flade2, Julian Eggert2, Kristian Kersting1,3,4,5, Devendra Singh Dhami6

1TU Darmstadt2Honda Research Institute3hessian.AI4Centre for Cognitive Science5DFKI6TU Eindhoven

Simon Kohaut 和 Felix Divo 介绍了 TraCS(Trajectory Compliance-Shaping),它通过对数线性意见池,将黑盒运动预测器的候选轨迹与一个描述本地交通规则的概率一阶逻辑模型相融合,并由一个学习得到的信任门控决定何时应用规则。一个由编码器、评判者和验证者组成的智能体循环,将自然语言交通规则翻译为可在毫秒级完成求值的 Resin 概率逻辑程序。

要点
  • 作为编码智能体的前沿 LLM 能将规则文本翻译为正确的程序,而评判者和验证者对较弱的模型更为重要。
  • 在 Argoverse 2 上搭配 QCNet、DeMo 等骨干时,整体提升不大,但集中在误差最高的尾部,尤其是行人。
  • 始终应用规则或打乱学习到的信任权重都没有帮助,因此知道交通参与者何时遵守规则与规则本身同样重要。
  • 由合规性分布图标记出的违规和错误预测可以指导未来的数据采集。
第2天录像 · 11 分钟在 YouTube 打开

青年学者主题演讲 III

周二 9:30 AM · Hilton Austin · 主持:Georgia Chalvatzaki

1 场报告
青年学者主题演讲

无需从头再来的学习:拓展机器人在真实世界中可学习的内容(Learning Without Starting Over: Expanding What Robots Can Learn in the Real World)

Roberto Martin-Martin · University of Texas at Austin

在 Georgia Chalvatzaki 的介绍下,Martin-Martin 指出,由于没有任何机器人能为所有未来情况预先训练好,关键在于机器人的“学习潜力”:即它能从有限的真实世界经验中获得多少新能力。他从一个婴儿从敲打到学会使用锤子的实验出发,说明先验知识的复用方式决定了之后还能学会什么。随后,他回顾了实验室在以下方面的工作:用于安全真实世界 RL 的学习型动作空间(SLAC、模式索引扩散策略);从人类演示和纠正中提取结构(SafeMimic、OopsieVerse 损伤仿真、Oopsie-Recover);以及选择用哪些数据训练或采集哪些数据(DataMIL、GUILD)。最后,他讨论了通过经验日志、有依据的人类反馈和 LoRA 适配的 VLA 实现记忆与持续学习。

要点
  • 微调一个自监督学到的敲打技能,学会使用锤子比从零开始更快;而冻结该技能学得最快但会进入平台期,因此复用的形式与先验本身同样重要。
  • 在仿真中学习的、与任务无关且偏向安全的潜在动作空间,使移动操作机器人只需不到一小时的真实世界 RL 就能学会接触密集型任务,且几乎没有安全中断。
  • 将少量带语言标注的纠正转化为带门控的程序化代价,使冻结的 VLA 提升约 35%,在新情境中提升约 20%。
  • 根据对目标策略的预测影响来选择协同训练数据,优于基于图像或语言相似度的启发式方法,甚至对未包含在 Open X-Embodiment 中的机器人也有帮助。
  • 结合同策略(on-policy)RL 的顺序 LoRA 适配器,使 VLA 能在平均遗忘接近零的情况下获得新技能,是很有前景的持续学习载体。
  • 学习得到的安全性提供的是概率性而非形式化的保证,因此未来的评估将依赖于测试策略到底有多安全。
第2天录像 · 33 分钟在 YouTube 打开

口头报告 O5 · 灵巧学习、抓取与装配

周二 10:30 AM · Hilton Austin · 主持:Masha Itkina

3 场报告
口头报告

EgoScale:利用多样化第一人称人类数据扩展灵巧操作(EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data)

Ruijie Zheng · NVIDIA

全部作者

Ruijie Zheng1, Dantong Niu1,2, Yuqi Xie1, Jing Wang1, Mengda Xu1, Yunfan Jiang1, Fernando Castañeda1, Fengyuan Hu1, You Liang Tan1, Letian Fu1,2, Trevor Darrell2, Furong Huang3, Yuke Zhu1, Danfei Xu1, Linxi Fan1

1NVIDIA2UC Berkeley3University of Maryland

Ruijie Zheng 介绍了 EgoScale:它先在大规模第一人称人类视频上预训练一个 GR00T 风格的 VLA(这些视频通过 SLAM 和手部姿态估计转换为动作,并重定向到 22-DoF 的 Sharpa 灵巧手),然后在对齐的人类与机器人数据上进行中期训练(在相同任务上,约 4 小时遥操作数据搭配 50 小时通过手套和腕部相机追踪的人类数据),最后在新的灵巧任务上进行后训练。

要点
  • 人类数据预训练与对齐的中期训练相结合,在五项灵巧任务上取得了最高的成功率,并且只有这一组合能在拧开瓶盖和注射器转移等最难的任务上取得可观的成功率。
  • 人类数据上的验证损失随人类数据量遵循对数线性扩展定律,并与真实机器人上的表现相关。
  • 涌现出一次性(one-shot)迁移能力:叠衬衫这样的新任务,只需一条遥操作轨迹加上约 100 条人类演示即可学会。
  • 同一方案可以迁移到配备不同灵巧手的 Unitree G1 上,动作比基线更平滑。
第2天录像 · 11 分钟在 YouTube 打开
口头报告

OPENDEXGRASP:开放词汇的任务导向灵巧抓取(OPENDEXGRASP: Open-vocabulary Task-Oriented Dexterous Grasping)

Jiyao Zhang · Peking University / PrimeBot

全部作者

Jiyao Zhang1,2, Junhan Wang1,2, Tianyu Wang1,3, Zeyuan Chen1,3, Anthony Bolton1,2, Yitong Peng1, Hao Dong1,2

1Peking University2PrimeBot3Beijing Institute for General Artificial Intelligence

OpenDexGrasp 能根据自由形式的语言指令生成面向任务的灵巧抓取。它结合了 OpenDex-Scale(124 万个合成抓取,由 VLM 标注任务描述)和 OpenDex-Align(约 27k 个人类演示的功能性抓取,并跨物体实例迁移),以及一个将预训练 VLM 与 3D 几何编码器相结合、联合预测任务可供性(affordance)和手部姿态的模型。

要点
  • 将覆盖面广的合成数据与规模较小但高质量的人类对齐数据结合,可以同时提升物理抓取质量和功能抓取质量。
  • 在预测抓取的同时预测可供性,把语言指令与手应当接触的位置联系起来。
  • 在消融实验中,替换预训练 VLM 骨干导致的性能下降最大;真实机器人抓取的成功率为 72%。
  • 剩余的失败案例涉及那些必须大幅改变位姿才能进行功能性抓取的物体。
第2天录像 · 9 分钟在 YouTube 打开
口头报告 最佳论文入围

Play2Perfect:面向精密装配的灵巧玩耍预训练中什么最重要?(Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?)

Tyler Ga Wei Lum, Kushal Kedia · Stanford University / Cornell University

全部作者

Tyler Ga Wei Lum1, Kushal Kedia2, Karen Liu1, Jeannette Bohg1

1Stanford University2Cornell University

Tyler Lum 和 Kushal Kedia 介绍了 Play2Perfect:先用 RL 对一只多指灵巧手进行“自由探索”(play)预训练,让它用数千个随机物体到达随机的 6D 目标位姿;然后用基于 CAD 定义的稀疏奖励进行微调,以完成精密的长时程装配,例如半毫米精度的插入和拧上桌腿。策略完全在仿真中训练,并借助 FoundationPose 物体追踪进行零样本部署。

要点
  • 有了自由探索预训练,装配任务在 2 到 5 小时的微调内就能达到很高的成功率;而从零开始的 RL 在 24 小时后仍为 0%,稠密奖励 RL 则需要 33 倍的时间才能达到同等水平。
  • 经过自由探索预训练的策略会用多根手指抓取,在力扰动下仍保持 80% 以上的成功率,而稠密奖励 RL 学到的是会失败的脆弱策略。
  • 有效的自由探索需要完整的 6D 目标(而非仅平移)、1 cm 的严格容差、大量物体,以及每个回合都使用新的随机目标,这些都突出了手内操作。
  • 仅靠自由探索可以处理自由空间运动,但在接触环节会失败;微调则教会了接触密集型的搜索策略,而小物体由于遮挡仍然很难处理。
第2天录像 · 11 分钟在 YouTube 打开

口头报告 O6 · 力觉、触觉控制与操作规划

周二 11:00 AM · Hilton Austin · 主持:Ian Abraham

3 场报告
口头报告

FACTR 2:为通用商品机械臂学习外力感知以改进策略学习(FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning)

Jason Jingzhou Liu, Steven Oh · Carnegie Mellon University / Waseda University

全部作者

Steven Oh1,2, Jason Jingzhou Liu1, Tony Tao1, Philip Han1, Kenneth Shaw1, Satoshi Funabashi2, Ruslan Salakhutdinov1, Deepak Pathak1

1Carnegie Mellon University2Waseda University

Jason Liu 和 Steven Oh 介绍了 FACTR 2,它借助 NEXT 为低成本机械臂提供外力感知:一个 LSTM 在约 10 分钟的自由空间关节位置、速度和电机电流数据上训练约一分钟,用于预测自由空间力矩,因此接触时的残差就是外部力矩。这一估计驱动了 Piper、YAM 和 Nero 等机械臂上的力反馈遥操作;FIRST 则利用它将演示划分为自由、预接触和接触三个阶段,并在行为克隆训练中对后两个阶段进行上采样。

要点
  • 在 Franka 上,NEXT 的估计值在接触时与内置力矩传感器的读数一致,在自由运动时保持接近零。
  • 将外部力矩同时用作策略输入并用于重采样预接触和接触片段,在皮带装配等长时程任务上取得了最佳结果。
  • 对接触阶段进行上采样可以降低该阶段的验证损失,并在对准失败时产生更多的恢复行为。
  • 约 10 分钟的自由运动数据就已足够,30 到 40 分钟的数据并未带来性能提升。
第2天录像 · 11 分钟在 YouTube 打开
口头报告

PACE:面向基于动作块的插接策略的时序角色触觉条件化(PACE: Temporal-Role Tactile Conditioning for Chunk-Based Insertion Policies)

Zane (presenting for the authors) · Xiaomi Robot Technology

全部作者

Zhiyuan Chen1, Shixiong Xu1, Shuai Chen1, You Yangwei1

1Xiaomi Robot Technology

由 Zane 代表第一作者 Zhiyuan Chen(Xiaomi Robotics)进行报告,后者因签证延误未能出席。PACE 在基于动作块的插入策略中为同一条共享的触觉信息流赋予三种时间角色:一是相位通路,根据平滑后的接触状态调制 transformer 特征;二是事件通路,在接触状态突变时,对动作块中最初几个动作的残差修正进行门控;三是仅在训练中使用的辅助性未来触觉预测头。演示数据使用 Sigma.7 力反馈遥操作系统采集。

要点
  • 在五项真实插入任务上,PACE 的平均成功率达到 90.7%,而最强的触觉拼接基线为 46%;在 Manipulation-Net 上(包括 0.1 mm 的紧配合间隙)达到 88.7%。
  • 事件通路的贡献最大,去掉它会使成功率降至 66.7%。
  • 遥操作中的力反馈将平均峰值接触力从 16.7 N 降低到 10 N。
  • 该设计可以在不同传感器(力-力矩传感器、关节电流)和不同骨干(如扩散策略)之间迁移。
第2天录像 · 7 分钟在 YouTube 打开
口头报告 最佳论文入围

基于连续动作蒸馏树搜索的长时程多物体重排(Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions)

Kallol Saha · Carnegie Mellon University

全部作者

Kallol Saha1, Yining Hong2, Amber Li1, Yejin Choi2, Maxim Likhachev1, David Held1

1Carnegie Mellon University2Stanford University

Kallol Saha 介绍了 DISCO,一种用于长时程多物体重排的 AlphaGo 式方案:一个抓取-放置策略将动作作为边提出,构成基于连续动作的 MCTS 树,并采用渐进扩展(progressive widening);成功和失败的经验会被定期蒸馏回策略和价值函数中,整个过程在 GPU 仿真中并行运行。最终的策略在测试时无需搜索即可运行,任务包括货架装填、堆叠和收拾餐桌,并实现了仿真到现实的迁移。

要点
  • 渐进扩展——随着节点被访问次数增多而逐步添加子节点——使树搜索在连续动作空间中变得可行。
  • DISCO 优于束搜索、MPPI、RL,以及采用均匀搜索或固定分支因子的消融版本。
  • 策略和价值函数在每一轮蒸馏中都会改进,因此可以从短时程数据中学到长时程推理能力。
  • 仅用行为克隆得到的初始策略在真实长时程任务上会失败,而经过蒸馏的 DISCO 策略能够完成这些任务。
第2天录像 · 8 分钟在 YouTube 打开

口头报告 O7 · 人形机器人数据、控制与技能

周二 11:30 AM · Hilton Austin · 主持:Koushil Sreenath

3 场报告
口头报告 最佳论文入围

GRAIL:从世界模型生成人形机器人移动操作(GRAIL: Generating Humanoid Loco-Manipulation from World Models)

Tianyi Xie · NVIDIA / UCLA

全部作者

Tianyi Xie1,2, Haotian Zhang1, Jinhyung Park1, Zi Wang1, Bowen Wen1, Jiefeng Li1, Xueting Li1, Qingwei Ben1, Haoyang Weng1, Yufei Ye1, David Minor1, Tingwu Wang1, Chenfanfu Jiang2, Sanja Fidler1, Jan Kautz1, Linxi Fan1, Yuke Zhu1, Zhengyi Luo1, Umar Iqbal1, Ye Yuan1

1NVIDIA2UCLA

作者提出通过生成而非采集来获取人形机器人移动操作数据:从一张构建好的 3D 场景图像出发,用文本提示驱动视频基础模型生成人类演示(坐下、推、搬运、上楼梯、踏上路缘)。利用特权的场景几何和相机参数重建人和物体的运动,通过选择身高相近的人类角色将其重定向到机器人上,再借助一个感知场景和地形的全身跟踪器使其在物理上有效。从这些跟踪器蒸馏得到、完全在仿真中训练的视觉策略,被零样本部署到真实人形机器人上。

要点
  • GRAIL 生成了超过 35k 条物理上有效的动作,报告时其公开数据集的下载量约为二十五万次。
  • 一个仅用 GRAIL 数据训练的拾取策略零样本迁移到真实机器人上,对未见物体的成功率为 80%。
  • 在虚拟环境中生成数千种楼梯变体,可以获得动作捕捉实际上无法实现的地形覆盖,而楼梯策略也泛化到了未见过的室内外楼梯。
  • 作者目前仍从人类视频进行重定向,因为面向人类的视频模型和姿态估计器已经很成熟,但他们预计,一旦两者都针对机器人进行了微调,就能直接生成人形机器人视频。
第2天录像 · 12 分钟在 YouTube 打开
口头报告 最佳会议论文奖

SuperMimic:用单个可微世界模型扩展人形机器人全身控制(SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model)

Qiayuan Liao · UC Berkeley

全部作者

Qiayuan Liao1, Yiyang Shao1, Junfeng Long1, Kevin Zakka1, Roberto Horowitz1, Pieter Abbeel1, Koushil Sreenath1

1UC Berkeley

SuperMimic 通过学习一个可微分的世界模型来扩展通用人形机器人动作跟踪:该模型刻画所有动作共享的动力学,由仿真器转移数据拟合而来;跟踪策略则通过该模型以一阶梯度(SHAC 风格)加上一个 critic 进行训练,二者在单一交替循环中进行。Liao 现场演示了世界模型和跟踪器对扰动的响应,并论证在所有动作上摊销同一个模型,可使模型误差在数据增长时保持平稳。尽管完全在想象中训练,得到的通用跟踪器仍能迁移到真实的 Unitree G1 上。

要点
  • Liao 报告在一块 GPU 上用约三小时训练出一个通用跟踪器,而 SONIC 需要 100 多块 GPU 训练一周,GPU 小时数大约减少了一千倍;同时他也承认所用数据集更小、GPU 更快。
  • 想象 rollout 比仿真快 10 倍以上,且在同一模型上,通过模型的一阶梯度所需的步数远少于 PPO。
  • 随着训练时间延长,该方法在约 100,000 个动作上实现了零跟踪失败。
  • 代码在报告期间开源;已有其他人复现并扩展到竞速跑(speed-run)、肌肉驱动的人形机器人,以及无参考的稀疏奖励操作任务。
第2天录像 · 10 分钟在 YouTube 打开
口头报告

RoboNaldo:基于运动引导课程强化学习的精准、稳定且有力的人形机器人足球射门(RoboNaldo: Accurate, Stable and Powerful Humanoid Soccer Shooting via Motion-Guided Curriculum Reinforcement Learning)

Hongyang Li · Archon Robotics / The University of Hong Kong

全部作者

Yichao Zhong1, Yidan Lu1, Yuhang Lu1, Tianyang TANG1, Haoguang Mai1, Yixuan Pan2, Tianyu Li2, Li Chen1, Jingbo Wang3, Zhongyu Li3, Peng Lu1, Hongyang Li2,1

1The University of Hong Kong2Archon Robotics3The Chinese University of Hong Kong

RoboNaldo 通过三阶段动作引导课程,训练单一的底层人形机器人射门策略:首先跟踪一个人类踢球参考动作;然后将球初始化在所跟踪的击球点附近,以稀疏任务奖励学习精准射门;最后借助朝向球锚定的自适应参考和用于确定踢球时机的启发式规划器,将行走与射门统一起来。机载 LiDAR 检测反光足球,胸部相机读取球门上的 AprilTag 目标;系统在 Unitree G1 上于室内和室外场地进行了测试。

要点
  • 将球初始化在所跟踪的击球点附近,使跟踪策略成为 PPO 的良好起点,并解决了稀疏奖励下的探索问题。
  • 真机触球率超过 90%,报告中静止球踢球条件下的成功率为 100%。
  • 球速峰值超过 10 m/s,演讲者估计约为职业球员射门速度的 60%。
  • 仿真到现实(sim-to-real)差距仍是失败的主要来源,尤其是室外场地上踢球后的稳定性。
第2天录像 · 10 分钟在 YouTube 打开

钻石赞助商报告 III

周二 1:30 PM · Hilton Austin · 主持:Neel Bhatt

3 场报告
赞助商报告

用 Gemini 构建通用机器人(Building general purpose robots with Gemini)

Kanishka Rao · Google DeepMind

Rao 将机器人学的核心问题定义为把通用推理与灵巧的全身控制结合起来,并从前沿模型和机器人模型两方面着手。他回顾了 Gemini Robotics 2.0(Apollo 人形机器人的全身控制、灵巧手、多机器人协作),并发布了在 200 多项任务上训练的 Gemini Robotics 2.5,其安全性有所提升,还介绍了 Mercedes-Benz/Apptronik 产线配料(kitting)试点。他还发布了 MuJoCo 4 和 MuJoCo Playground 1.0,并介绍了如何将前沿 Gemini 模型用作智能体,从真实日志构建仿真器、分析 rollout,甚至教人形机器人玩沙包投掷(cornhole)。

要点
  • 在 200 多项灵巧任务上训练,使成功率比上一代模型提升约 30-100%,此前已学会的任务也有所提升。
  • 产线配料试点达到了 96% 的自主成功率。
  • 前沿模型正通过现实到仿真再到现实的循环和自动化失败分析加速机器人模型的开发,并已用于构建 Gemini Robotics 2.5。
  • Rao 预测前沿模型将接管机器人学中更多的部分,并且随着这些模型变得更快,智能体式的闭环机器人控制将会到来。
第2天录像 · 11 分钟在 YouTube 打开
赞助商报告

面向真正长时程行为的动作与智能体(Actions and Agents for True Long-Horizon Behavior.)

Alberto Rodriguez · Boston Dynamics

Rodriguez 介绍了 Atlas 在 Hyundai Savannah 工厂进行零件排序的早期部署:从供应商容器中拣取零件、双手扫描条形码、按顺序插入正确的槽位,并丢弃掉落或有缺陷的零件。该系统使用一个云端“作业框架”(job harness),其核心是一个经过微调的 Gemini ER 推理模型(系统2),负责读取文本作业描述和工厂任务分配;另有一个运行在 NVIDIA Thor 上的单一机载动作模型(系统1),用约 400 小时的遥操作数据进行了后训练。他主张使用单一动作模型而非技能分解,并主张数据质量重于规模。

要点
  • 包含人工干预在内的端到端完成率为 98.6%,干预率为 9.5%,约每 20 分钟干预一次。
  • 每项任务的节拍时间约为两分钟,比产生经济价值所需的每分钟一件慢约 50%;Boston Dynamics 预测 Atlas 将在 2027 年完成首个 8 小时生产班次。
  • 没有任何现成的前沿 VLM 在不经微调的情况下,能够可靠地完成任务完成度检查和精确到槽位的引导。
  • Rodriguez 认为仿真中的大规模 RL 是获取高质量数据的一条途径,并展示了仅用 RGB 的策略中涌现出的灵巧行为。
第2天录像 · 14 分钟在 YouTube 打开
赞助商报告

物理 AI 的参考平台(The Reference Platform for Physical AI)

Sven Parusel · Franka Robotics / Agile Robots

Parusel 介绍了 Franka 的目标:成为物理 AI 研究的参考软硬件平台,其基础是具备力矩感知的 7 自由度 Franka Research 3 机械臂及其 1 kHz 的 Franka Control Interface。他介绍了 FR3 Duo 双臂系统和配备全向底盘的新款移动式 FR3 Duo,以及一系列遥操作接口。他还重点介绍了 Franka 最近开源的数据流水线(涵盖遥操作、传感器采集、标注、训练和推理),以及 DualBench 基准论文。

要点
  • 仅一年内就有 2,000 多篇论文使用了 Franka 机器人;在 CoRL 2024 上,超过一半的单臂论文使用了它们。
  • Parusel 认为,关节力矩感知以及通过高频接口获得的完整模型访问(雅可比矩阵、质量矩阵)是其被用于富接触和 HRI 研究的关键特性。
  • 采用固定相机和夹爪的标准化双臂配置,旨在让各实验室能够复现彼此的工作,并在同一本体上汇集数据。
  • Franka 已将其数据采集和训练流水线开源,并欢迎贡献新的输入设备和标注工具。
第2天录像 · 11 分钟在 YouTube 打开

亮点报告 S4 · 触觉、力觉与接触密集型操作

周二 2:00 PM · Hilton Austin · 主持:Yunzhu Li

9 场报告
亮点报告

DeTac:视觉触觉传感器中纹理与力信号的双分支解耦(DeTac: Dual-branch Decoupling of Texture and Force Signals in Vision-Based Tactile Sensors)

Zhirui Zhang · Peking University / AI2 Robotics(录像中未提及报告人,显示第一作者)

全部作者

Zhirui Zhang1,2, Yunkai Tang1,2, Jiahang Li1,2, Fan Fei1,2, Jinnuo Zhang3, Kairan Ding1,2, Jieji Ren3, Yandong Guo2, Boxin Shi1

1Peking University2AI2 Robotics3Shanghai Jiao Tong University

DeTac 是一个双分支生成式框架,可从单张基于标记点的视觉触觉传感器图像中分离出标记点图像和干净的明暗(shading)图像;它采用扩散明暗分支和轻量级标记点分支,并配以跨分支损失,在真实配对数据上训练。

要点
  • 并行的双分支解耦避免了串行“先掩码再修复”流水线中的掩码尺寸两难和误差累积问题。
  • 去除标记点干扰后,在无标记点数据上训练的织物分类器能够正确分类基于标记点的传感器图像。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

FingerEye:利用连续视觉-触觉感知学习灵巧操作(FingerEye: Learning Dexterous Manipulation with Continuous Vision-Tactile Sensing)

Zhixuan Xu · National University of Singapore

全部作者

Zhixuan Xu1, YICHEN LI1,2, Wu Xuanye2,3, Qiu Tianyu2,4, Lin Shao1,2

1National University of Singapore2RoboScience3Huazhong University of Science and Technology4South China University of Technology

FingerEye 是一种指尖传感器,在透明柔顺板后方装有两个相机,接触前提供视觉信息,接触后提供触觉线索;配套的策略分别编码每组观测,并通过逐组注意力读取它们。

要点
  • 双目指尖视角比单相机的成功率高出 10 个百分点。
  • 注意力诊断表明,朴素融合会过度依赖容易获取的全局线索,这促使采用分离的模态通路。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

DAVATaR:跨越空气-水界面的深度感知视觉增强触觉学习(DAVATaR: Depth-Aware Visually Augmented Tactile Learning Across the Air-Water Interface)

Siqi Shang · UT Austin

全部作者

Bowen Jiang1, Siqi Shang1, Rahul Ajay Iyer1, Ashwin Prakash1, Lillian Chin1, Roberto Martín-Martín1

1UT Austin

DAVATaR 针对跨越空气-水界面的操作任务,采用一种防水夹爪,以流体方式将指尖压力传递到水面以上的电子元件;同时结合浸没深度感知,以及针对眩光、遮挡和折射的视觉增强,用于一个多模态 transformer 策略。

要点
  • 在一项仅靠视觉无法恢复状态的任务上,加入浸没深度感知使成功率从 25% 提升到 61%。
  • 当视觉严重失真时,仅靠触觉感知是不够的,在水位变化的情况下尤其如此。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

可见的触觉:为视觉运动策略渲染接触(Visible Touch: Rendering Contact for Visuomotor Policies)

Metin Alp Dogan · UCLA(录像中未提及报告人,显示第一作者)

全部作者

Metin Alp Dogan1, Edward Sun1, Feng Xu1, Daniel Wu1, Allen Peng1, Dennis Hong1, Yuchen Cui1

1UCLA

Visible Touch 将低成本磁性触觉传感器的读数渲染为叠加在相机图像上的箭头,使现有的基于图像的策略和 VLA 无需修改架构即可利用接触信息进行微调。

要点
  • 该叠加方法将预训练 MiniVLA 的平均成功率从约 51% 提升到 79.8%,在多次抓取的长时程任务上提升更大。
  • 在使用 pi-0.5 的真实任务中,多箭头叠加优于单独输入一个触觉相机视图。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

揭秘 VLA 在接触密集任务中何时及为何失败以及如何修复(Demystifying When and Why VLAs Fail in Contact-Rich Tasks and How to Fix Them)

Carlota Parés Morlans · Stanford University(录像中未提及报告人,显示第一作者)

全部作者

Carlota Parés Morlans1, Nils Kuhn1, Y. Isabel Liu1, Alberta Longhini1, Jeannette Bohg1

1Stanford University

作者将 VLA 在富接触任务中的失败归结为精度失败和力失败:前者源于流匹配噪声调度对接近接触时的小幅动作权重过低。他们通过改用 logit-normal 噪声调度解决前者,并通过时间感知、接触门控的力注入解决后者。

要点
  • 在后训练阶段将 beta 调度替换为 logit-normal 调度,是一种即插即用的修复,无需额外参数或数据。
  • 在五项任务、2,500 次真实 rollout 中,该方法达到 66% 的成功率,比最佳基线高 25 个百分点。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

力反馈永不嫌晚:通过反应式力注入加速 VLA 后训练(Never Too Late for Force: Accelerating VLA Post-Training with Reactive Force Injection)

Wendi Chen · Shanghai Jiao Tong University / Shanghai Innovation Institute

全部作者

Yi Wang1,2, Wendi Chen1,2, Zimo Wen1, Han Xue1, Xueqi Li2,3, Wenye Yu1,2, Zhijie Chen1, Hao Yang1, Jun Lv4, Chuan Wen1, Cewu Lu1,2,4

1Shanghai Jiao Tong University2Shanghai Innovation Institute3Southern University of Science and Technology4Noematrix Ltd.

LIFT 在后训练阶段为预训练 VLA 增加力感知能力:嫁接一个带有力记忆的反应式动作专家,在每个动作块内更新动作;该专家的初始化方式可保留预训练知识,力数据则通过在线 DAgger 收集。

要点
  • 需要力的历史信息,而不仅是当前读数,才能区分正在进行的插入和已完成的插入。
  • 后期、零初始化的力注入保留了 VLA 对新物体、桌布和光照的视觉泛化能力。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

面向铰接物体操作的基于生成式策略的约束分解阻抗控制(Constraint-Decomposed Impedance Control from Generative Policy for Articulated Object Manipulation)

Kyungseo Park · Seoul National University

全部作者

Kyungseo Park1, Byeongdo Lim1, Jungbin Lim1, Minseok Choi1, Frank C. Park1

1Seoul National University

针对铰接物体,作者在抓取闭合时从生成式策略中采样多条轨迹,将其转换为物体旋量(body twist),并用 PCA 找出可行运动子空间,然后沿该子空间设置高阻抗增益,其他方向则设置低增益。

要点
  • 无需物体模型,即可将策略采样的多样性转化为按方向的柔顺性。
  • 在真实 Franka 上,违反约束的力冲量下降约 72%,峰值力下降约 70%。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

TAM:面向操作中鲁棒运动迁移的力矩自适应模块(TAM: Torque Adaptation Module for Robust Motion Transfer in Manipulation)

Dongwon Son · KAIST

全部作者

Dongwon Son1, Florian Shkurti2,3, Jason Lee2,4, Naman Shah2, Beomjoon Kim1, Dieter Fox2,4

1KAIST2Allen Institute for AI3University of Toronto4University of Washington

TAM 是一个完全在仿真中训练的轻量级模块,它根据近期的运动历史修正底层力矩指令,使策略无论以何种方式产生动作,都能跨越仿真到现实差距、不同负载和不同机器人个体进行迁移。

要点
  • 由于所有策略共享力矩接口,同一个适配器提升了推箱子、MPC 球平衡、行为克隆和负载跟踪的表现。
  • 一个仅在仿真中训练的行为克隆策略,真实世界成功率从 50% 提升到 72%,几乎追平其在仿真中的成功率。
第2天录像 · 2 分钟在 YouTube 打开
亮点报告

结合约束采样与强化学习实现操作(Combining Constrained Sampling and Reinforcement Learning for Manipulation)

Marc Toussaint · Technical University Berlin / Robotics Institute Germany / Fraunhofer HHI

全部作者

Marc Toussaint1,2,3, Cornelius V. Braun1, Armand Jordana4, Sayantan Auddy1, Eckart Cobo-Briesewitz1, Denis Shcherba1,3, Tilman Burghoff1, Justin Carpentier5,6

1Technical University Berlin2Robotics Institute Germany3Fraunhofer HHI4LAAS-CNRS5Inria6PSL Research University

Toussaint 提出将 RL 的探索问题转移到约束采样中:从基于第一性原理的约束流形中采样物理上可行的状态(接触、摩擦锥、静态稳定性),并将其用作目标条件操作策略的重置分布和课程。

要点
  • 借助约束采样的重置,RL 学会了用倒置的手进行手内立方体重定向,而朴素重置下学习曲线始终毫无起色。
  • 蒙特卡洛采样和流形采样方面的进展,应能直接转化为更好的 RL 探索。
第2天录像 · 3 分钟在 YouTube 打开

亮点报告 S5 · 可变形物体操作、几何与形态

周二 2:30 PM · Hilton Austin · 主持:Rudi Lioutikov

9 场报告
亮点报告

面向可变形物体仿真的物理引导残差动力学学习(Learning Physics-Guided Residual Dynamics for Deformable Object Simulation)

Shivansh Patel · UIUC(录像中未提及报告人,显示第一作者)

全部作者

Shivansh Patel1, Kaifeng Zhang2, Sanjay Pokkali1, Svetlana Lazebnik1, Yunzhu Li2

1UIUC2Columbia University

PGRD 将一个可优化的弹簧-质点仿真器与一个预测残差修正的学习网络相结合,对绳子以及带有刚性杆和柔软羽毛的掸子等可变形物体进行建模,并与 MPPI 结合用于绳索重新布线,其目标由图像模型根据语言生成。

要点
  • 这一混合模型在羽毛变形的同时保持了异质物体的杆部刚性,而纯弹簧-质点基线和纯学习基线都未能做到。
  • 根据自然语言生成目标图像,免去了手动指定可变形物体目标的需要。
第2天录像 · 4 分钟在 YouTube 打开
亮点报告

WireCraft:面向工业 DLO 操作的仿真基准(WireCraft: A Simulation Benchmark for Industrial DLO Manipulation)

Chongyu Zhu · University of Toronto

全部作者

Chongyu Zhu1, Ramy ElMallah1, Hyegang Kim1, Zachary Tang1, Jiachen Rao1, Artem Arutyunov1, Seungyeon Ha2, Chi-Guhn Lee1

1University of Toronto2CREFLE Inc.

WireCraft 是一个基于 Isaac 的工业可变形线性物体(DLO)操作基准,包含连接器插入、线夹布线和线槽嵌入任务,支持可配置的线缆模型、连接器类型和随机化几何。

要点
  • 使用特权状态的策略能够可靠地完成插入,但基于视觉的 RL、模仿学习和 VLA 策略表现大幅下降,小间隙插入仍是未解决的问题。
  • 在真实演示中混入仿真数据,使真实插入成功率从 15% 提升到 80%。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

通过推理时仿真器在环优化实现鲁棒的布料操作(Enabling Robust Cloth Manipulation via Inference-Time Simulator-in-the-Loop Refinement)

Xin Liu · National University of Singapore / Shanghai Jiao Tong University(录像中未提及报告人,显示第一作者)

全部作者

Xin Liu1,2, Yulin Li1, Ziming Li1, Pengyu Jing1, Zhenhao Huang1, Bingyang Zhou1, Ziqiu Zeng1, Siyuan Luo1, Chenkun Qi2, Fan Shi1

1National University of Singapore2Shanghai Jiao Tong University

作者将 FLASH 布料仿真器用作推理时的前向模型:一个现实到仿真网络从单张 RGB 图像中恢复布料网格,MPPI 在每次执行动作之前,用 256 个并行 rollout 细化蒸馏策略的规划。

要点
  • 完整系统在单臂情况下叠布成功率为 90%,双臂为 80%,而不进行细化时约为 10-30%。
  • 仿真器的选择很重要:在受控对比中 FLASH 的成功率为 95-100%,而 Isaac Sim 和 Newton 均不超过 60%。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

无褶皱的鲁棒性:用于可认证可变形物体操作的并行仿真与鲁棒 MPC(Robustness without Wrinkles: Parallel Simulation and Robust MPC for Certified Deformable Manipulation)

Jeffrey Fang · Georgia Institute of Technology

全部作者

Wei-Chen Li1, Jeffrey Fang1, Sasanka Polisetti1, Yuexi Song1, Glen Chou1

1Georgia Institute of Technology

CORD-SLS 将带有平滑接触的 GPU 并行可微分可变形体仿真器与实时鲁棒输出反馈 MPC 相结合,并使用保形预测(conformal prediction)界定现实与仿真之间的误差,从而实现可认证的绳索和布料操作。

要点
  • 接触平滑所产生的梯度,也使解析策略梯度能以比 PPO 更少的步数收敛。
  • 在硬件上,尽管存在动力学误差和测量误差,鲁棒管仍实现了零障碍物碰撞。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

深度数据损坏下面向 3D 操作策略的噪声不变空间编码(Noise-Invariant Spatial Encoding for 3D Manipulation Policies under Depth Corruption)

Zhiyuan Yang · A*STAR SIMTech / NTU(录像中未提及报告人,显示第一作者)

全部作者

Zhiyuan Yang1,2, Jiaju He1,2, Ruiteng Zhao1,3, Anqi Cheng2, Haiyue Zhu1, Kezhi Mao2

1A*STAR SIMTech2NTU3NUS

NISE 直接从含噪深度中为 3D 操作策略学习空间特征,它利用跨视角监督(判断哪些几何在多个相机之间一致),以及对不确定点位置降权的高斯边缘化 3D 注意力。

要点
  • 在饱和深度噪声下,NISE 在两个仿真基准上比最强基线高出 33-40 个百分点。
  • 在真实的透明和反光物体上,其成功次数约为基线的两倍,例如在试管倾倒任务中为 30 次中 16 次对 6 次。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

SERF:面向长时程移动操作的时空环境与机器人特征地图(SERF: Spatiotemporal Environment and Robot Feature Map for Long-Horizon Mobile Manipulation)

Sunghwan Kim · UC San Diego

全部作者

Sunghwan Kim1, Byeonghyun Pak2, Kehan Long1, Yulun Tian3, Nikolay Atanasov1

1UC San Diego2Agency for Defense Development3University of Michigan

SERF 以一张由神经点构成的时空地图作为 VLA 移动操作策略的条件,该地图同时涵盖环境和机器人本体,通过物体级刚体跟踪和正向运动学在线更新,并在多个坐标系中进行 token 化。

要点
  • 与仅用图像的 pi-0.5 策略相比,以地图为条件的策略能更直接地到达子目标,并完成更多子目标。
  • 显式的 3D 地图为策略提供了一种积累上下文的机制,而仅用图像的基础模型缺乏这种机制。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

面向开放世界移动操作的铰接式 3D 场景图(Articulated 3D Scene Graphs for Open-World Mobile Manipulation)

Martin Büchner · University of Freiburg(录像中未提及报告人,显示第一作者)

全部作者

Martin Büchner1, Adrian Röfer1, Tim Engelbracht2, Tim Welschehold1, Zuria Bauer2, Hermann Blum2,3, Marc Pollefeys2, Abhinav Valada1

1University of Freiburg2ETH Zurich3University of Bonn

MoMa-SG 从 RGB-D 交互视频中构建语义-运动学 3D 场景图:对交互进行分段,根据跟踪点将铰接估计为旋量(twist),并将其与开放词汇物体(包括在容器内发现的物品)关联起来。

要点
  • 一个正则化的旋量模型可以鲁棒地估计移动关节和转动关节。
  • 该场景图在 Toyota HSR 和一台四足机器人上支持了长时程任务,例如根据语言指令打开冰箱并取出牛奶。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

RAM:跨形态的可达性(RAM: Reachability Across Morphologies)

Tim Walter · Technical University of Munich

全部作者

Tim Walter1, Xinyu Chen2,3, Jonathan Külz1, Matthias Althoff1

1Technical University of Munich2German Electron Synchrotron3University of Hamburg

RAM 是一个以形态为条件的隐式神经模型,可预测某个位姿是否可达,并考虑自碰撞;它在 30,000 种形态上的 300 亿个样本上进行了训练。

要点
  • RAM 在未见过的形态上达到 84% 的平衡准确率,比学习式 IK 高出 15 个百分点,同时运行速度快 500 倍以上。
  • 由于可微分,它可将形态优化加速一个数量级以上,且得到的设计质量相当。
第2天录像 · 3 分钟在 YouTube 打开
亮点报告

塑造你的身体:面向多本体机器人设计的价值梯度(Shape Your Body: Value Gradients for Multi-Embodiment Robot Design)

Nico Bohlinger · TU Darmstadt

全部作者

Nico Bohlinger1, Jan Peters1,2,3,4

1TU Darmstadt2Robotics Institute Germany3DFKI4hessian.AI

作者在 50 种足式机器人上、采用大幅度的本体随机化,训练了一个通用运动策略和 critic,然后冻结 critic 并通过它反向传播来优化设计参数。

要点
  • 只需训练一次,即可取代为每个设计单独进行一次协同设计 RL 训练,并可在数秒内优化数千个设计。
  • 优化后的设计常常优于制造商的原始设计,价值梯度还能揭示哪些参数(如执行器设置)限制了性能。
第2天录像 · 3 分钟在 YouTube 打开

主题演讲 II

周二 3:30 PM · Hilton Austin · 主持:Ani Majumdar

1 场报告
主题演讲

在工厂中学习(Learning in the factories)

Russ Tedrake · MIT / Walden Robotics

Tedrake 由 Ani Majumdar 介绍出场,讲述了创立 Walden Robotics(2026 年 1 月成立的 Toyota Research Institute 衍生公司)如何改变了他对机器人学的看法;他认为技术已经成熟,下一个障碍是把通用机器人变成产品。他讲述了 Walden 的首次部署:在严格的正常运行时间和安全要求下,于 Toyota 工厂装载凸轮轴,采用 HG-DAGGER 风格的共享自主,由远程助手协助,并每周进行空中(OTA)模型更新。随后他论证现场部署数据是最有价值的数据,并展示了一项实验:更强的预训练模型收集到的干预数据更少,却从中获得了更大的提升。最后他谈到了用于“少人监督多机”的运行时失败监测、来自 Toyota 生产方式的经验(自働化/jidoka、停线、五个为什么),以及与 Toyota 合作大规模制造机器人。

要点
  • Walden 的凸轮轴部署从未导致产线停线,因为人工远程协助加上 AI 达到了接近 100% 的成功率。
  • 在最近一次大模型训练之后,平均干预间隔提升到约 340 秒,Tedrake 估计这可以让三名远程助手监管 50 台机器人。
  • 在新任务上的共享自主微调中,最强的基础模型回收的干预数据最少(约 1.36 小时,最弱的模型约为 2 小时),但提升最大;因此更强的基础模型会让部署数据更有价值。
  • 对弱模型而言自主率是更好的指标,对强模型而言平均干预间隔更好,因为随着模型改进,干预的性质会发生变化。
  • 只在干预数据上训练会遗漏根本原因;Tedrake 提倡采用 Toyota 式的事后分析,并在失败后进行有针对性的数据采集。
  • 他认为当前的瓶颈是大规模制造机器人,而不是 AI,并通过让机器人制造机器人以及与 Toyota 合作量产来解决这一问题。
第2天录像 · 59 分钟在 YouTube 打开

钻石赞助商报告 IV

周二 4:30 PM · Hilton Austin · 主持:Dhruv Shah

3 场报告
赞助商报告

打造面向家庭的自主人形机器人(Building an Autonomous Humanoid for the Home)

Jonathan Tompson · Meta Robotics Studio (Reality Labs)

Meta Robotics Studio 建模负责人 Tompson 介绍了团队的目标:打造一款既有用(自主完成家务)又令人愉悦(安全、友好、善于沟通)的家用人形机器人,从执行器到前沿模型全栈自研。他没有展示硬件,而是概述了建模方法:一个通用灵巧基础模型,用来自 Aria 眼镜的第一人称人类数据、UMI 风格数据以及部分机器人遥操作数据训练,并用 DAGGER 进行完善。他认为 Meta 的现有资产(Quest 的 SLAM 和手部追踪、SAM 3 和 SAM 3D 等视觉模型、基于 FEM 的仿真器、Muse 前沿模型以及消费级硬件经验)赋予了其优势。

要点
  • Meta 将 Quest 头显的 SLAM 和手部追踪基础设施直接复用到其机器人上。
  • Tompson 现在坚信,仿真(包括对布料、海绵和精细刚体接触的 FEM 仿真)对于通用机器人学至关重要。
  • 显式视觉模型作为智能体调用的工具,在数据筛选、质量检查和状态估计中正变得越来越重要。
  • Meta 正在将机器人数据输入其前沿模型,并进行 RL 后训练,以提升面向机器人任务的智能体式工具调用能力。
第2天录像 · 11 分钟在 YouTube 打开
赞助商报告

扩展机器人智能:从人类经验到自我改进的机器人(Scaling Robot Intelligence: From Human Experience to Self-Improving Robots)

Yongjian Shen · AGIBOT

Shen 介绍了 AGIBOT 以部署为根基的物理 AI 生态:三年内生产了超过 20,000 台机器人,包括在一家平板电脑工厂的部署,以及在广州地铁的 100 多台机器人。他介绍了开放的 AgiBot World 数据集(超过 100 万条轨迹,新版本带有推理标注);AGIBOT 最新的世界-推理-动作模型,它结合了任务推理、未来状态预测和动作生成,并在遥操作数据和第一人称人类数据上训练;在 96 台机器人上进行的机队级集体经验学习;以及将部署经验转化为可复用记忆的 Genie Master。最后他介绍了一个由社区共建的操作基准,该基准当周新增了四个赛道,并对仿真资产进行了真实世界验证。报告中有几段演示视频未能播放。

要点
  • 集体经验学习同时在 96 台实体机器人上运行,AGIBOT 认为这是首次在此规模上的演示。
  • 在一项为期五天的便利店补货实验中,Genie Master 将工作流成功率从 28.6% 提升到 85.7%。
  • 该基准的仿真资产经过调校以匹配真实世界,从而可以测量仿真到现实差距;约有 20 家机构参与贡献,超过 190 个团队在使用。
第2天录像 · 11 分钟在 YouTube 打开
赞助商报告

在 Tesla 构建机器人基础模型(Building Foundational Models for Robotics at Tesla)

Patrick Cho · Tesla

Cho 解释了 Tesla 如何利用学习得到的世界模型构建鲁棒策略,先用于 Cybercab 自动驾驶出租车,再用于 Optimus。Tesla 用世界模型在安全干预后评估反事实情况,在收集到的场景上对新策略进行闭环评估,以及训练策略。训练策略要求模型具备因果性、以动作为条件、多相机一致、低延迟且物理准确。他展示了生成的罕见场景(掉落的树枝、一头大象、驶过水族馆),以及以关节级动作为条件、并与真实值对比的 Optimus 行走和操作 rollout。

要点
  • 将世界模型用于训练而不仅是评估,会大幅提高要求,因为策略会利用任何物理上的不准确之处。
  • 生成未见过的长尾场景是必要的,因为自动驾驶出租车的干预已变得过于罕见,难以用来测试。
  • 对 Optimus 而言,对机器人自身物理进行建模需要目标本体的数据,Tesla 表示这正是扩大 Optimus 产量的动机。
  • 这些世界模型由内部从零开始训练,使其像通用视频生成器一样工作,并以汽车或机器人的实际动作为条件。
第2天录像 · 11 分钟在 YouTube 打开

第3天 · 11月11日 周三

亮点报告 S6 · 优化、智能体规划与评估

周三 8:30 AM · Hilton Austin · 主持:Negar Mehr

8 场报告
亮点报告

RoboKit:加速面向机器人学习的并行可微优化(RoboKit: Accelerating Parallel Differentiable Optimization for Robot Learning)

Jianglong Ye · UC San Diego

全部作者

Jianglong Ye1, Xuanbin Peng1, Conor Mc Gartoll1, Changwei Jing1, Lai Wei1, Jiali Chen1, Xueyan Zou1, Xiaolong Wang1

1UC San Diego

作者介绍了 RoboKit,这是一个批处理的内核级优化工具包,具备解析雅可比矩阵和多种优化器,覆盖 IK、运动规划、重定向、抓取以及基于仿真的 MPC。他们还将优化方法与学习式求解器进行了比较,以说明神经方法在哪些方面有帮助。

要点
  • RoboKit 报告其 IK 比以往框架快约 10 倍,物理重定向快 2 倍,基于渲染的标定快 16 倍,约 70 ms 即可求解 2,000 个 IK 问题。
  • 对于 IK 和运动规划这类适定问题,优化方法已经表现良好,学习方法只能与之持平。
  • 学习方法在以下情况下有帮助:物理很重要时(仿真训练的抓取)、输入是部分点云时,以及速度至关重要时(学习式运动规划快数百倍)。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

面向轨迹扩散的可用于控制的不确定性(Control-Ready Uncertainty for Trajectory Diffusion)

Zhiwei Xue · NUS(录像中未提及报告人,显示第一作者)

全部作者

Zhiwei Xue1, Kam Jia Yue1, Jinhang Qiu1, Yifeng Cheng1, Ege Gursoy2, Jiaming Wang1, Vincent bonnet2, Harold Soh1

1NUS2LAAS-CNRS

作者提出了 SCOPE,它读取扩散模型 score 的曲率来生成轨迹不确定性管,而无需代价高昂的蒙特卡洛采样。这些不确定性管被用作 MPPI 的策略先验,以及人体运动预测,从而实现更安全的导航和操作。

要点
  • score 曲率尖锐意味着轨迹分布紧凑(管窄),score 平坦则意味着分布宽,因此不确定性可以来自单一的学习模块。
  • 作为策略先验时,SCOPE 减少了 MPPI 在狭窄通道中的碰撞;作为预测使用时,它使机器人为行人让行。
  • 在一项有人手闯入的真实抓取放置任务中,将 SCOPE 同时用作先验和预测,使机器人能够提前后退并完成任务。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

基于先验的自由能最小化实现涌现控制(Emergent Control via Prior-Based Free Energy Minimization)

Manish Kolachalam(录像中未提及报告人,显示第一作者)

全部作者

Manish Kolachalam, Rani Malhotra

作者遵循自由能原理,将控制表述为最小化与先验(偏好)状态之间的平方偏差,并将基于模型的变体(Mountain Car、高速公路、目标到达)和无模型变体(Walker)与基于奖励的智能体进行了比较。

要点
  • 自由能目标实现了与 PPO 相当的驾驶行为,在 Walker 上的长时程稳定性优于 SAC,但奖励更低。
  • 与奖励塑形不同,它与任务结构无关,并在反向 Mountain Car 任务上取得成功,而未塑形或塑形错误的奖励则失败了。
  • 在 Mountain Car 和目标到达任务中,它比未塑形的 RL 产生更稠密的优化地形和更强的噪声鲁棒性,但在 Walker 中则不然。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

GaP:面向多变自动化任务的图即策略多智能体自学习框架(GaP: A Graph-as-Policy Multi-Agent Self-Learning Harness For Variational Automation Tasks)

Shuangyu Xie · UC Berkeley

全部作者

Kaiyuan Chen1, Shuangyu Xie1, Letian Fu1, Justin Yu1, William Pacini1, Sandeep Bajamahal1, Hudson Kim1, Jaimyn Drake1, Daehwa Kim1, Haoru Xue1, Jonathan Francis2, Christian Juette2, Peter Schaldenbrand2, Muhammet Yunus Seker2, Ruwan Wickramarachchi2, Uksang Yoo1, Guanzhi Wang3, Adithyavairavan Murali3, Balakumar Sundaralingam3, S. Shankar Sastry1, Yuke Zhu3, Linxi Fan3, Spencer Huang3, Ken Goldberg1

1UC Berkeley2Bosch3NVIDIA

GaP 将机器人程序构建为计算图,其子图由编程智能体编写、测试和修复,面向变体化自动化任务。该智能体框架在仿真中自我学习,并能根据手机视频构建现实到仿真的环境。

要点
  • 以图的形式组织代码,可使智能体编写的策略保持可解释性,并能在没有智能体参与的情况下在机器人上运行。
  • 仿真中的自我学习产生了组合式策略,例如仅用平行夹爪对物体进行勘察、选择、翻转和检查。
  • 当仿真物理与现实不符时,GaP 利用真实世界视频同时更新仿真和图(例如用左侧夹爪稳住一根横杆)。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

趣味智能体机器人学习(Playful Agentic Robot Learning)

Junyi Zhang, Jiaxin Ge · UC Berkeley

全部作者

Junyi Zhang1, Jiaxin Ge1, Hanjun Yoo1, Letian Fu1, Zihan Yang2, Yaowei Liu2, Raj Saravanan1, Shaofeng Yin2, Justin Yu1, Dantong Niu1, Zirui Wang1, Roei Herzig1, Ken Goldberg1, Yutong Bai1, David M. Chan1, Ion Stoica1, Angjoo Kanazawa1, Jiahui Lei1, Haiwen Feng1,2, Trevor Darrell1

1UC Berkeley2Impossible Research

作者让一个具身编程智能体团队在仿真中通过自主玩耍进行练习:提出可学习的任务、编写和调试控制代码,并将成功的例程存入一个冻结的技能库,供之后由外部指定的任务使用。

要点
  • 在留出的 LIBERO-Pro 任务上,玩耍使成功率比不玩耍的代码智能体高出 20.6 个百分点,在第二个基准上高出 17 个百分点。
  • 由玩耍得到的技能库可迁移给另一个智能体,在另一个独立基准上带来 8.9 个百分点的提升。
  • 在仿真玩耍中习得的技能(如抓取选择和拉动方向辅助函数)可组合成真机任务,例如交换两个立方体,且无需任何真实世界的玩耍或微调。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

Meta-Ctrl:通过解耦语法与语义约束实现有保证的规划生成(Meta-Ctrl: Guaranteed Plan Generation by Decoupling Syntactic and Semantic Constraints)

Gwen Yidou-Weng, Edward Sun · UCLA

全部作者

Gwen Yidou-Weng1, Edward Sun1, Tianyi Ma2, Metin Alp Dogan1, Benjie Wang1, Allen Peng1, Guy Van den Broeck1, Yuchen Cui1

1UCLA2Michigan State University

Meta-Ctrl 是一种约束解码方法,可保证 LLM 生成的机器人规划满足整体规划层面的规则,包括前置条件和目标可达性。它在一次反向传递中计算部分规划仍能到达目标的概率,并针对每个动作级 meta token 跟踪世界状态,同时单独检查语法。

要点
  • 逐步掩码可以拦截非法动作,但无法阻止停滞不前或永远到达不了目标的规划,因此需要对目标进行前瞻。
  • 将每个动作视为一个 meta token 并将语法与世界状态解耦,可避免状态爆炸(在 token 级方法中约为 3.5 亿个状态,存储超过 100 TB)。
  • 在 VirtualHome 上,Llama 3B 的成功率从 20% 提升到 90%;真机规划 20/20 次均有效,而无引导模型仅约 2 次有效。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

交互式机器人规划中用于意图消歧的贝叶斯主动学习(Bayesian Active Learning for Intent Disambiguation in Interactive Robot Planning)

Huao Li · MIT

全部作者

Huao Li1, Carson Sobolewski1, Augustinos D Saravanos1, Yew Teck Tan2, John Karigiannis2, Chuchu Fan1

1MIT2GE Vernova

作者使用时序逻辑(STL)作为连接意图澄清与规划的共享表示。他们维护一个关于任务规约的贝叶斯信念,通过主动学习选择信息量大的澄清问题,然后将推断出的 STL 交给形式化规划器。

要点
  • 仅由 LLM 主导澄清,会产生流于表面的问题,可能遗漏环境上下文。
  • 从学习得到的任务规约潜空间中采样,有助于探索 LLM 可能忽略的意图。
  • 在使用四足机器人的工厂巡检场景中,该框架在提问更少的同时提高了任务成功率。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

ATOM-Bench:面向操作策略原子技能与组合泛化的真实世界基准(ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies)

Zenan Wu · BAAI / Peking University(录像中未提及报告人,显示第一作者)

全部作者

Zenan Wu1,2, Bingqing Wei1,2, Lu Liu1, Zheqi He1, Wang Xi1, liujiakang1, lizehui1,2, Guocai Yao1, Jing-Shu Zheng1, Xi Yang1, Yongtao Wang2

1BAAI2Peking University

ATOM-Bench 是一个真实世界基准:仅在原子级运动技能和指令技能上微调策略,然后测试它们能否在留出的组合任务上重新组合这些技能。它报告任务完成度、部分进展、原子能力和诊断分数。

要点
  • 该基准在 Franka 和另一个机器人平台上定义了六类运动原子和七类指令原子。
  • 在五种策略中,简单的指令落地最容易,而精确运动控制、计数和组合泛化仍然困难。
  • 即使策略在每个单独的原子上都能成功,当需要在单一任务中组合这些原子时仍可能失败。
第3天上午录像 · 3 分钟在 YouTube 打开

亮点报告 S7 · 人形机器人行走与全身控制

周三 9:00 AM · Hilton Austin · 主持:Roberto Martín-Martín

9 场报告
亮点报告

Kamino:基于 GPU 的含运动学闭环刚性多体物理仿真(Kamino: GPU-based Simulation of Rigid Multi-Body Physics with Kinematic Loops)

Vassilios Tsounis · Disney Research

全部作者

Vassilios Tsounis1, Guirec Maloisel1, Christian Schumacher1, Ruben Grandia1, Agon Serifi1, David Müller1, Chris Amevor2, Tobias Widmer2, Moritz Bächer1

1Disney Research2NVIDIA

Kamino 是 NVIDIA Newton 框架中基于 GPU 的物理求解器,用于对含运动学闭环的刚性多体系统进行大规模并行仿真。其研发动机来自 Disney 复杂的 audio-animatronic 动画人偶;报告过程中演讲者的幻灯片与视频出现了不同步。

要点
  • Kamino 采用约束最大坐标表述,能够处理运动学闭环、多接触耦合和大质量比,同时在大时间步长下保持稳定。
  • 它可同时仿真数千个异构世界,因此单个 RL 策略可以控制具有不同肢体数量的蚂蚁变体。
  • Newton 提供了一个带有六个运动学闭环的公开演示双足机器人,Kamino 已在解析玩具问题上与 XPBD 和 MJWarp 进行了对比验证。
第3天上午录像 · 4 分钟在 YouTube 打开
亮点报告

PHUMA:物理可靠的人形机器人运动数据集(PHUMA: Physically Reliable Humanoid Locomotion Dataset)

Kyungmin Lee · KAIST

全部作者

Kyungmin Lee1, Sibeen Kim1, Youngdo Lee2,3, Minho Park1, Hyunseung Kim1,2, Dongyoon Hwang1, Donghu Kim3, Hojoon Lee3, Jaegul Choo1

1KAIST2KRAFTON3Holiday Robotics

PHUMA 是一个 73 小时的人形机器人运动数据集,由动作捕捉和互联网视频构建而成。物理上无效的动作被过滤掉,其余动作通过物理感知的正则化重定向到 G1 和 H1 上。

要点
  • 作者认为物理可靠性与数据集规模同样重要:小而干净的数据集(LAFAN)和大而嘈杂的数据集(Humanoid-X)都表现落后。
  • 重定向会惩罚关节限位违反、悬浮、穿透和脚部滑动。
  • 用 PHUMA 训练的跟踪器在未见过的动作上成功率最高,可零样本迁移到硬件,并随着视频数据的增加而持续提升。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

LadderMan:学习人形机器人感知式爬梯(LadderMan: Learning Humanoid Perceptive Ladder Climbing)

Siheng Zhao · Amazon FAR / USC(录像中未提及报告人,显示第一作者)

全部作者

Siheng Zhao1,2, Yuanhang Zhang1, Ziqi Lu1, Pieter Abbeel1,3, Rocky Duan1, Koushil Sreenath1,3, Yue Wang2, Karen Liu1,4, Guanya Shi1,5

1Amazon FAR2USC3UC Berkeley4Stanford University5Carnegie Mellon University

LadderMan 使人形机器人能够借助感知攀爬各种梯子,并在梯子上进行操作。通过单一参考动作进行混合动作跟踪训练得到的专家策略,被蒸馏为一个基于深度的视觉运动策略。

要点
  • 放宽上半身跟踪,并结合以梯子为中心的接触奖励和抓附奖励,免去了对大规模动作数据集的需求。
  • 深度基础模型缩小了仿真到现实的深度差距,无需大量深度随机化或手动调参。
  • 双智能体设置将下半身稳定与上半身操作分开,从而能够在梯子上完成更换灯泡、递送箱子等任务。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

TactileStep:用于调节人形机器人行走中足-地交互的足底触觉学习(TactileStep: Sole Tactile Learning for Regulating Foot--Terrain Interaction in Humanoid Locomotion)

Zizhuo Wang · Tsinghua University(录像中未提及报告人,显示第一作者)

全部作者

Zizhuo Wang1, Ming-Ju Lee1, Shaoting Zhu1, Haozhe Lou1, Hang Zhao1, Yiming Li1

1Tsinghua University

TactileStep 为人形机器人行走加入了足底压力感知。它将鞋垫读数压缩为法向力、接触面积和压力中心,并在 Unitree G1 上使用分阶段奖励来调节触地、着地峰值和支撑相支撑。

要点
  • 这三个紧凑的触觉特征与传感器布局无关,因此同样的特征可在仿真和硬件上使用。
  • 与基线相比,TactileStep 着地更轻柔、更安静,并在支撑相保持更多的足底接触,在楼梯上尤为明显。
  • 使用相同奖励但不含触觉输入训练的变体失去了大部分收益,说明感知本身很重要。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

OpenHLM:人形机器人全身移动操作的经验配方(OpenHLM: An Empirical Recipe for Whole-Body Humanoid Loco-Manipulation)

Haodong Zhu · Tsinghua University

全部作者

Yingdong Hu1,2,3, Haodong Zhu1, Boyuan Zheng1,2, Yihang Hu1,2, Tong Zhang1,2,3, Zunhao Chen1, Junming Zhao1, Ruiqian Nai1, Yang Gao1,2,3

1Tsinghua University2Shanghai Qi Zhi Institute3Spirit.AI

OpenHLM 是一项关于如何让全身人形机器人 VLA 有效工作的实证研究。它涵盖遥操作接口、VLA 设计和更廉价的数据来源,使用由 pi-0 初始化的高层策略和 SONIC 底层跟踪器。

要点
  • 全身遥操作使脚部得以使用,关节空间重定向的平均任务进展达到 88%,而基于 SMPL 的目标为 75%。
  • 同时使用相对动作目标并去掉本体状态感知,会导致灾难性失败。
  • 加入固定式遥操作数据和人类(UMI 风格)数据,使在新物体和新指令上的进展从 36% 提升到 84%;完整方案在一项长时程水果任务上达到 87.5%,而所用演示时间不到一半。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

利用稀疏离线到在线 RL 从 SMPC 演示中学习移动操作(Learning Loco-Manipulation From SMPC Demonstrations With Sparse Offline-to-Online RL)

Martin Schuck · RAI Institute / TU Munich

全部作者

Martin Schuck1,2, Maks Sorokin1, Simone Manni1,3, Duy Ta1, Angela P. Schoellig2, Marco Hutter1,3, Simon Le Cleac'h1, Jan Brüdigam1

1RAI Institute2TU Munich3ETH Zurich

作者将仿真中基于 GPU 采样的 MPC 扩展为一个大规模的移动操作离线演示数据集,然后使用离线到在线 RL(FastTD3)以稀疏奖励进行训练,避免了手动设计稠密奖励。

要点
  • 基于采样的 MPC 无需训练,可在仿真中几分钟内迭代出良好行为,是一种廉价的专家。
  • 纯用稀疏奖励训练的策略可零样本迁移到带机械臂的 Spot 上,包括推箱子和滚轮胎。
  • 同一流水线在 Unitree G1 上也同样有效,显示出跨本体的适用性。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

CMP:通过能力流形投影实现面向移动操作的鲁棒全身跟踪(CMP: Robust Whole-Body Tracking for Loco-Manipulation via Competence Manifold Projection)

Ziyang Cheng · Tsinghua University(录像中未提及报告人,显示第一作者)

全部作者

Ziyang Cheng1, Haoyu Wei1, Hang Yin1, Xiuwei Xu1, Bingyao Yu1, Jie Zhou1, Jiwen Lu1

1Tsinghua University

能力流形投影(Competence Manifold Projection)将不可行或分布外的指令投影到策略真正掌握的动作上,从而使全身跟踪器对此类指令保持鲁棒。它将 MDP 简化为单步安全性测试,使用 GAE 风格的能力估计,并在同构潜空间中通过一次范数检查进行修正。

要点
  • 机器人不会灾难性失败,而是尽力而为,例如在没有箱子时将上台阶变为向前迈步,或在没有椅子时被要求坐下则改为下蹲。
  • 在分布外(OOD)指令下,真实世界的存活率从 0% 提升到 87%,额外延迟和跟踪误差几乎可以忽略。
  • 这种安全性不以牺牲分布内敏捷性为代价,仍可完成类似云台的末端执行器保持和空中接物。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

ResSafe:利用残差强化学习为人形机器人学习安全过滤(ResSafe: Learning Safety Filtering with Residual Reinforcement Learning for Humanoids)

Gechen Qu · UC Berkeley

全部作者

Gechen Qu1, Tong Zhang1, Bike Zhang1, Yen-Jen Wang1, Koushil Sreenath1, Claire Tomlin1, Jason Jangho Choi2

1UC Berkeley2UCLA

ResSafe 冻结一个只追求性能的人形机器人策略,并训练一个添加安全修正的残差 RL 策略。奖励很简单:每存活一步 +1,并对修正量施加小幅惩罚。

要点
  • 将安全与性能解耦,比在两个目标上训练单一策略取得了更好的权衡。
  • 在 cart-pole 上,学到的残差与由判别超平面得到的最小安全滤波器高度吻合,裕度略大。
  • 在带随机负载的 G1 上,ResSafe 的摔倒次数远少于基线,并能泛化到未见过的参考策略。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

基于全身视觉-语言-动作模型的杂乱环境人形机器人导航(Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model)

Yuxin Chen · UC Berkeley / NVIDIA

全部作者

Anqi Li1,2, Yuxin Chen1,3, Zhaobo Li1, Zhuo Cao1,4, Junli Ren1,5, Masayoshi Tomizuka1, Dhruv Shah6

1UC Berkeley2Peking University3NVIDIA4Tsinghua University5The University of Hong Kong6Princeton University

作者提出了一个三系统的全身 VLA,用于人形机器人在杂乱室内场景中的导航。导航基础模型、带实时分块的扩散 transformer 动作专家,以及 RL 底层跟踪器,在超过 64,000 条带语言的仿真轨迹上进行训练。

要点
  • 平面 2D 动作空间限制了在 3D 障碍物之间的导航,而这需要协调手臂、躯干和步态。
  • 训练数据完全来自仿真,上半身避障使用势场,下半身使用脚步重定向。
  • 该模型在 2D 和 3D 导航基准上报告了最先进的结果,并通过远程推理在真实的 Unitree G1 上运行。
第3天上午录像 · 3 分钟在 YouTube 打开

亮点报告 S8 · 感知、导航与自主系统

周三 9:30 AM · Hilton Austin · 主持:Hang Zhao

9 场报告
亮点报告

VisionSIM:超越理想化传感器——面向机器人感知的多模态仿真器(VisionSIM: Beyond Idealized Sensors — A Multi-Modal Simulator for Robot Perception)

Sacha Jungerman · UW–Madison

全部作者

Sacha Jungerman1, Kaustubh Sadekar2, Avery Gump1, Sriram Narayanan3, Shantanu Gupta1, Bhuyashi Deka1, Srinivasa Narasimhan3, Atul Ingle2, Mohit Gupta1

1UW–Madison2Portland State University3Carnegie Mellon University

VisionSIM 是一个以物理为基础的多传感器仿真器,将传感器真实感视为首要关注点。它对相机、事件相机、SPAD、飞行时间(ToF)和热成像传感器进行建模,提供原始测量和可配置参数。

要点
  • 现有仿真器要么以高保真度覆盖少数模态,要么以理想化模型覆盖众多模态,VisionSIM 旨在推进这一权衡前沿。
  • 环境光干扰、模糊、ToF 相位卷绕以及依赖历史的热效应等失效模式,会从传感器物理中自然涌现。
  • 作者发布了一个大规模、同步的多模态室内数据集,并附有真值标注。
第3天上午录像 · 4 分钟在 YouTube 打开
亮点报告

MosaicIMU:组合载体专家实现可泛化的神经惯性里程计(MosaicIMU: Composing Carrier Experts for Generalizable Neural Inertial Odometry)

Junye Zou · Tsinghua University(录像中未提及报告人,显示第一作者)

全部作者

Junye Zou1, Huiyi Yan2, Xinning Xu3, Xiaolei Li4, Pengkun Zhou1, Jinhui Zhang5, Ziyang Meng1

1Tsinghua University2Xi'an Jiaotong University3Beijing University of Chemical Technology4Beijing Information Science and Technology University5Beijing Institute of Technology

MosaicIMU 是一个以载体为条件的混合专家模型,用于跨异构平台的神经惯性里程计。它将预测的速度与一个感知历史的 EKF 融合,并提供两种自适应模式:用于离线自适应的轻量级残差分支,以及用于在线自适应的基于路由器的样本选择。

要点
  • 固定的逐载体输出头对载体身份的处理过于僵硬,而按样本组合专家特征的迁移效果更好。
  • 预训练的 MosaicIMU 在各载体上将平均 ATE 和 RTE 分别降低了 40% 和 34%。
  • 在运行于 Jetson Orin 的校园车辆上进行在线自适应时,轨迹误差从 42.60 m 降至 7.60 m。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

Anchor3R:基于瞬态锚点的流式 3D 重建,用于长时程视觉建图(Anchor3R: Streaming 3D Reconstruction with Transient Anchors for Long-Horizon Visual Mapping)

Peilin Tao · Institute of Automation, Chinese Academy of Sciences / University of Chinese Academy of Sciences / Horizon Robotics

全部作者

Peilin Tao1,2,3, Chong Cheng3,4, yuansen du3, Caiwei Song3, Zhengqing Chen3, Xiaoyang Guo3, Wei Yin3, Weiqiang Ren3, Qian Zhang3, Hainan Cui1,2, Shuhan Shen1,2

1Institute of Automation, Chinese Academy of Sciences2University of Chinese Academy of Sciences3Horizon Robotics4HKUST (Guangzhou)

Anchor3R 将当前帧视为临时锚点而非固定参考,从而实现长时程的流式 3D 重建。它在有界窗口内预测相对位姿,并将在线运动平均与回环闭合相结合。

要点
  • 仅用 48 帧的片段训练,它就能重建约 12,000 张图像、近 3 km 的路线。
  • 在锚点移动时重建位姿查询,可阻止过时的坐标假设向后传播,并使训练与推理保持一致。
  • 固定大小的窗口使 GPU 显存保持有界,无需分块重置或跨块对齐。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

SidewalkBench:城市人行道视觉导航基准(SidewalkBench: Benchmarking Visual Navigation on Urban Sidewalks)

Zhizheng Liu · UCLA

全部作者

Zhizheng Liu1, Honglin He1, Vivek Alumootil1, Akshat Pandya2, Brad Squicciarini2, Wayne Wu1, Bolei Zhou1,2

1UCLA2Coco Robotics

SidewalkBench 是一个基于 GPU 仿真的基准,用于城市人行道上的纯相机视觉导航。它结合了程序化生成场景和真实扫描场景,以及由事件触发的行人行为,并评估单元测试、行人响应和长时程三类场景。

要点
  • 在参与评测的九个模型中,用人行道数据训练的模型远优于通用导航模型,且数据越多效果越好。
  • 与行人的交互(如人行横道和停止手势)是几乎所有模型的主要弱点。
  • 即使是最好的模型,在长时程路线上平均每 100 m 也有 0.68 次失败。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

视觉-语言导航中从区域到达到实例级定位(From Region Arrival to Instance-Level Grounding in Vision-and-Language Navigation)

Xiangyu Shi · Adelaide University(录像中未提及报告人,显示第一作者)

全部作者

Xiangyu Shi1, Ruoxi Yang2, Wei Tao2, Jiwen Zhang3, Yanyuan Qiao4, Qi Wu1

1Adelaide University2Ruyi Dynamics3Fudan University4EPFL

作者发现视觉-语言导航中存在“最后 3 米落地差距”(last-3-meter grounding gap):智能体只要进入半径范围内就算成功,却并未面向或看到目标。他们提出了实例级指标、一个新数据集,以及即插即用的细化模块 REALM。

要点
  • 真正的成功应要求停在目标物体附近、面向目标并能看到它。
  • REALM 仅使用第一人称 RGB 和指令,采用可见性感知的停止机制,并用 OWLv2 对目标进行落地,无需修改主干网络。
  • 它在真实机器人上接在 UniNaVid 之后进行了演示,并在 Unitree G1 上用于导航并抓取的任务。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

OSCAR:面向自适应机器人导航的障碍物生存曲线(OSCAR: Obstacle Survival Curves for Adaptive Robot Navigation)

Hshmat Sahak · University of Toronto(录像中未提及报告人,显示第一作者)

全部作者

Hshmat Sahak1, Aoran Jiao1, Nicholas Rhinehart1, Timothy Barfoot1

1University of Toronto

OSCAR 学习按类别划分的生存函数,以刻画障碍物在路网上会持续存在多久。它据此为每次遭遇设定耐心阈值,决定是等待还是绕行,并由一个 VLM 对每个障碍物进行分类。

要点
  • 诸如始终等待、始终绕行或只为行人等待之类的固定规则会浪费时间,因为它们忽略了障碍物在特定环境中实际持续的时长。
  • 绕行会产生右删失观测,而生存模型可以自然地处理这类数据。
  • 在仿真中,OSCAR 随经验积累而改进,接近拥有真实生存函数的 oracle,并优于启发式基线。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

TRIAD Planner:面向自动驾驶的三层级鲁棒模仿学习(TRIAD Planner : Three-Level Robust Imitation Learning for Autonomous Driving)

Jiyun Kim · KAIST

全部作者

Jiyun Kim1, Ahmad Mouri Zadeh Khaki1, Kyunghwan Choi1

1KAIST

TRIAD 从三个层面应对 Transformer 驾驶规划器中的分布偏移:约束对自车状态的过度注意力,加入离线由 VLM 得出的交通参与者优先级引导,并在轨迹选择时使用基于 CVaR 的尾部风险加权。

要点
  • 模仿学习得到的规划器可能会在自车状态特征上走捷径,例如在专家因行人而停车时反而加速。
  • 仅在训练时使用的 VLM 优先级权重,会将注意力引向相关的交通参与者,例如正在横穿的行人。
  • 闭环 nuPlan 性能得到提升,且不增加推理时间。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

基于掩码误差有界神经符号扩散的运行约束下 UAV-UGV 团队协同规划(Collaborative Planning for UAV-UGV Teams under Operational Constraints via Masked Error-bounded Neuro-Symbolic Diffusion)

Zihao Deng · UMass Amherst(录像中未提及报告人,显示第一作者)

全部作者

Zihao Deng1, Qianhuang Li1, Maggie Wigness2, John G. Rogers III2, Donghyun Kim1, Hao Zhang1

1UMass Amherst2DEVCOM Army Research Laboratory

作者使用一个掩码神经符号扩散模型,为 UAV-UGV 团队规划联合动作,其中 UGV 充当移动充电站。由逻辑导出的可容许性在采样过程中强制满足能量、可通行性和充电约束。

要点
  • 在异构图上下文上定义的一阶逻辑规则,使硬性运行约束能够在扩散采样内部得到强制执行。
  • 误差有界的推理调度通过最小化预测熵来选择下一个要解除掩码的位置,从而提升规划的最优性。
  • 该方法在 ROS 城市仿真以及使用 Crazyflie UAV 和 LIMO UGV 的混合现实环境中得到了验证。
第3天上午录像 · 3 分钟在 YouTube 打开
亮点报告

SCoCaT:面向航天器对接的成功条件约束强化学习(SCoCaT: Success Conditioned Constrained Reinforcement Learning for Spacecraft Docking)

Aman Arora · University of Luxembourg

全部作者

Aman Arora1, Ricard M Castan1, Matteo El-Hariry1, Miguel Olivares-Mendez1

1University of Luxembourg

SCoCaT 修复了基于终止的约束 RL(CaT)在航天器对接等目标到达任务中的一种失效模式:智能体为避免违反约束而在目标附近悬停。它加入了一个成功 critic,其回报在提前终止之后仍进行自举。

要点
  • 作者推导出一个因子 kappa,解释了随机终止如何压低目标附近的价值并导致悬停行为。
  • 在 PPO 中将成功 critic 的优势与经过衰减的 CaT 分支的优势相加,可在不违反约束的情况下恢复目标到达能力。
  • 该方法在浮动平台上使任务完成率提高了 250 倍,并零样本迁移到真实的配备推进器的试验台上。
第3天上午录像 · 3 分钟在 YouTube 打开

主题演讲 III

周三 3:00 PM · Bass Hall · 主持:Yuke Zhu & Peter Stone

1 场报告
主题演讲

Atlas:用于生成与重建的统一世界模型(Atlas: A Unified World Model for Generation and Reconstruction)

Fei-Fei Li · Stanford University / World Labs

在她以前的博士生 Yuke Zhu 介绍之后,Fei-Fei Li 指出,机器人学的核心需求(表示世界、预测动作的后果以及仿真数据)都可以映射为世界建模问题。她介绍了 World Labs 的 Atlas:一个从零开始训练的多模态自回归扩散 transformer,可接收文本、图像、视频、深度或灰盒输入,并输出以相机为条件的画面帧。Atlas 在一个模型中涵盖了稠密重建、基于少量视角的稀疏重建和纯生成,并以分别用 2、8 和 33 张地面照片重建 Stanford 的 Main Quad 为例加以说明。她展示了第三方评测中出色的相机控制生成结果、深度和高斯泼溅重建结果、一个 15 fps 的实时蒸馏版本,以及早期的机器人仿真到现实应用。原计划首映的一段宣传视频因音视频故障未能播放,导致接近结尾时出现了长时间的停顿。

要点
  • Li 将 Atlas 的核心思想描述为“viewpoint is all you need”:在强相机条件下预测下一个视角,类似于预测下一个 token。
  • 一个模型覆盖了从稠密重建、稀疏重建到纯文本生成的完整范围。
  • 在一个包含约五十万条人类评判的第三方基准上,Atlas 在相机控制生成方面以明显优势排名第一。
  • Atlas 在七个数据集的深度预测上击败了专用模型,并在高斯泼溅重建误差上具有竞争力。
  • 蒸馏后的实时版本以 15 fps 运行,World Labs 正在测试用 Atlas 世界训练导航和操作机器人,并零样本部署到真实环境中。
Fei-Fei Li on stage49:10 – 1:16:22
第3天下午录像 · 27 分钟 · 在 YouTube 播放

炉边谈话

周三 3:00 PM · Bass Hall · 主持:Yuke Zhu & Peter Stone

1 场报告
炉边谈话

炉边谈话:Fei-Fei Li 与 Lisa Su(Fireside Chat: Fei-Fei Li & Lisa Su)

Fei-Fei Li (Stanford University / World Labs), Lisa Su (AMD), Peter Stone (UT Austin / Sony AI; moderator)

Peter Stone 主持了 Lisa Su(AMD 董事长兼 CEO)与 Fei-Fei Li 之间的对话,话题围绕 AMD 正在进行的对 World Labs 的收购,以及 Li 即将出任 AMD 首席科学家展开。Su 认为物理 AI 和机器人是一个价值数千亿美元的机会,需要软硬件协同设计以及从云端到边缘各种规模的算力。Li 主张 AI 就是计算,并称未能为公共部门提供资源是当下最大的失误之一;Su 承诺 AMD 将为学术研究专门提供算力。在回答观众提问时,他们讨论了 AMD 是否会组建机器人团队、读博士是否仍然值得、高能效 AI 与大脑 20 瓦功耗的对比,以及给学生的建议。

要点
  • Su 认为不会有单一模型在所有应用中胜出:前沿 LLM 将与更便宜、更节能、延迟更低的专用模型互为补充。
  • Li 认为机器人学将把算力推向新的高度,无论是在训练端还是在边缘端。
  • Li 呼吁提供公共部门算力(并以 NAIRR 计划为例),认为这对于探索性研究、人才培养和对 AI 的独立评估至关重要。
  • Su 表示 AMD 已有机器人和物理 AI 研究工作,并计划在 Li 的领导下大幅增加投入。
  • 两人都认为,对于受好奇心驱动的人来说读博士是值得的;Li 还指出,大脑的高效率反映了数十亿年的进化,不应将其与训练成本混为一谈。
  • 他们的临别建议是:坚守好奇心、正直和无畏等永恒的价值观(Li),以及迎难而上、奔向最难的问题(Su)。
Fei-Fei Li on stage1:16:22 – 1:50:52
第3天下午录像 · 35 分钟 · 在 YouTube 播放

小组辩论

周三 4:00 PM · Bass Hall · 主持:Vincent Vanhoucke

1 场报告
小组讨论

辩论:“当前以行为克隆预训练加领域内微调为主的路线将带来具备商业可行性的通用机器人”(Debate: "The current recipe of behavior cloning pre-training and in-domain fine-tuning will lead to commercially viable generalist robots")

Vincent Vanhoucke (Waymo), Chelsea Finn (Stanford University / Physical Intelligence), Pulkit Agrawal (MIT / Eka Robotics), Marc Toussaint (Technical University Berlin), Leslie Kaelbling (MIT), Edward Johns (Imperial College London / Machenta), Yonatan Bisk (Carnegie Mellon University)

Vincent Vanhoucke 主持了一场正式辩论,辩题为:当前“行为克隆预训练加领域内微调”的方案将带来具有商业可行性的通用机器人。他将“通用”定义为在明确界定的领域内可由终端用户零样本地重新指派任务,将“具有商业可行性”定义为依靠客户收入实现盈利。Chelsea Finn、Pulkit Agrawal 和 Marc Toussaint 为正方,理由包括大规模领域内数据、以可靠性为优化目标,以及抓取放置这类狭窄但利润丰厚的领域。Leslie Kaelbling、Edward Johns 和 Yonatan Bisk 为反方,指出用人类演示覆盖状态空间的成本、异构架构,以及需要超越模仿的推理能力。辩论前后的现场投票显示,观众倾向反方,且观点几乎没有变化。

要点
  • Finn 认为可靠性是商业价值的关键,而可靠性来自大规模领域内数据加上以成功为优化目标的后训练,LLM 正是这样变得有用的。
  • Kaelbling 认为 BC 尚未展现出“爆炸式泛化”,因为与语言不同,物理任务并不是为了可学习而设计的;她还认为学习得到的模型比策略更易于解耦。
  • Johns 认为,花钱雇人采集特定任务的数据对大多数任务来说并不经济(叠衣服是例外),并指出仿真可能是一条出路。
  • Agrawal 认为系统2规划已在很大程度上被 LLM 解决,瓶颈在于系统1的富接触控制,正确的指标是吞吐量(速度乘以可靠性),而非准确率。
  • Toussaint 认为,即便这不是最好的科学,狭窄的商业领域也可以靠数据覆盖;Bisk 则认为,仅靠模仿无法产生安全关键部署所需的、对未见情形的推理能力。
  • 辩论的很大一部分围绕定义展开,例如仿真和 RL 微调是否算作“当前方案”的一部分。
Vincent Vanhoucke on stage1:52:41 – 2:40:50
第3天下午录像 · 48 分钟 · 在 YouTube 播放

闭幕式、颁奖与告别

周三 5:00 PM · Bass Hall

2 场报告
闭幕

音乐插曲:机器人指挥的弦乐四重奏(Musical Interlude: Robot-Conducted String Quartet)

Peter Stone · UT Austin

大会主席 Peter Stone 与大提琴手 Shu Scott、中提琴手 Alan Chen 和小提琴手 Mary Brown 组成弦乐四重奏,Stone 担任小提琴,四人都与 UT Austin 有渊源。他们演奏了 Dvořák《“美国”弦乐四重奏》('American' String Quartet)的最后一个乐章,以及 Turtle Island String Quartet 的《Spider Dreams》。原定由一台机器人担任指挥,但因技术故障未能登场。随后 Yuke Zhu 向 Stone 致谢,并预告了颁奖环节。

要点
  • 原定的机器人指挥因技术故障未能出场,Stone 打趣说这是当天又一次音视频故障。
  • 这段插曲被定位为展示顶尖研究者也能在其他领域出类拔萃。
  • 插曲之后直接进入闭幕式和最佳论文颁奖。
Peter Stone on stage2:40:52 – 2:57:37
第3天下午录像 · 17 分钟 · 在 YouTube 播放
闭幕

闭幕致辞、颁奖与告别(Closing Remarks, Awards & Farewell)

Yuke Zhu (UT Austin / NVIDIA), Georgia Chalvatzaki (TU Darmstadt), Katerina Fragkiadaki (Carnegie Mellon University), Vincent Vanhoucke (Waymo), Ken Goldberg (UC Berkeley), Peter Stone (UT Austin / Sony AI)

大会主席 Yuke Zhu 感谢了组委会、审稿人、Robot Learning Foundation、约 75 名志愿者和各赞助商,并指出今年会议规模大约扩大到原来的三倍。评奖委员会主席 Katerina Fragkiadaki 介绍说,委员会阅读了全部 21 篇口头报告论文,选出六篇入围论文(SuperMimic、Play2Perfect、GRAIL、RoboTTT、What Are We Actually Benchmarking in Robot Manipulation?,以及蒸馏树搜索重排论文),并评出两个获奖者。最佳学生论文奖授予 RoboTTT,最佳会议论文奖授予 SuperMimic。Vincent Vanhoucke 宣布将推出全年接收投稿的 Transactions on Robot Learning,并自明年起设立时间检验奖(Test of Time award);Ken Goldberg 谈到了机器人领域的“收入危机”,并宣布 CoRL 2027 将在巴黎举办。

要点
  • 最佳学生论文奖:RoboTTT: Context Scaling for Robot Policies。
  • 最佳会议论文奖:SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model。
  • 评奖标准包括重要性与长期影响、原创性、技术严谨性、表述清晰度,以及可复现性与开放性。
  • 新的 Transactions on Robot Learning 全年接收投稿,优秀论文将在 CoRL 上报告;面向 2017 年及以后论文的时间检验奖将于明年启动。
  • Goldberg 认为该领域现在必须在可靠性、吞吐量和可解释性上兑现,才能获得收入,并宣布 CoRL 2027 将在巴黎举办。
Yuke Zhu on stage3:00:53 – 3:26:37
第3天下午录像 · 26 分钟 · 在 YouTube 播放