CoRL 2026 — 모든 발표, AI가 분석하다

로봇 학습 학회 CoRL 2026 (미국 텍사스주 오스틴, 11월 9–12일)은 메인 프로그램 전체를 네 개의 긴 녹화 영상으로 중계했습니다. 이 페이지는 이를 개별 발표로 나눕니다: 기조연설, 구두 발표, 스포트라이트, 스폰서 발표, 그리고 토론 패널. 각 항목에는 짧은 요약, 핵심 내용, 그리고 해당 발표 구간만 재생하는 플레이어가 있습니다.

요약은 중계 자막과 논문 초록을 바탕으로 작성했습니다. 각 논문은 가능한 경우 arXiv와 프로젝트 페이지, 그리고 OpenReview에 연결됩니다. 제목은 번역하고 영어 원문을 괄호 안에 함께 표기했으며, 이름과 소속은 영어로 유지했습니다.

면책 조항: 이 페이지는 Claude Opus 5.5로 생성되었으며 완전히 검토되지 않아 오류가 있을 수 있습니다. 한국어 번역 역시 AI로 작성되었습니다. 세부 사항은 원본 녹화나 논문에서 확인하세요. 모든 발표, 논문, 슬라이드, 녹화의 권리는 해당 저자와 CoRL 2026에 있습니다.

컨퍼런스 개요

CoRL 2026은 규모가 세 배로 커졌고 핵심 구성 요소(대규모 사전학습 정책, 인간 영상, 월드 모델, 프런티어 모델 플래너)에 대해서는 대체로 수렴했지만, 그 레시피가 누군가 돈을 내고 살 로봇을 만들어 낼지를 두고는 공개적으로 논쟁을 벌였다.

제출 논문
2,094
프로그램 위원장에 따르면 2025년 ~700편에서 증가; 687편 채택
채택률
32.8%
예년과 비슷한 수준; 구두 발표는 채택 논문의 ~3%, 스포트라이트 72편
참석자
~4,800
총괄 위원장에 따르면 2025년의 약 두 배
리뷰어
2,400+
올해 새로 도입된 23명의 시니어 영역 위원장 별도
채택된 late-breaking 결과
89건 중 39건
새로운 에이전틱 로보틱스 및 real-to-sim-to-real 트랙
환각 인용으로 인한 데스크 리젝트
~12
CoRL이 이를 처음으로 검사한 해

열 번째 CoRL에는 2,094편의 논문이 제출되어 2025년의 약 700편보다 약 세 배 늘었고, 오스틴의 세 개 행사장에 약 4,800명이 참석했다. 프로그램 위원장들은 포스터 전용 트랙과 3분 스포트라이트를 추가해 32.8%의 채택률과 단일 트랙을 유지했다. 제출 논문의 상위 키워드는 조작, 모방학습, 인지/제어 표현, RL, 로봇 파운데이션 모델이었으며, 채택 논문도 이 분포를 거의 그대로 따랐다. 에이전틱 로보틱스와 real-to-sim-to-real에 관한 새로운 late-breaking 트랙은 불과 몇 달 전에 공개된 프런티어 모델에 대응한 것이다.

무대 위에서 기술적 그림은 전략적 그림보다 더 정리되어 있었다. Physical Intelligence, NVIDIA, Google DeepMind와 여러 학계 연구실은 같은 스택을 제시했다. BC로 사전학습한 대규모 정책, 규모 확보를 위한 인간 1인칭 시점 데이터, 데이터 생성과 평가를 위한 월드 모델, 그리고 그 위에서 계획을 담당하는 프런티어 모델이다. 의견이 갈린 지점은 이 스택이 신뢰할 수 있고 수익성 있는 배포에 도달하느냐였다. 이 질문을 다룬 폐막 토론 전후의 투표는 반대 쪽으로 기울었고 거의 변하지 않았다. Ken Goldberg (UC Berkeley)는 이 분야가 '수익 위기'에 처해 있다고 표현했는데, 이제 신뢰성, 처리량, 해석 가능성을 내놓아야 한다는 의미다.

전체 개요 읽기전체 개요 접기

주제

위에는 프런티어 모델, 아래에는 빠른 정책

대부분의 시스템은 느린 추론기를 빠른 학습 기반 제어기 위에 얹는다. Hang Zhao (Tsinghua University / Galaxea AI)는 프런티어 모델을 실제 시간 제약 아래에서 단계별 정책으로 사용하면 RoboCasa에서 성공률이 15-20%로 떨어진다고 보고했으며, 대부분의 실패가 계층 사이의 인계 지점에서 발생한다고 주장했다. Boston Dynamics는 파인튜닝 없이 작업 완료 여부를 확인할 만큼 신뢰할 수 있는 기성 VLM은 없었다고 밝혔다. 토론에서 Vincent Vanhoucke (Waymo)는 일부 로보틱스 벤치마크에서 범용 모델이 이 학회의 로봇 모델을 이기고 있다고 말했고, Pulkit Agrawal (MIT / Eka Robotics)은 접촉이 많은 시스템 1 데이터가 아직 그 모델들에 빠져 있다고 반박했다.

관련 발표: 여러 시간 척도에 걸친 Physical AI의 구성 (Organizing Physical AI Across Timescales); 꿈에서 실행으로: World Action Model과 에이전틱 로보틱스 (From Dreaming to Doing: World Action Models and Agentic Robotics); 진정한 장기 행동을 위한 액션과 에이전트 (Actions and Agents for True Long-Horizon Behavior.); 놀이 기반 에이전트형 로봇 학습 (Playful Agentic Robot Learning)

정책, 시뮬레이터, 평가자로 쓰이는 월드 모델

DreamZero와 GR00T 2는 영상과 행동을 함께 디노이징한다. DreamZero 저자들은 실패가 주로 영상 생성에서 비롯된다는 것을 발견했으며, 따라서 더 나은 영상 백본이 더 나은 행동으로 이어질 것이라고 본다. SuperMimic은 하나의 학습된 미분 가능 동역학 모델을 통해 약 3 GPU-시간 만에 휴머노이드 트래커를 학습시켜 최우수 논문상을 받았다. Tesla는 월드 모델로 평가만 하는 것이 아니라 그 안에서 학습하면 정책이 모델의 물리적 오류를 악용하게 된다고 경고했다. 또 다른 스포트라이트는 월드 모델이 오염(poisoning)될 수 있음을 보였다.

관련 발표: World Action Model은 제로샷 정책이다 (World Action Models are Zero-shot Policies); SuperMimic: 하나의 미분 가능한 월드 모델로 휴머노이드 전신 제어 확장하기 (SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model); GRAIL: 월드 모델로부터 휴머노이드 로코-매니퓰레이션 생성하기 (GRAIL: Generating Humanoid Loco-Manipulation from World Models); Tesla의 로보틱스 파운데이션 모델 구축 (Building Foundational Models for Robotics at Tesla); 로봇 학습 파이프라인을 손상시키기 위한 월드 모델 공격 (Targeting World Models to Compromise Robot Learning Pipelines)

인간 데이터는 규모의 주된 원천이지만 다리가 필요하다

EgoScale은 인간 데이터의 검증 손실이 실제 로봇 성공률을 따라가는 로그-선형 스케일링 법칙을 따른다는 것을 보였다. 또한 가장 어려운 정교한 작업에는 정렬된 중간 학습 단계(약 4시간의 원격 조작 데이터와 이에 대응하는 50시간의 인간 데이터)가 필요했다. Ego2Robot은 손 자세 정확도가 정밀 작업에서의 성능 향상을 제한한다는 것을 발견했다.

관련 발표: EgoScale: 다양한 1인칭 시점 인간 데이터로 정교한 조작 확장하기 (EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data); Being-H0.5: 크로스 임바디먼트 일반화를 위한 인간 중심 로봇 학습의 확장 (Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization); RoboTTT: 로봇 정책을 위한 컨텍스트 스케일링 (RoboTTT: Context Scaling for Robot Policies); 피지컬 AI를 위한 데이터 인프라 (Data Infrastructure for Physical AI); Ego2Robot: 1인칭 시점 인간 데이터로부터의 확장 가능한 로봇 데이터 합성 (Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data)

VLA에 힘과 촉각이 더해지고 있다

여러 논문이 접촉이 많은 작업에서의 VLA 실패 원인을 힘 신호의 부재, 혹은 접촉 직전의 작은 행동을 과소 가중하는 플로 매칭 노이즈 스케줄에서 찾았다. 해결책은 저렴하다. 범용 로봇 팔을 위한 학습 기반 토크 추정, 이미지 위에 그린 촉각 화살표, 사후학습 후반에 추가하는 힘 전문가(force expert) 등이다. Wolfram Burgard (University of Technology Nuremberg)와 Sharpa는 모두 로봇 파운데이션 모델에 힘과 촉각이 필요하다고 주장했다.

관련 발표: FACTR 2: 범용 로봇 팔을 위한 외력 감지 학습이 정책 학습을 개선한다 (FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning); PACE: 청크 기반 삽입 정책을 위한 시간적 역할 촉각 조건화 (PACE: Temporal-Role Tactile Conditioning for Chunk-Based Insertion Policies); 접촉이 많은 과제에서 VLA가 언제, 왜 실패하는지와 그 해결법 밝히기 (Demystifying When and Why VLAs Fail in Contact-Rich Tasks and How to Fix Them); Visible Touch: 시각운동 정책을 위한 접촉 렌더링 (Visible Touch: Rendering Contact for Visuomotor Policies); 체화된 AI(Embodied AI) 실현을 위한 과제 (Challenges to Realize Embodied AI)

표적화된 사후학습으로 돌아온 RL

RL은 대부분 범용 모델을 대체하기보다 사전학습된 범용 모델 위에 적용되었다. RL Token은 압축된 VLA 임베딩 위에서 작은 actor-critic을 돌려 작업의 가장 어려운 단계를 몇 시간 안에 개선하며, 이더넷 케이블 삽입 에피소드는 숙련된 원격 조작자보다 빨랐다. 반면 π0.7은 품질 메타데이터를 조건으로 사용해 품질이 섞인 데이터에서 학습할 수 있게 하며, Play2Perfect는 시뮬레이션에서의 RL 놀이(play) 사전학습이 희소 보상 조립 작업을 학습 가능하게 만든다는 것을 보인다.

관련 발표: RL Token: 비전-언어-행동 모델로 온라인 RL 부트스트래핑하기 (RL Token: Bootstrapping Online RL with Vision-Language-Action Models); π0.7: 창발적 능력을 갖춘 조향 가능한 범용 로봇 파운데이션 모델 (π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities); Play2Perfect: 정밀 조립을 위한 정교한 플레이 사전학습에서 무엇이 중요한가? (Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?); 처음부터 다시 시작하지 않는 학습: 로봇이 실세계에서 배울 수 있는 것의 확장 (Learning Without Starting Over: Expanding What Robots Can Learn in the Real World)

평가는 신뢰받지 못한다

한 최우수 논문상 최종 후보는 DINO와 MLP를 결합한 정책이 LIBERO에서 보고된 최고 점수에 거의 근접하며, 보고된 성능 향상 중 통계적으로 유의한 것은 거의 없다는 것을 보였다. RoboColosseum은 유의한 결론 하나를 얻는 데 400-500회의 비교가 필요하다고 추정했다. LIBERO-CF는 VLA가 학습 작업에 나온 물체를 보면 언어 지시를 종종 무시한다는 것을 발견했다.

관련 발표: 로봇 조작에서 우리는 실제로 무엇을 벤치마킹하고 있는가? (What Are We Actually Benchmarking in Robot Manipulation?); RoboCap과 RoboColosseum (RoboCap & RoboColosseum); 시각이 언어를 압도할 때: VLA의 반사실적 실패 평가 및 완화 (When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs); ATOM-Bench: 조작 정책의 원자적 스킬과 조합적 일반화를 위한 실제 환경 벤치마크 (ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies)

배포 수치와 수익의 문제

산업계 발표는 운영 지표를 보고했다. Hyundai에서 부품 시퀀싱을 하는 Atlas는 완료율 98.6%, 개입률 9.5%를 기록했지만, 사이클 타임이 수익을 내기에는 약 50% 느리다. Walden의 Toyota 캠샤프트 셀은 한 번도 라인을 멈춘 적이 없다. Gemini Robotics 2.5는 96%의 자율 키팅을 보고했다. 토론에서는 사람에게 돈을 주고 도메인 내 데이터를 수집하게 하는 방식이 세탁 같은 작업 외에서도 경제성을 가질 수 있는지를 두고 의견이 갈렸다.

관련 발표: 공장에서의 학습 (Learning in the factories); 진정한 장기 행동을 위한 액션과 에이전트 (Actions and Agents for True Long-Horizon Behavior.); Gemini로 범용 로봇 만들기 (Building general purpose robots with Gemini); 토론: "행동 복제 사전학습과 도메인 내 파인튜닝이라는 현재의 레시피가 상업적으로 실현 가능한 범용 로봇으로 이어질 것이다" (Debate: "The current recipe of behavior cloning pre-training and in-domain fine-tuning will lead to commercially viable generalist robots")

CoRL 2025 이후의 변화

논문은 세 배, 사람은 두 배

2026년 위원장들에 따르면 서울 대회는 약 700편의 제출 논문 중 263편을 채택했으며, 비공식 집계로는 현장 참석자가 2,441명이었다. 오스틴 대회는 2,094편을 접수하고 약 4,800명이 참석했으며, 이를 감당하기 위해 포스터 전용 트랙, 시니어 영역 위원장, 반박(rebuttal) 이전의 1차 리젝트, 인용 검사를 도입했다.

수상작의 초점이 작업 성과에서 학습 기법으로 이동했다

2025년 최우수 논문상은 다리형 로봇의 이동-조작을 위한 위치/힘 통합 제어와 Fabrica의 양팔 조립에 돌아갔고, π0.5와 DexUMI가 최종 후보였다. 2026년 수상작은 휴머노이드 제어 학습에 사용된 학습 기반 월드 모델(SuperMimic)과 컨텍스트 스케일링(RoboTTT)이었다.

모델 공개의 성과가 이제 공장에서 측정된다

Google DeepMind는 CoRL 2025 즈음에 Gemini Robotics 1.5를 발표했다. 오스틴에서 Gemini Robotics 2.5는 생산 라인 키팅 파일럿과 함께 등장했다. Physical Intelligence는 π0.5에서 π0.7로 나아갔다. 2025년 특별 패널은 휴머노이드 학습을 논의했고, 2026년 패널은 상업적 실현 가능성을 놓고 토론했다.

VLA와 real2sim에서 에이전트와 월드 모델로

2025년의 한 조사는 VLA, Real2Sim2Real, 촉각 센싱을 CoRL의 주요 주제로 꼽았다. 세 주제 모두 2026년에도 이어졌고, Real2Sim2Real은 별도의 late-breaking 트랙을 갖게 되었다. 새로운 것은 에이전틱 로보틱스 트랙과, 영상과 행동을 함께 학습하는 월드 액션 모델로, 둘 다 2025년에는 주제가 아니었다.

2027년 전망

파리에서는 평가 규범이 더 엄격해질 것이다

예측: 신뢰 구간을 보고하고 보류(held-out) 또는 공개 이후 테스트 세트를 사용하는 논문이 늘어나고, 리뷰어들은 LIBERO와 SimplerEnv에서의 성능 향상에 의문을 제기할 것이다. 근거: 바로 이 주제를 다룬 최우수 논문상 최종 후보, RoboColosseum의 무료 평가 제안, 그리고 마감 시간 내 성공률과 시간당 개입 횟수 지표를 요구한 기조연설들.

계층 간 인터페이스가 연구 대상이 된다

예측: 연구의 초점이 시스템 1과 시스템 2 사이에서 오가는 것으로 옮겨갈 것이다. 위로는 실패 신호, 아래로는 힘 또는 접촉 의도가 전달된다. 근거: Zhao의 인계 실패 분석, 시스템 1이 병목이라는 Agrawal의 주장, 그리고 NVIDIA와 Boston Dynamics의 에이전틱 하네스.

월드 모델은 그 안에서 학습할 수 있는지로 평가받을 것이다

예측: 월드 모델 논문은 영상이 그럴듯해 보인다는 것만이 아니라, 그 안에서 학습한 정책이 오류를 악용하지 않으며 모델 내에서 예측한 성공률이 실제 성공률과 일치한다는 것을 보여야 할 것이다. 근거: Tesla의 경고, 여전히 성공률을 과소추정하는 MemWorld, 그리고 오염 공격.

배포 주장에서 처리량이 성공률을 대체한다

예측: 2027년 산업계 발표는 사이클 타임, 평균 개입 간격, 원격 운영자 1인당 로봇 수를 앞세울 것이다. Boston Dynamics는 2027년에 Atlas의 첫 8시간 교대 근무를 예상했고, Goldberg는 올해의 과제를 수익으로 규정했다. BC 사전학습과 도메인 내 데이터의 조합이 그 기준을 넘을 수 있을지는 계속 논쟁거리로 남을 것이다.

핵심 내용

  1. 이 분야는 하나의 스택으로 대체로 수렴했다. 남은 질문은 아키텍처가 아니라 경제성이다.
  2. 프런티어 모델은 플래너로서는 도움이 되지만, 실제 시간 제약 아래 단계별 직접 제어기로서는 실패했다.
  3. 인간 1인칭 시점 데이터는 규모를 키울 수 있지만, 정밀한 조작에는 여전히 로봇과 인간 데이터를 정렬한 중간 학습이 필요했다.
  4. 기존 VLA에 힘과 촉각을 저렴하게 추가할 수 있으며, 그렇게 하면 특정 접촉 실패가 해결된다.
  5. 이제 대부분의 RL은 처음부터 학습하는 대신 사전학습된 범용 모델의 병목 단계를 겨냥한다.
  6. 널리 쓰이는 시뮬레이션 벤치마크는 대부분 암기로 풀 수 있으며, 보고된 성능 향상의 대부분은 노이즈 범위 안에 있다.
  7. 최우수 논문상은 학습된 미분 가능 월드 모델 안에서 휴머노이드 제어를 학습시킨 연구에 돌아갔다.
  8. 배포 사례는 개입을 포함해 약 99%의 완료율에 도달하지만, 수익을 내기에는 여전히 너무 느리다.

출처: CoRL 2026 program · CoRL 2026 awards · CoRL 2026 Day 1 livestream (welcome, keynotes) · CoRL 2026 Day 3 afternoon livestream (debate, awards) · CoRL 2025 home (Seoul, Sept 27-30) · CoRL 2025 awards · CoRL 2025 keynotes · CoRL 2025 special panel · alphaXiv: CoRL 2025 accepted papers (263) · CoRL 2025 survey (H. Abe): attendance, themes

날짜
유형
주제
수상
세션 전체 115개 중 115개 발표

1일차 · 11월 9일 (월)

환영 및 개회사

월 8:30 AM · Hilton Austin

1개 발표
개회

환영 및 개회사 (Welcome and Opening Remarks)

Yuke Zhu (UT Austin / NVIDIA), Peter Stone (UT Austin / Sony AI), Georgia Chalvatzaki (TU Darmstadt), Ani Majumdar (Princeton University), Roberto Martin-Martin (UT Austin)

총괄 위원장 Yuke Zhu가 열 번째 CoRL의 문을 열며, 참석자가 두 배로 늘고 제출 논문이 약 세 배 증가해 2,100편 가까이에 이르렀다고 밝히고, Hilton, JW Marriott, UT의 Bass Concert Hall에 걸쳐 진행되는 South by Southwest 방식의 구성을 설명한다. 프로그램 위원장들은 새로운 3단계 프로그램(구두 발표, 3분 스포트라이트, 포스터 전용), 32.8%의 채택률, 에이전틱 로보틱스와 real-to-sim-to-real에 관한 새로운 late-breaking 결과 트랙, 시니어 영역 위원장, 그리고 환각 인용 문제로 약 12편의 논문을 데스크 리젝트한 정책을 소개한다. 이어 워크숍, 데모, 현지, 포용성 담당 위원장들이 반일 워크숍, 17개의 데모, 행사장, 점심, Wi-Fi, 여행 지원금, 육아 지원을 안내하고, 마지막으로 Peter Stone이 Texas Robotics와 새로 설립된 UT School of Computing을 소개한 뒤 스폰서들에게 감사를 전한다.

핵심 내용
  • 제출 논문이 약 700편에서 2,100편 가까이로 늘어나, 단일 트랙을 유지하기 위해 3단계 발표 형식을 도입할 수밖에 없었다.
  • 채택률은 32.8%로 예년과 비슷하게 유지되었고, 채택 논문의 키워드 분포는 전체 제출 논문의 분포와 거의 일치했다.
  • 처음으로 여러 개의 환각 인용이나 잘못된 인용이 있는 논문이 표시되었고 약 12편이 데스크 리젝트되었으며, 그 밖의 AI 보조 글쓰기는 저자의 판단에 맡겨졌다.
  • 1차 리젝트로 반박(rebuttal) 이전에 제출 논문의 3분의 1 남짓이 걸러져, 리뷰 노력이 적어도 한 명의 지지자가 있는 논문에 집중되었다.
  • 학생 등록비는 원가보다 낮은 $200로 인하되었고, 학생들의 진입 장벽을 낮추기 위해 스폰서가 그 차액을 지원했다.
  • 워크숍은 미니 학회식 발표 나열보다 상호적인 토론을 장려하기 위해 반일로 운영되었으며, 유효한 제안 78건 중 32건이 채택되었다.
1일차 녹화 · 34 분YouTube에서 열기

스포트라이트 S1 · 범용 정책, 메모리와 전이

월 9:00 AM · Hilton Austin · 좌장: Yash Narang

9개 발표
스포트라이트

MolmoAct2: 실제 환경 배포를 위한 행동 추론 모델 (MolmoAct2: Action Reasoning Models for Real-World Deployment)

Jiafei Duan · Allen Institute for AI / University of Washington / National University of Singapore

전체 저자

Haoquan Fang1,2, Jiafei Duan1,2,3, Donovan Clay1,2, Sam Wang1,4, Shuo Liu2, Weikai Huang1,2, Xiang Fan1,2, Wei-Chuan Tsai2, Shirui Chen1,2, Yi Ru Wang1,2, Shanli Xing2, Jaemin Cho1,2,5, Jae Sung Park1, Ainaz Eftekhar1,2, Peter Sushko1, Karen Farley1, Angad Wadhwa2, Cole Harrison6, Winson Han1, Ying-Chun Lee2, Eli VanderBilt1, Rose Hendrix1, Suveen Ellawela7, Lucas Ngoo7, Joyce Chai8, Jason Ren1,2,9, Ali Farhadi1,2, Dieter Fox1,2, Ranjay Krishna1,2

1Allen Institute for AI2University of Washington3National University of Singapore4University of Pennsylvania5Johns Hopkins University6Amazon7Cortex AI8University of Michigan9University of North Carolina at Chapel Hill

저자들은 사전학습, 중간 학습, 적응까지 아우르는 공개 레시피를 갖춘 완전 공개 로보틱스 파운데이션 모델 MolmoAct2를 소개한다. 이 모델은 공간 이해에 특화된 VLM을 행동 전문가(action expert)에 연결하고, 매 단계 깊이를 다시 생성하는 대신 적응적으로 깊이를 추론한다. 별도 조정 없이도 공개 임바디드 추론 벤치마크에서 강력한 베이스라인을 능가하며, 파인튜닝 후에는 제3자 기업의 블라인드 평가도 받았다.

핵심 내용
  • 깊이 추론은 매 시간 단계마다 모든 토큰을 다시 생성하는 대신 적응적으로 갱신되어, 추론이 강화된 제어를 효율적으로 유지한다.
  • 파인튜닝된 모델을 평가하는 데 처음으로 제3자 블라인드 평가가 사용되었다.
  • 저자들은 공개가 결실을 맺는다고 주장한다. MolmoAct 모델과 데이터는 Hugging Face에서 150만 회 이상 다운로드되었으며, 이는 무엇이 전이되는지 파악하는 데 도움이 된다.
1일차 녹화 · 4 분YouTube에서 열기
스포트라이트

로봇 행동 표현을 위한 의미적 앵커링 (Semantic Anchoring for Robotic Action Representations)

Yuan Xu · Peking University (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Yuan Xu1, Youheng Shi1, Chengyang Li2,3, Wentao Zhu2, Yizhou Wang1

1Peking University2Eastern Institute of Technology, Ningbo3Shanghai Jiao Tong University

거울 뉴런에서 영감을 받은 저자들은 VLA의 행동 표현이 파인튜닝 과정에서 사전학습된 비전-언어 의미와의 정렬을 잃으며, 이 정렬이 작업 성공과 상관관계가 있음을 보인다. 이들은 특징을 고정된 VLM과 정렬되는 공유 의미 경로와 실행 세부 사항을 유지하는 개별 경로로 나누어, 시뮬레이션과 실제 로봇에서 여러 VLA(pi0 포함)의 성능을 향상시킨다.

핵심 내용
  • 행동 표현의 의미적 정렬은 파인튜닝 중 측정 가능할 정도로 약화되며, 롤아웃 성공률 및 분포 밖 일반화와 함께 움직인다.
  • 모든 특징을 의미에 정렬하면 실행 성능이 떨어지므로, 물리적 세부 사항을 보존하려면 공유/개별 특징 분리가 필요하다.
  • 성능 향상은 도메인 내 작업보다 조합적 작업 같은 일반화 축에서 더 크다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

MEM: Vision Language Action 모델을 위한 다중 스케일 임바디드 메모리 (MEM: Multi-Scale Embodied Memory for Vision Language Action Models)

Marcel Torne · Physical Intelligence / Stanford University

전체 저자

Marcel Torne1,2, Karl Pertsch1, Homer Walke3, Kyle Vedder1, Suraj Nair1, brian ichter1, Allen Z. Ren1, Haohuan Wang1, Jiaming Tang1,4, Kyle Stachowicz1,3, Karan Dhabalia1, Michael Robert Equi1, Quan Vuong1, Jost Tobias Springenberg1, Sergey Levine1, Chelsea Finn1, Danny Driess1

1Physical Intelligence2Stanford University3UC Berkeley4MIT

저자들은 VLA에 다중 스케일 메모리를 추가한다. 하나는 최근 몇 초간의 시각 정보를 비디오 인코더로 압축해 저수준 정책에 입력하는 단기 시각 메모리이고, 다른 하나는 VLM이 과거 사건의 요약을 순환적으로 예측하는 장기 텍스트 메모리다. 이를 통해 정책은 레시피대로 요리하고 주방을 청소하는 것처럼 최대 15분이 걸리는 작업을 처리할 수 있다.

핵심 내용
  • 원시 영상 이력을 그대로 입력하는 것은 불가능하다. 50 Hz에서 이미지당 256개 토큰으로 1시간이면 약 5천만 개의 토큰이 된다.
  • 어블레이션 결과, 장기 과제를 해결하려면 장기 텍스트 메모리와 단기 영상 메모리가 모두 필요하다.
  • 메모리는 인컨텍스트 적응을 가능하게 하여, 정책이 시도의 실패를 알아차리고 같은 실수를 반복하는 대신 다른 전략을 시도하게 한다.
1일차 녹화 · 4 분YouTube에서 열기
스포트라이트

PRTS: 대조 표현 기반의 기초 동작 추론 및 작업 수행 시스템 (PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations)

Yang Zhang · TeleAI, China Telecom / Tsinghua University (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Yang Zhang1,2, Jiangyuan Zhao1,3, Chenyou Fan1,4, Fangzheng YAN1, Tian Li1, Haitong Tang1, Sen Fu1, Xuaner Wu1, Qizhen Weng1, Weinan Zhang3, Xiu Li2, Chi Zhang1, Chenjia Bai1, Xuelong Li1

1TeleAI, China Telecom2Tsinghua University3Shanghai Jiao Tong University4Fudan University

PRTS는 VLA 사전학습을 목표 조건부 대조 RL로 재정식화한다. 언어 지시를 목표로 취급함으로써 상태-행동 임베딩이 보상 주석 없이 목표를 향한 진행 정도를 포착하게 하고, 이를 행동 토큰 예측과 결합해 4억 개 샘플 규모로 확장한다. 그 결과 얻은 정책은 사람의 강한 방해에서도 회복하고, 새로운 지시를 제로샷으로 따르며, 장기 쟁반 정리 작업에서 처음 보는 상황에도 대응한다.

핵심 내용
  • 같은 지시에 속한 단계를 양성 쌍으로 취급하고 뒤쪽 단계에 더 큰 가중치를 주어, 임베딩이 목표를 향한 시간적 진행을 인코딩하게 한다.
  • 대조 사전학습에는 별도의 보상 레이블이 필요 없으며, 다운스트림 사후학습은 새로 초기화한 플로 매칭 행동 전문가와 함께 표준 행동 복제를 사용한다.
  • 정책은 어떤 시연에도 없던 빈 그릇 상황을 처리해 냈으며, 이는 진행 정도를 인식하는 표현이 회복에 도움이 됨을 시사한다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

VLA에게 무엇을 말할지 학습하기: 대체로 무해한 Vision Language Action 모델 조향 (Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering)

Hyun Joe Jeong · Carnegie Mellon University

전체 저자

Hyun Joe Jeong1, Gokul Swamy1, Andrea Bajcsy1

1Carnegie Mellon University

저자들은 국소적으로 변형한 언어 시퀀스를 탐색하고 이를 폐루프로 실행한 뒤, 가장 좋은 것을 거절 파인튜닝(rejection fine-tuning)으로 VLM에 증류하는 방식으로, 고정된 VLA를 조향하는 언어 피드백 정책을 학습한다. 컨포멀 예측을 적용한 개선 헤드가 언제 개입할지 결정하여 '해를 끼치지 않는다'는 보장을 제공하며, 시뮬레이션과 실제 하드웨어에서 pi0.5와 MolmoAct2의 성공률이 상승한다.

핵심 내용
  • VLA의 언어-행동 매핑은 취약해서, 지시를 바꿔 말하는 것만으로도 행동이 예측 불가능하게 달라질 수 있다.
  • 개선 헤드에 컨포멀 예측을 적용하면 조향이 도움이 되지 않을 가능성이 높을 때 시스템이 원래 지시로 되돌아갈 수 있다.
  • 언어만을 통한 조향으로 기반 정책의 가중치를 갱신하지 않고도 VLA 성능을 개선한다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

시각이 언어를 압도할 때: VLA의 반사실적 실패 평가 및 완화 (When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs)

Yu Fang · University of North Carolina at Chapel Hill

전체 저자

Yu Fang1, Yuchun Feng1, Dong Jing1, Jiaqi Liu1, Yue Yang1, Zhenyu Wei1, Daniel Szafir1, Mingyu Ding1

1University of North Carolina at Chapel Hill

저자들은 50개 이상의 반사실적 작업으로 구성된 벤치마크 LIBERO-CF를 소개하며, VLA가 시각적 지름길 때문에 언어를 무시하고 잘 학습된 학습 작업을 반복하는 경우가 많다는 것을 보여 준다. 이들은 언어 조건부 행동 예측과 무조건부 행동 예측의 차이를 증폭하는 이중 분기 추론 기법인 Counterfactual Action Guidance를 제안하여, 시뮬레이션과 실제 로봇의 pi0.5에서 언어 그라운딩을 개선한다.

핵심 내용
  • LIBERO에서 VLA는 시각 입력만으로도 높은 성공률에 도달해, 시각 단서에 크게 의존하고 있음을 드러낸다.
  • 반사실적 실패는 학습 작업에 등장한 물체의 존재로 촉발되며, 이를 제거하면 정책이 지시를 따르는 데 도움이 된다.
  • CAG는 추가 시연이나 기반 VLA의 아키텍처 또는 가중치 변경이 필요 없다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

ZETA: 테이블탑 조작을 위한 제로샷 크로스 임바디먼트 VLA 전이에 관한 통제 연구 (ZETA: A Controlled Study of Zero-Shot Cross-Embodiment VLA Transfer for Tabletop Manipulation)

Mi Yan · Peking University / Galbot (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Mi Yan1,2, Wenhao Zhang2,1, Zhiqi Zhang2,1, Yu Peng2,3, Tangxinyu Wang2,1, Lingfei Zhai2,1, Jiayi Su2,4, Shengliang Deng2,5, Lin Peng2,6, Yaowei Liu2,1, Yuxing Chen1,2, Zhiyuan Wei2,1, Jilong Wang2, Jiayi Chen1,2, Jiangran Lyu1,2, Zhizheng Zhang2, He Wang1,2

1Peking University2Galbot3Renmin University of China4Xiamen University Malaysia5The University of Hong Kong6Beihang University

저자들은 엄격한 제로샷 크로스 임바디먼트 전이와 사전학습 노출 전이를 구분하고, 로봇만 바뀌는 조건에서 시뮬레이션과 실제 환경의 처음 보는 대상 로봇 14대로 구성된 통제된 벤치마크를 구축한다. 이들은 표현, 소스 다양성, 보조 목적 함수, 대상 노출을 분석한다.

핵심 내용
  • 상태와 행동을 그리퍼 자체 좌표계에서의 변화량(delta)으로 표현하자 평균 진행도가 시뮬레이션에서 60에서 76으로, 실제 로봇에서 56에서 90으로 올랐다.
  • 소스 로봇을 늘리면 약 18포인트의 향상이 있지만, 고정된 예산 아래에서 각 로봇이 여전히 충분한 데이터를 받을 때만 그렇다.
  • 학습 데이터의 5%만 대상 로봇 데이터로 바꿔도 Google 로봇의 점수가 51에서 69로 올랐으므로, 엄격한 전이와 사전학습 노출 전이의 결과는 따로 보고해야 한다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

EmbodiSteer: 제로샷 크로스 임바디먼트 배포를 위한 관절 공간 가이던스 기반의 임바디먼트 비의존 시각운동 정책 조향 (EmbodiSteer: Steering Embodiment-Agnostic Visuomotor Policies with Joint-Space Guidance for Zero-Shot Cross-Embodiment Deployment)

Shihefeng Wang · Tsinghua University

전체 저자

Shihefeng Wang1, Kangchen Lv1, Mingrui Yu1, Xiang Li1

1Tsinghua University

EmbodiSteer는 핸드헬드 그리퍼 데이터로 학습한 데카르트 공간 시각운동 정책을 고정한 채, 순기구학과 자코비안을 통해 디퓨전 샘플링을 대상 로봇의 관절 공간으로 옮긴다. 각 디노이징 단계에서 최적화 기반 가이던스가 충돌 회피 여유와 엔드 이펙터 동작 변화 사이의 균형을 맞추어, 시뮬레이션 로봇 9대와 실제 로봇 2대에서 몸체를 인식하는 제로샷 배포를 가능하게 한다.

핵심 내용
  • 관절 공간에서 디노이징해도 작업 성능은 거의 그대로 유지되면서 전신 인식이 더해진다.
  • 단순한 그래디언트 기반 충돌 가이던스는 그리퍼를 작업에서 벗어나게 하므로, 제약 조건과 엔드 이펙터 동작 사이의 균형이 필요하다.
  • 실제 작업에서 로봇별 학습 없이 성공률이 거의 두 배가 되었고 충돌은 97%에서 7%로 줄었다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

순차적 로봇 작업에서의 조합적 일반화 진단 (Diagnosing Compositional Generalization in Sequential Robot Tasks)

Yixiao Wang · UC Berkeley

전체 저자

Yixiao Wang1, Cheng-En Wu1, Lingfeng Sun1, Pengcheng Wang1, Xiang Ji1, Boyuan Liang1, Guojian Zhan1, Masayoshi Tomizuka1

1UC Berkeley

저자들은 순차적 작업에서의 조합적 일반화 격차를 주변 지시 분포 이동, 지시 조합 이동, 컨텍스트-행동 이동으로 분해하고, 이를 이용해 로봇이 실제로 어떤 지시 조합을 보아야 하는지 묻는다. 실험 결과, 희소하더라도 잘 선택된 커버리지면 충분하며, 희소 커버리지에서의 실패는 기술의 부재가 아니라 지시 조향에서 비롯된다는 것을 보인다.

핵심 내용
  • 모든 조합을 다 커버할 필요는 없다. 신중하게 고른 4분의 1의 데이터로 전체 학습과 같은 성능을 낼 수 있다.
  • 작업당 시연 하나만 추가해도 희소 커버리지 실패의 상당수가 해결되며, 이는 지시 조향이 병목임을 가리킨다.
  • 지시들이 서로 의존할 때는 의존 쌍에 대한 관계적 커버리지가 필요하며, 오라클 고수준 지시자를 사용하는 모듈형 정책은 실패한다.
1일차 녹화 · 3 분YouTube에서 열기

신진 연구자 기조연설 I

월 9:30 AM · Hilton Austin · 좌장: Chen Feng

1개 발표
신진 연구자 기조연설

여러 시간 척도에 걸친 Physical AI의 구성 (Organizing Physical AI Across Timescales)

Hang Zhao · Tsinghua University (IIIS) / Galaxea AI

Chen Feng의 소개로 등단한 Hang Zhao는 로봇 지능을 기능이 아니라 시간 척도에 따라 나누어야 한다고 주장한다. 몇 초 단위로 추론하는 S2, 수십 Hz로 동작하는 S1 정책, 수백 Hz로 동작하는 S0 제어다. 실제 시간 제약을 둔 RoboCasa 연구에서 프런티어 모델을 직접 정책이나 에이전틱 단계별 정책으로 사용하면 성공률이 15-20%로 급락했지만, 느린 모델과 빠른 학습 기술을 짝지은 오케스트레이션 설계는 성능을 유지했다. 그는 양산 차량에 적용된 DriveVLM의 이중 시스템과 로봇 파쿠르에서 얻은 교훈을 바탕으로, S1을 빠르게 유지하는 세 가지 방법을 제시한다. 학습 시에는 영상으로 학습하되 테스트 시에는 영상 생성을 건너뛰는 FastWAM(G0-7), G0.5에서 추론 시 chain-of-thought를 끄는 것, 그리고 스트리밍 행동 토크나이저 ActionCodec 2다. 마지막으로 그는 계층 간 인터페이스에 위로는 더 풍부한 피드백이, 아래로는 힘이나 접촉 의도가 전달되어야 한다고 주장하며, 벤치마크가 추론 시간과 함께 마감 시간 내 성공률을 보고할 것을 요청한다.

핵심 내용
  • 느린 프런티어 모델도 빠른 하위 계층과 결합하면 문제가 없지만, 실제 시간 제약 아래 단계별 직접 정책으로 쓰면 대부분의 작업에서 실패한다.
  • 계층 경계는 요구되는 반응 시간이 바뀌는 곳에 그어야 한다. 작업과 장면은 초 단위, 손-물체 동작은 수십 Hz, 접촉과 힘은 수백 Hz다.
  • 추론 시 chain-of-thought를 건너뛰어도 약 90%의 작업에서는 차이가 없었고 속도는 두 배가 되었으며, 주로 길고 여러 단계로 이루어진 작업에서만 도움이 되었다.
  • 테스트 시 미래 영상 생성을 건너뛰자 월드 액션 모델의 속도가 네 배 이상 빨라졌으며, 16B 규모의 G0-7은 RTX 5090에서 행동당 60 ms로 동작한다.
  • 대부분의 실패는 계층 간 인계 지점에서 발생하는데, 하위 계층이 실패를 위로 보고할 수 없고 동작만 담은 명령에는 힘 정보가 빠져 있기 때문이다.
  • Zhao는 S2는 클라우드에, S1은 여러 로봇이 공유하는 엣지 서버에, S0는 로봇 자체에 두어야 한다고 제안한다.
1일차 녹화 · 35 분YouTube에서 열기

구두 발표 O1 · 범용 정책과 컨텍스트 스케일링

월 10:30 AM · Hilton Austin · 좌장: Michael Ryoo

3개 발표
구두 발표

π0.7: 창발적 능력을 갖춘 조향 가능한 범용 로봇 파운데이션 모델 (π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities)

Ashwin Balakrishna, Lucy Xiaoyang Shi · Physical Intelligence

전체 저자

Bo Ai1, Ali Amin1, Raichelle Aniceto1, Ashwin Balakrishna1, Greg Balke1, Kevin Black1, George Elledge Bokinsky1, Shihao Cao1, Thomas Charbonnier1, Vedant Choudhary1, Foster Collins1, Ken Conley1, Grace B Connors1, James Darpinian1, Karan Dhabalia1, Maitrayee Dhaka1, Jared Di Carlo1, Danny Driess1, Michael Robert Equi1, Adnan Esmail1, Yunhao Fang1, Chelsea Finn1, Catherine Glossop1, Thomas Godden1, Ivan Goryachev1, Lachy Groom1, Haroun Habeeb1, Hunter Hancock1, Karol Hausman1, Gashon Hussein1, Victor Hwang1, brian ichter1, Connor Jacobsen1, Szymon Jakubczak1, Rowan Jen1, Tim Jones1, Gregg Kammerer1, Benjamin Katz1, Liyiming Ke1, Mairbek Khadikov1, Chandra Kuchi1, Marinda Lamb1, Devin LeBlanc1, Sergey Levine1, Xinyu Li1, Adrian Li-Bell1, Vladislav Lialin1, Zhonglin Liang1, Wallace Lim1, Yao Lu1, Enyu Luo1, Vishnu Mano1, Nandan Marwaha1, Aikys Mongush1, Liam Murphy1, Suraj Nair1, Karl Pertsch1, Allen Z. Ren1, Gavin Schelske1, Charvi Sharma1, Baifeng Shi1, Lucy Xiaoyang Shi1, Laura Smith1, Jost Tobias Springenberg1, Kyle Stachowicz1, Will Stoeckle1, Jiaming Tang1, James Tanner1, Shalom Tekeste1, Marcel Torne1, Kyle Vedder1, Quan Vuong1, Anna Walling1, Haohuan Wang1, Jason Wang1, XuDong Wang1, Christopher Whalen1, Sam Whitmore1, Blake Williams1, Charles Xu1, Sukwon Yoo1, Lili Yu1, Wuming Zhang1, Zhuoyang Zhang1, Ury Zhilinsky1

1Physical Intelligence

Physical Intelligence는 하위 목표 이미지, 상세한 하위 작업 지시, 그리고 작업이 어떻게 수행되었는지(예: 품질, 실수, 속도)를 기술하는 메타데이터 등 풍부한 멀티모달 프롬프트로 학습한 범용 로봇 파운데이션 모델 π0.7을 소개한다. 별도 조정 없이도 단일 모델이 빨래 개기, 에스프레소 만들기, 상자 접기에서 작업별 RL 사후학습을 거친 π*0.6과 같거나 때로는 더 나은 성능을 보이며, 이전 PI 릴리스의 작업도 파인튜닝 없이 수행한다. 메타데이터 덕분에 모델은 품질이 섞인 원격 조작 데이터와 평가 데이터로부터 학습할 수 있으며, 저자들은 UR5 빨래 데이터가 전혀 없는데도 UR5 양팔 장비에서 셔츠를 개는 것 같은 창발적 조합 일반화를 강조한다. 질의응답에서 저자들은 품질 레이블이 주로 사후 인간 주석에서 나오며, 속도가 품질과 잘 상관되는 신호 중 하나라고 설명한다.

핵심 내용
  • 메타데이터 프롬프트가 없으면 품질이 점점 낮은 빨래 데이터를 추가할수록 성능이 떨어졌지만, 메타데이터가 있으면 데이터가 늘어날수록 성능이 계속 향상되었다.
  • 품질 메타데이터를 조건으로 주면 모델이 좋은 행동과 나쁜 행동을 구분할 수 있어, LLM에게 전문가처럼 행동하라고 지시하듯 테스트 시 고품질 행동을 그냥 요청할 수 있다.
  • π0.7은 데이터 수집에 사용된 경량 팔과 임바디먼트 차이가 큰데도 빨래 개기를 UR5 양팔 산업용 로봇에 전이했다.
  • 데이터 품질을 판단하는 것은 여전히 열려 있는 반복적인 문제이며, PI는 실제 성능과 상관되는 것을 기준으로 다듬은 사후 주석에 의존한다.
1일차 녹화 · 12 분YouTube에서 열기
구두 발표

Being-H0.5: 크로스 임바디먼트 일반화를 위한 인간 중심 로봇 학습의 확장 (Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization)

Hao Luo · BeingBeyond

전체 저자

Hao Luo1, Ye Wang1, Wanpeng Zhang1, Sipeng Zheng1, Ziheng Xi1, Chaoyi Xu1, Haiweng Xu1, Haoqi Yuan1, Chi Zhang1, Yiqing Wang1, Yicheng Feng1, Zongqing Lu1

1BeingBeyond

저자들은 인간 손 상호작용 데이터를 로봇 임바디먼트 전반의 보편적 기준점으로 사용하는 VLA인 Being-H0.5를 소개하며, 약 30개 임바디먼트에서 나온 로봇 데이터의 부족과 불균형 문제를 다룬다. 학습 코퍼스는 1인칭 시점 인간 영상에서 재구성한 손 동작, 약 14,000시간의 로봇 데이터, 약 5,000시간의 비전-언어 데이터로 구성되며, 동작 생성, 기술(description), 이어 생성 작업과 함께 공유 슬롯 기반 행동 공간에서 학습된다. 로봇별 특화에는 mixture-of-flow 행동 전문가, 관측 분포 이동을 위한 매니폴드 보존 게이팅 메커니즘, 그리고 RTC를 로봇별 지연으로 확장한 범용 비동기 청킹이 사용된다. 다섯 개 임바디먼트에 걸친 단일 범용 체크포인트가 로봇별 전문 모델에 근접한 성능을 유지하며 일반화에서는 더 낫다.

핵심 내용
  • 인간 중심 사전학습은 범용 모델과 전문 모델 사이의 격차를 좁혔으며, 처음부터 학습할 때는 이 격차가 크게 벌어졌다.
  • Unitree G1에서만 수집한 작업이 사전학습을 거친 모델에서는 다른 로봇으로 0이 아닌 성공률로 전이되었지만, 처음부터 학습한 모델은 완전히 실패했다.
  • 인간의 손을 공유 행동 슬롯 공간의 또 하나의 임바디먼트로 취급하면, 같은 손실 함수로 인간의 손목 동작이 로봇 엔드 이펙터 슬롯을 지도할 수 있다.
  • 손 동작 레이블은 대부분 휴리스틱 품질 지표로 필터링한 재구성 파이프라인에서 나오며, 손 레이블이 있는 오픈소스 데이터셋으로 보충된다.
1일차 녹화 · 11 분YouTube에서 열기
구두 발표 최우수 학생 논문상

RoboTTT: 로봇 정책을 위한 컨텍스트 스케일링 (RoboTTT: Context Scaling for Robot Policies)

Yunfan Jiang · NVIDIA / Stanford University

전체 저자

Yunfan Jiang1,2, Yevgen Chebotar1, Ruijie Zheng1, Fengyuan Hu1, Yunhao Ge1, Jimmy Wu1, Tianyuan Dai1,3, Scott Reed1, Li Fei-Fei2, Yuke Zhu1,3, Linxi Fan1

1NVIDIA2Stanford University3The University of Texas at Austin

RoboTTT는 GR00T N1.7의 DiT 행동 블록에서 나오는 시간 단계별 출력 사이에 빠른 가중치(fast weights)가 학습과 추론 모두에서 경사 하강법으로 갱신되는 테스트 시간 학습(TTT) 레이어를 삽입하여, 로봇 정책의 시각운동 컨텍스트를 8,000 시간 단계까지 확장한다. 학습에는 시퀀스 행동 강제(sequence action forcing, 액션 청크마다 독립적인 노이즈 수준)와 컨텍스트를 모방 목표와 분리하는 손실 마스크를 사용하여, 인간 영상으로부터의 인컨텍스트 모방과 모델이 스스로의 실패를 교정하도록 학습하는 DAgger 증류를 가능하게 한다. 장기 조립 작업에서 일정한 추론 지연 시간으로 평균 79%의 작업 완료율을 달성했으며, 기어봇 조립의 10단계를 모두 완수한 유일한 방법이다. 이 모델은 장기 인간 영상(EgoScale)으로 중간 학습도 거쳤다.

핵심 내용
  • 폐루프 성능은 컨텍스트 길이에 따라 꾸준히 상승해 8K 컨텍스트에서 1K보다 63% 높았으며, 대안인 gated DeltaNet은 확장되지 않았다.
  • 빠른 가중치는 고정 크기의 순환 상태로 작동하여, 컨텍스트 길이와 무관하게 메모리와 지연 시간을 일정하게 유지한다.
  • 액션 청크마다 노이즈 수준을 독립적으로 샘플링하면 시간적으로 상관된 로봇 궤적에서 시퀀스 학습이 안정된다.
  • 인간의 손 시연을 컨텍스트에 넣자 로봇이 처음 보는 조립 구성을 원샷으로 수행했다.
1일차 녹화 · 11 분YouTube에서 열기

구두 발표 O2 · 월드 모델과 시간적 표현

월 11:00 AM · Hilton Austin · 좌장: Andrea Bajcsy

3개 발표
구두 발표

World Action Model은 제로샷 정책이다 (World Action Models are Zero-shot Policies)

Shenyuan Gao · NVIDIA

전체 저자

Seonghyeon Ye1, Yunhao Ge1, Kaiyuan Zheng1, Shenyuan Gao1, Sihyun Yu1, George Kurian1, Suneel Indupuru1, You Liang Tan1, Chuning Zhu1, Jiannan Xiang1, Ayaan Naveed Malik1, Kyungmin Lee1, William Liang1, Nadun Ranawaka Arachchige1, Jiasheng Gu1, Yinzhen Xu1, Guanzhi Wang1, Fengyuan Hu1, Avnish Narayan1, Johan Bjorck1, Jing Wang1, Gwanghyun Kim1, Dantong Niu1, Ruijie Zheng1, Yuqi Xie1, Jimmy Wu1, Qi Wang1, Ryan Julian1, Danfei Xu1, Yilun Du1, Yevgen Chebotar1, Scott Reed1, Jan Kautz1, Yuke Zhu1, Linxi Fan1, Joel Jang1

1NVIDIA

저자들은 사전학습된 비디오 디퓨전 모델을 기반으로 만들어 teacher-forcing 목적 함수로 미래 영상 프레임과 행동을 함께 디노이징하도록 파인튜닝한 14B 규모의 자기회귀 World Action Model, DreamZero를 소개한다. 청크 단위 자기회귀 디노이징은 KV 캐싱을 가능하게 하고 실행 중 실제 관측을 조건으로 삼을 수 있게 하며, 시스템 및 모델 최적화로 청크당 추론 시간을 5.7 s에서 0.15 s로 줄였다(GB200에서 38배 가속). AgiBot과 DROID-Franka 환경에서 크로스 임바디먼트 사전학습을 거친 모델을 포함한 VLA 베이스라인을 본 작업과 처음 보는 작업 모두에서 능가하며, 작업별 사후학습 이후에도 우위를 유지한다.

핵심 내용
  • 여러 환경과 작업에 걸친 다양하고 반복되지 않는 데이터로 학습하면, 모델이 비디오 모델의 제로샷 일반화 능력을 물려받는다.
  • 비디오 모델을 실시간 제어가 가능할 만큼 빠르게 만드는 것이 주된 엔지니어링 과제였다.
  • 저자들은 영상과 행동 예측이 잘 정렬된 상태를 유지하며, 실패가 주로 영상 생성에서 비롯된다는 것을 관찰했다. 따라서 더 나은 비디오 백본이 더 나은 행동으로 이어질 것이다.
  • 실패 데이터는 사전학습에 사용되지 않았으며, 이를 테스트 시간 적응에 활용하는 것은 향후 과제로 남겨졌다.
1일차 녹화 · 12 분YouTube에서 열기
구두 발표

로봇 조작을 위한 메모리 증강 행동 조건부 월드 모델 (Memory-augmented Action-conditioned World Model for Robot Manipulation)

Jim (CMU, presenting for the authors)

전체 저자

Zirui Zheng1,2, Jiaqian Yu2, Xiongfeng Peng2, jun shi2, Mingyi Li1, Chao Zhang2, Weiming Li1, Dong Wang1, Huchuan Lu1, Xu Jia1

1Dalian University of Technology2Samsung R&D Institute China-Beijing

MemWorld는 긴 롤아웃 중 물체가 손목 카메라 시야에서 벗어났다 다시 들어올 때 행동 조건부 월드 모델이 물체를 왜곡하는 문제를 다룬다. 서펠(surfel) 기반 메모리는 장면 표면을 그것이 관측된 시점과 연결한다. 다가올 액션 청크로부터 계산한 미래 카메라 자세를 이용해 서펠을 렌더링하고 가시성, 작업 관련성, 최신성에 따라 점수를 매겨, 상위 K개의 과거 프레임을 다중 시점 월드 모델의 컨텍스트로 검색한다. 까다로운 DROID 궤적 34개에서 Ctrl-World보다 시각적 일관성이 개선되고, 실제 정책 성능을 더 가깝게 추적하며, 상상한 롤아웃을 정책 파인튜닝에 사용할 수 있다. 저자들이 이동할 수 없어 저자가 아닌 사람이 발표했으며, 질의응답은 생략되었다.

핵심 내용
  • 미래 로봇 행동은 손목 카메라가 다음에 어디를 볼지 결정하므로, 어떤 과거 관측을 검색할지에 대한 직접적인 단서가 된다.
  • 다섯 개 작업에서 π0와 π0.5의 월드 모델 성공률과 실제 성공률 사이의 상관계수가 0.85에서 0.97로 개선되었지만, 성공률은 여전히 과소추정된다.
  • 작업당 선별된 성공적인 상상 롤아웃 20–30개로 π0.5를 파인튜닝하자 세 개의 장기 작업에서 평균 실제 성공률이 58%에서 72%로 올랐다.
  • 다중 시점 일관성과 명시적 물리 제약은 여전히 열린 과제로 남아 있다.
1일차 녹화 · 12 분YouTube에서 열기
구두 발표

TEMPO: 동적 로봇 조작을 위한 시간적 컨텍스트 학습 (TEMPO: Learning Temporal Context for Dynamic Robot Manipulation)

Jimin Heo, Zhenyang Feng · UC Irvine

전체 저자

Zhenyang Feng1, Jimin Heo1, Erik B. Sudderth1, Unnat Jain1

1UC Irvine

TEMPO는 걸어가는 사람에게서 병 건네받기, 떨어지는 물체 잡기, 튕긴 물체 잡기, 움직이는 바구니에 붓기처럼, 단일 프레임 VLA가 RTC 같은 지연 감소 기법을 써도 실패하는 동적 조작 작업을 겨냥한다. TEMPO는 빠져 있던 두 가지 요소를 더한다. 하나는 고정된 비디오 파운데이션 모델(기본값은 SAM 2, 프레임당 약 11 ms)이 최근 프레임에서 추출한 특징에 시간적 어텐션을 적용해 얻은 모션 토큰이고, 다른 하나는 VLM과 행동 전문가 모두에 입력되는 최근 관절 명령의 압축된 고유수용 감각 이력이다. 이 이력은 시각적으로 비슷한 상태에서 정반대의 행동이 필요한 경우를 해결한다. 모든 것이 학계 수준의 컴퓨팅으로 돌아가며, 코드와 데이터는 오픈소스로 공개되었다.

핵심 내용
  • 추론 지연을 줄이는 것만으로는 동적 작업을 해결할 수 없다. 정책에는 물체 속도와 자신의 행동 이력도 필요하다.
  • 병 건네받기에서 TEMPO는 기반 VLA 대비 완전한 실패를 절반으로 줄이고 성공을 거의 두 배로 늘렸다. 기반 VLA는 50회 에피소드 중 18회에서 완전히 놓쳤다.
  • 각 요소만으로도 기반 VLA를 능가하며, 둘을 합치면 74%에 도달하고, 이 향상은 세 가지 서로 다른 VLA 백본에서 유지되었다.
  • 동작 이해는 비디오 파운데이션 모델의 사전학습 수준에 묶여 있어, 던진 공처럼 매우 빠른 동작에서는 여전히 실패할 수 있다.
1일차 녹화 · 11 분YouTube에서 열기

구두 발표 O3 · 데이터, 시뮬레이션과 평가

월 11:30 AM · Hilton Austin · 좌장: Ed Johns

3개 발표
구두 발표

실제로 측정할 수 있는 다양성: 로보틱스 데이터셋을 위한 빠른 모델 프리 다양성 지표 (Diversity You Can Actually Measure: A Fast, Model-Free Diversity Metric for Robotics Datasets)

Sreevardhan Sirigiri · The University of Sydney

전체 저자

Sreevardhan Sirigiri1, Nathan Samuel de Lara2, Christopher Agia3, Florian Shkurti2,4, Fabio Ramos1,5

1The University of Sydney2University of Toronto3Stanford University4Allen Institute for AI5NVIDIA

저자들은 로봇 시연 데이터셋을 위한 비모수적 다양성 척도인 시그니처 엔트로피를 제안한다. 각 시연을 평탄화한 상태, 행동, (임베딩된) 관측 위의 경로로 취급하고, 시그니처 변환을 거쳐 시그니처 커널로 비교한다. 엔트로피는 커널 행렬의 고유값으로부터 닫힌 형태로 계산되며, 행렬식 기반의 부피형 대안도 있다. 또한 엔트로피를 최대화하는 부분집합을 탐욕적으로 선택하는 모델 프리 큐레이션 알고리즘 FACTUAL을 소개한다. RoboMimic에서 FACTUAL은 무작위 가지치기를 능가하고 때로는 전체 데이터셋보다도 나으며, 실제 로봇의 소형 VLA에서도 비슷한 경향이 나타난다.

핵심 내용
  • RoboMimic에서 시그니처 엔트로피는 정책 성공률과 강한 상관관계를 보였으며, RNN부터 디퓨전 정책까지 여러 아키텍처에서 피어슨 상관계수가 0.74에서 1 사이였다.
  • 시그니처 변환은 길이가 서로 다른 궤적을 다루면서도 경로의 기하를 보존하여, 다루기 어려운 확률 분포를 추정할 필요를 없앤다.
  • FACTUAL은 보조 모델, 정책 접근, 롤아웃이 필요 없어 다른 큐레이션 방법보다 훨씬 가볍다.
  • 시연을 추가할수록 데이터셋 엔트로피는 포화되며, 포화 속도는 기반 데이터가 얼마나 다양한지를 반영한다.
1일차 녹화 · 10 분YouTube에서 열기
구두 발표

MolmoB0T: 대규모 시뮬레이션이 제로샷 조작을 가능하게 한다 (MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation)

Rose Hendrix, Abhay Deshpande, Maya Guru · Allen Institute for AI

전체 저자

Abhay Deshpande1, Maya Guru1, Rose Hendrix1, Snehal Jauhri1,2, Ainaz Eftekhar1,3, Rohun Tripathi1, Max Argus1, Jordi Salvador1, Haoquan Fang1,3, Matthew Wallingford1, Wilbert Pumacay1, Yejin Kim1, Quinn Pfeifer3, Ying-Chun Lee3, Piper Wolters1, Omar Rayyan4, Mingtong Zhang5, Jiafei Duan1,3, Karen Farley1, Winson Han1, Eli VanderBilt1, Dieter Fox1,3, Ali Farhadi1,3, Georgia Chalvatzaki2, Dhruv Shah5, Ranjay Krishna1,3

1Allen Institute for AI2TU Darmstadt3University of Washington4UCLA5Princeton University

MolmoBot은 시뮬레이션 데이터로만 학습했는데도 실제 로봇으로 제로샷 전이되는 조작 정책 계열이다. MolmoBot 엔진은 MolmoSpaces 에셋 생태계를 기반으로 장면, 물체, 수납 용기를 샘플링하고, 로봇 관절, 조명, 텍스처, 카메라를 공격적으로 무작위화하며, 재시도와 행동 노이즈를 포함한 스크립트 기반 상태 기계로 시연을 생성한다. 그 결과물인 MolmoBot 데이터는 약 94,000개 환경에 걸친 170만 개의 시연으로 구성된다. 정책들(Molmo 2 기반 MolmoBot, 경량 MolmoBot-SPOC, MolmoBot-Pi0)은 Franka DROID 환경과 RB-Y1 모바일 매니퓰레이터에서 정책당 120회의 실제 시행으로 테스트되었으며, 모든 것이 오픈소스로 공개되었다.

핵심 내용
  • MolmoBot-Pi0는 π0와 같은 아키텍처를 갖지만 합성 데이터로만 학습했는데도 실제 환경에서 강력한 성능을 보여, 시뮬레이션 데이터만으로도 견고한 VLA를 학습할 수 있음을 보여 준다.
  • 저자들의 실용적 원칙은 무작위화할 수 있는 것은 모두 무작위화하라는 것이다. 공격적인 카메라 무작위화 덕분에 정책은 외부(exo) 카메라를 무시하지 않으면서도 큰 카메라 움직임에 견고해졌다.
  • 어블레이션 결과, 데이터 규모는 일관되게 도움이 되지만 단순한 집기 작업에서 물체 클래스와 환경 다양성은 일정 수준을 넘으면 포화된다.
  • 변형 물체는 아직 지원되지 않지만, MuJoCo의 새로운 네이티브 변형체 지원이 그 방향의 길을 연다.
1일차 녹화 · 10 분YouTube에서 열기
구두 발표 최우수 논문상 최종 후보

로봇 조작에서 우리는 실제로 무엇을 벤치마킹하고 있는가? (What Are We Actually Benchmarking in Robot Manipulation?)

Tianchong Jiang · Toyota Technological Institute at Chicago

전체 저자

Tianchong Jiang1, Xiangshan Tan1, Samuel Wheeler2, Luzhe Sun1, Tewodros W. Ayalew3, Matthew Walter1

1Toyota Technological Institute at Chicago2Argonne National Laboratory3University of Chicago

저자들은 널리 보고되는 다섯 가지 조작 벤치마크를 검토하고, 높은 점수가 오해를 낳는 네 가지 방식을 밝힌다. 지름길, 노이즈 범위 내의 성능 향상, 작은 분포 내 변화에 대한 취약성, 그리고 일반화로 착각된 데이터상의 이점이다. 로봇 사전학습도 언어 이해도 없는 단순한 DINO+MLP 정책이 LIBERO에서 보고된 최고 결과에 거의 근접하는데, 리셋 분포가 거의 변하지 않기 때문이다. 또한 SimplerEnv와 LIBERO에서 보고된 성능 향상 중 통계적으로 유의한 것은 거의 없다. 더 넓은 학습 범위에서 테스트 자세를 샘플링하면 모든 정책의 점수가 떨어지며, 시뮬레이션 내 스크립트 시연으로 학습한 아주 작은 정책도 SimplerEnv 최고 점수에 근접한다. 저자들은 대부분의 문제를 공개되어 있고 고정되어 있으며 범위가 좁은 테스트 세트 탓으로 돌리고, 공개 이후 테스트 세트나 극도로 다양한 테스트 세트, 그리고 신뢰 구간에 대한 명시적 가이드라인을 제안한다.

핵심 내용
  • LIBERO와 CALVIN 같은 벤치마크는 테스트 초기 상태가 학습 시연에 거의 포함되어 있어, 어디에서 행동할지를 암기하는 것만으로 대부분 풀 수 있다.
  • 논문들이 표준편차나 롤아웃별 결과를 거의 보고하지 않아, 작은 개선이 우연과 구별되지 않는 경우가 많다.
  • 평가 프로토콜이 학습 데이터의 출처를 제한하지 않기 때문에, SimplerEnv 점수만으로는 real-to-sim 일반화를 보여 줄 수 없다.
  • 공개된 고정 벤치마크는 결국 과적합되며, LLM 에이전트가 벤치마크를 상대로 반복 시도할 수 있게 된 지금은 더욱 그렇다. 따라서 비공개이거나 매우 다양한 테스트 세트가 필요하다.
1일차 녹화 · 11 분YouTube에서 열기

다이아몬드 스폰서 발표 I

월 1:30 PM · Hilton Austin · 좌장: Carlo Sferrazza

3개 발표
스폰서 발표

실제 응용을 향한 로봇 정교한 조작의 확장 (Scaling Robotic Dexterity Toward Real-World Applications)

Wei 'Reed' Lu · Sharpa

Lu는 정교한 조작을 범용 로봇의 마지막 미해결 퍼즐 조각으로 규정하며, 그 병목은 접촉, 힘, 회복을 담아야 하는 데이터라고 말한다. 그는 Sharpa에서 추진하는 세 가지 상호 보완적 경로를 설명한다. 첫째, 하드웨어-소프트웨어 공동 설계(W2 촉각 핸드, D01 로봇, AE01 외골격 글러브, 공유 자율 원격 조작, 인간 중심 시각-촉각 데이터 수집)를 통한 데이터 소스 확장, 둘째, 시스템 1/2 정책 아래에 놓이는 빠른 촉각 '시스템 0' 상호작용 계층, 셋째, 형태 인식 토큰 공간을 통한 크로스 임바디먼트 촉각 학습이다. 그는 회사 연혁과 완전 자율 로봇 아이스크림 매장 배포 사례로 발표를 마무리한다.

핵심 내용
  • 원격 조작 데이터는 느리고 비싸며 영상에는 접촉과 힘 정보가 없으므로, Sharpa는 어느 한쪽을 다른 쪽으로 대체하기보다 인간 중심 글러브 수집과 로봇 데이터를 결합한다.
  • 접촉 지점 가까이의 센싱을 사용하는 저수준 상호작용 계층이 고품질 촉각 센싱이 가장 중요한 곳('마지막 1밀리미터')으로 자리매김된다.
  • 이질적인 촉각 센서들을 형태 인식 공유 토큰 공간에 매핑하면, 하나의 촉각 전문가가 센서와 임바디먼트를 넘어 경험을 전이할 수 있다.
  • 55단계로 이루어진 아이스크림 주문을 처음부터 끝까지 처리하는 실제 매장 배포가 전체 스택의 신뢰성을 종합적으로 검증하는 시험대로 쓰인다.
1일차 녹화 · 12 분YouTube에서 열기
스폰서 발표

데이터와 시뮬레이션을 통한 로봇 학습의 확장 (Scaling Robot Learning Through Data and Simulation)

Christian Ureno · Lightwheel

Ureno는 1인칭 시점 인간 데이터, 물리적으로 검증된 시뮬레이션, 평가로 이어지는 Lightwheel의 로봇 정책 학습 루프를 소개한다. 그는 EgoSuite 1인칭 시점 데이터셋(10k시간 규모의 공개 릴리스로 시작해 100k시간을 향해 확장 중), 마찰, 감쇠, 그리고 케이블 같은 변형 물체를 보정하는 측정 공장을 갖춘 SimFoundry real-to-sim 파이프라인, 평가 벤치마크인 RoboFinals와 실제 산업 작업으로 구축한 새로운 RL 환경을 다룬다. 질의응답에서 그는 실제 세계에서 측정한 진동 데이터를 이용해 시뮬레이터 파라미터를 역설계한다고 설명한다.

핵심 내용
  • 정책 학습에는 세 가지가 필요하다고 정리한다. 유용한 예시, 연습할 장소, 그리고 측정 수단이다.
  • 케이블 같은 변형 에셋은 시뮬레이션과 실제의 진동 및 안정화 곡선을 일치시키는 방식으로 보정하여 real-to-sim 격차를 줄인다.
  • Lightwheel은 실제 산업 작업으로 구축한 RL 환경이 테이블탑 원격 조작 작업보다 더 가치 있다고 주장한다.
  • 환경 구축은 에이전틱하게 이루어지며, 시뮬레이션 엔지니어가 각 단계의 물리적 충실도를 검토한다.
1일차 녹화 · 15 분YouTube에서 열기
스폰서 발표

꿈에서 실행으로: World Action Model과 에이전틱 로보틱스 (From Dreaming to Doing: World Action Models and Agentic Robotics)

Jim Fan · NVIDIA

Fan은 강력한 프런티어 모델('Astra')의 등장이 빠른 시스템 1을 쓸모없게 만들지 않으며, 진짜 질문은 무엇이 좋고 가르칠 수 있으며 조향 가능한 기술을 만드느냐라고 주장한다. 그는 한 번의 디퓨전 패스로 미래 영상 프레임과 행동을 함께 예측하는 20억 파라미터(2B) 월드 액션 모델 GR00T 2와 엣지 컴퓨팅용 Turbo 변형을 소개하고, 데이터센터 메모리 교체나 화학 실험실 절차 같은 장기 정교한 조작 작업에서 시연한다. 그는 인간 웨어러블, 모캡 글러브, DexUMI 외골격, 시뮬레이션으로부터의 'cross adapt' 제로샷 전이를 보여 주고, 프런티어 모델을 GR00T와 결합하는 세 가지 방법(시각적 조향, 행동 편집, Aspire 에이전틱 하네스)을 제시한다. 마지막으로 모델 가중치, SimFoundry, Aspire, Flora 주석 도구 모음, 100k시간의 인간 데이터, 하드웨어 설계의 공개를 발표한다.

핵심 내용
  • 모델은 픽셀 공간에서 미래 프레임을 '꿈꾸고' 그에 따라 행동하며, 행동과 영상을 함께 디코딩한다.
  • 인간이 수집한 데이터(UMI 그리퍼, 모캡 글러브, DexUMI 외골격)로만 파인튜닝해도 다른 로봇 하드웨어로 제로샷 전이되었다.
  • 픽셀 위에 가이던스를 그려 넣으면 대형 추론 모델이 작은 정책을 조향할 수 있어, 하노이의 탑 재귀 같은 인지 작업을 상위 계층으로 넘길 수 있다.
  • 학습된 정책과 code-as-policy 회복 기술 사이를 전환하는 에이전틱 하네스 덕분에 밤새 거의 연속적인 조립이 가능했다.
  • NVIDIA는 GR00T 2와 Turbo 가중치, 그리고 cross-adapt 레시피를 12월에 오픈소스로 공개한다고 발표했다.
1일차 녹화 · 18 분YouTube에서 열기

신진 연구자 기조연설 II

월 2:00 PM · Hilton Austin · 좌장: Ken Goldberg

1개 발표
신진 연구자 기조연설

로봇은 어떻게 다른 존재와 상호작용하고 협응하는 법을 배울 수 있는가? (How Can Robots Learn to Interact and Coordinate with Others?)

Negar Mehr · UC Berkeley

Ken Goldberg의 소개로 등단한 Mehr는 두 로봇이 함께 물체를 나르는 협동 작업을 통해 상호작용 학습이 단일 에이전트 학습과 왜 다른지 보여 준다. 모방학습에 대해서는 다중 에이전트 행동 복제가 가치 격차보다 악용 가능성(exploitability)을 신경 써야 한다고 설명하고, 멀티모달 협응을 다루기 위해 분산형 디퓨전 정책을 사용하며, 고정된 단일 에이전트 정책 위에 협응을 더하는 잔차 디노이저를 학습한다. RL에 대해서는 파운데이션 모델이 작업을 분해하고 보상 및 조합 코드를 작성하며 기여도 할당을 수행하는 '코치' 역할을 하여, 일반 MAPPO로는 풀 수 없던 작업을 가능하게 한다는 것을 보인다. 마지막으로 그녀는 지속 학습을 가중치 공간에서의 시간적 합의 문제로 정식화하고 primal-dual 승수법 업데이트로 풀어, 리플레이 없이도 사전학습 작업을 잊지 않으면서 pi-0.5를 새로운 작업에 파인튜닝한다.

핵심 내용
  • 다중 에이전트 모방에서는 한 에이전트의 작은 이탈이 공동 작업 전체를 망칠 수 있으므로, 실패 및 상호작용 모드에 대한 데이터 커버리지가 단일 에이전트 환경보다 훨씬 더 중요하다.
  • 후퇴 지평(receding horizon) 방식으로 실행되는 분산형 디퓨전 정책은 통신 없이도 하나의 협응 모드에 암묵적으로 합의할 수 있다.
  • 사전학습된 단일 에이전트 정책을 고정하고 적은 시연으로 협응 잔차만 학습하면, 단독 기술을 유지하면서 팀워크를 가능하게 한다.
  • 기성 파운데이션 모델을 기여도 할당자로 사용한 방식이 창고 협응 작업에서 표준 다중 에이전트 RL 베이스라인을 능가했다.
  • 코치가 생성한 기술 조합 코드를 반복 개선하자 휴머노이드의 버튼 누르기 성공률이 두 번의 반복 만에 약 20%에서 90%로 올랐다.
  • 리플레이 없는 시간적 합의(TACO)는 지도 파인튜닝이 잊어버린 사전학습 작업 성능을 유지했으며, 동적 매핑에서 중복되거나 오래된 객체도 피했다.
1일차 녹화 · 32 분YouTube에서 열기

스포트라이트 S2 · 효율적 실행, 월드 모델과 학습

월 2:30 PM · Hilton Austin · 좌장: Dinesh Jayaraman

9개 발표
스포트라이트

BitVLA: 로봇 조작을 위한 1비트 Vision-Language-Action 모델 (BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation)

Hongyu Wang · Institute of Computing Technology, Chinese Academy of Sciences / University of Chinese Academy of Sciences (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Hongyu Wang1,2, Chuyan Xiong1,2, Ruiping Wang1,2, Xilin CHEN1,2

1Institute of Computing Technology, Chinese Academy of Sciences2University of Chinese Academy of Sciences

저자들은 BitNet b1.58을 기반으로 3값(ternary) 가중치를 사용하는 완전 네이티브 1비트 VLA인 BitVLA를 소개하며, Quantize-then-Distill 단계로 비전 인코더를 압축한다. OpenVLA-OFT 수준의 조작 성능을 내면서 메모리는 11배 적게 쓰고 4.4배 빠르게 동작하며, 전용 추론 런타임과 함께 제공된다.

핵심 내용
  • 선형 레이어를 3값 가중치와 8비트 활성화를 쓰는 레이어로 대체하면 부동소수점 곱셈-누산 연산 대부분이 사라져, 특화된 엣지 가속기의 가능성이 열린다.
  • 전정밀도 교사 모델이 양자화된 비전 인코더의 잠재 표현을 정렬해 주면 압축 후에도 정확도를 유지하는 데 도움이 된다.
  • 3값 가중치를 패킹한 전용 런타임은 같은 GPU에서 PyTorch보다 3.52배 빠르게 동작했다.
1일차 녹화 · 4 분YouTube에서 열기
스포트라이트

EagleVLA: 미래 정렬 비동기 추론을 통한 온보드 실시간 로봇 제어를 향하여 (EagleVLA: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference)

Zebin Yang · Peking University / TLAIC

전체 저자

Zebin Yang1,2, Qi Wang1, Yunhe Wang1, Xiurui Guo3, Bo Yu4, Shaoshan Liu4, Jiafeng Xu1, Hao Dong1, Meng Li1,2

1Peking University2TLAIC3PrimeBot Research Institute4AIRS

저자들은 Jetson Orin 같은 저전력 온보드 장치에서의 VLA 배포를 겨냥한다. 이런 장치에서는 긴 추론 시간 때문에 인지와 실행 사이의 불일치와 느린 반응이 생긴다. 이들은 이미 확정된 행동으로부터 미래의 VLM 은닉 상태를 예측해 행동 전문가가 미래 시간 단계를 기준으로 행동하게 하고, 예측 신뢰도에 따라 VLM 호출과 행동 전문가 호출을 스케줄링하며, 온보드 추론 엔진을 추가한다.

핵심 내용
  • 비동기 추론만으로는 지연을 숨길 수 있어도 로봇이 오래된 관측에 따라 행동하게 되는데, 미래 표현을 예측하면 이를 바로잡을 수 있다.
  • 신뢰도 기반 스케줄링은 미래 예측이 신뢰할 만할 때 저렴한 행동 전문가만 단독으로 실행하게 하여 반응 시간을 줄인다.
  • 실제 옷 개기 작업에서 동기식 추론 및 실시간 청킹(real-time chunking) 베이스라인보다 더 매끄러운 궤적을 보였다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

REACT: VLA 모델 기반 반응형 로봇 제어를 위한 롤링 디노이징과 이중 분리 (REACT: Rolling Denoising and Dual Decoupling for Reactive Robot Control with VLA Models)

Ran Cheng · PrimeBot

전체 저자

Houlong Xiong1,2, Zhenqi Qiu2,3, Zechen Wang2, Suohang Zhang4, Yiyu Ren2, Wanting Xu3, Hongfei Niu2, Chengyang He5, GE SUN5, Ran Cheng2, Qian Zhu2

1Shanghai Jiao Tong University2PrimeBot3ShanghaiTech University4Zhejiang University5National University of Singapore

REACT는 플로 기반 VLA에서 매끄럽고 긴 액션 청크와 반응적인 재계획 사이의 트레이드오프를 다룬다. 블록들이 서로 엇갈린 디노이징 단계에 놓인 롤링 행동 버퍼를 유지하며, 새로운 관측이 들어올 때마다 이를 정제한다. 이중 분리(dual decoupling)는 센싱, VLM 인코딩, 디노이징, 실행을 비동기적으로 수행한다.

핵심 내용
  • 더 빠른 추론이나 비동기 실행만으로는 새로운 관측이 행동에 영향을 미치는 속도인 '입력 처리량'이 높아지지 않는다.
  • 롤링 디노이징은 실행되는 각 블록이 최근의 여러 관측에 걸쳐 정제되게 하여, 매끄러움과 반응성을 함께 개선한다.
  • 블록마다 엇갈린 노이즈 수준으로 학습하자 수렴이 빨라지고 개루프 예측 오차가 낮아졌다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

TARC: 시간 적응형 로봇 제어 (TARC: Time-Adaptive Robotic Control)

Arnav Sukhija · ETH Zurich

전체 저자

Arnav Sukhija1, Lenart Treven1, Jin Cheng1, Florian Dorfler1, Stelian Coros1, Andreas Krause1

1ETH Zurich

TARC는 제어 업데이트 횟수에 대한 예산 아래에서 정책이 행동과 함께 그 행동을 얼마나 오래 유지할지를 출력하는 RL 프레임워크로, 이를 통해 제어 주파수 자체가 학습 대상이 된다. 4족 보행 로봇에서는 서 있을 때 제어 주기가 낮게 유지되다가 밀리면 급격히 높아지며, pi-0 VLA에서는 언제 재계획할지를 적응적으로 결정한다.

핵심 내용
  • 이 제약 문제는 업데이트당 비용이 있는 표준 MDP로 환원되므로, 어떤 기성 RL 알고리즘이든 적용할 수 있다.
  • TARC는 절반 미만의 제어 주기로 고정 50 Hz 정책과 같은 성능을 냈으며, 같은 평균 주기의 고정 주기 정책은 성능이 더 나빴다.
  • pi-0에서의 적응형 재계획은 같은 성공률을 유지하면서 순전파(forward pass)를 약 38% 절약했다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

Diffusion ReRoll: 로봇 순차 예측을 위한 수정 가능한 디노이징 (Diffusion ReRoll: Revisable Denoising for Robotic Sequential Prediction)

Seonsoo Kim · Agency for Defense Development

전체 저자

Seonsoo Kim1, Seongil Hong1, Jun-Gill Kang1

1Agency for Defense Development

Diffusion ReRoll은 시퀀스 중 이미 안정화된 영역에 선택적으로 노이즈를 다시 주입하는 동안 다른 영역은 계속 디노이징하여, 예측 구간의 앞부분과 뒷부분이 서로를 수정할 수 있게 한다. OGBench 계획, LIBERO/RoboCasa 정책 학습, 통합 영상-행동 예측, 그리고 5 Hz 온보드 추론을 사용하는 실제 내비게이션에서 평가된다.

핵심 내용
  • 전체 시퀀스 디퓨전은 잘못된 결정에 고착된 채 그 결정을 더 깔끔하게 만들 뿐일 수 있으며, 인과적 diffusion forcing은 뒤의 컨텍스트가 앞쪽 접두부를 수정하게 할 수 없다.
  • 노이즈 재주입으로 얻는 이득은 재주입 횟수에 따라 커지다가 포화되며, 인과적 어텐션 마스크는 그 효과를 제한한다.
  • 실제 내비게이션에서 전체 시퀀스 및 인과적 베이스라인이 실패한 분포 밖 레이아웃과 급회전을 처리해 냈다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

로봇 학습 파이프라인을 손상시키기 위한 월드 모델 공격 (Targeting World Models to Compromise Robot Learning Pipelines)

Ethan Rathbun · Northeastern University

전체 저자

Ethan Rathbun1, Ahmed Agha1, Saaduddin Mahmud2, Christopher Amato1, Alina Oprea1, Eugene Bagdasarian2

1Northeastern University2University of Massachusetts Amherst

저자들은 합성 로봇 학습 데이터 생성에 쓰이는 월드 모델이 은밀한 데이터 오염(poisoning)의 진입점이 된다는 것을 보인다. 안전해 보이는 시연에 눈에 띄지 않는 이미지 섭동을 가하면, 텍스트 조건부 모델에는 악성 프롬프트를 주입하고 행동 조건부 모델에는 동역학 백도어를 심을 수 있다. 오염된 롤아웃은 이후 VLA와 PPO 정책으로 전파된다.

핵심 내용
  • 컨텍스트 프레임 하나를 섭동하는 것만으로 텍스트 조건부 월드 모델이 무해한 프롬프트로부터 전혀 다른 유해한 작업(예: 선물 상자에 무기 넣기)을 생성하게 만들 수 있었다.
  • 백도어는 에이전트가 트리거를 보았을 때 목표 행동을 취하지 않으면 월드 모델의 예측이 붕괴되게 만들며, RL 정책은 결국 그 행동을 학습한다.
  • 저자들은 이것이 월드 모델만을 공격해 주입한 최초의 백도어 공격이라고 밝히며, 더 안전한 월드 모델 공급망을 촉구한다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

청크 단위 모델 기반 정책 최적화 (Chunk-wise Model-based Policy Optimization)

Weixi Song · Zhejiang University / Shanghai Innovation Institute / Westlake University (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Weixi Song1,2,3, Donglin Wang3, Yong-Lu Li2,4

1Zhejiang University2Shanghai Innovation Institute3Westlake University4Shanghai Jiao Tong University

저자들은 순환적 월드 모델 롤아웃을 청크 월드 모델로 대체한다. 이 모델은 잠재 상태와 예측된 액션 청크를 한 번의 패스로 미래의 잠재 청크에 매핑하며, 시간 역전파(backpropagation through time) 없이 가치 확장(value expansion)을 최적화한다. HumanoidBench에서 평가하고, Unitree Go2 사족 보행 로봇에 이족 보행을 배포했다.

핵심 내용
  • 청크 수준 예측은 한 스텝 오차의 누적과 순환 롤아웃을 통한 그래디언트의 불안정성을 피한다.
  • HumanoidBench에서 TD-MPC2 대비 약 50%의 학습 시간과 30배 빠른 추론으로 강력한 성능에 도달했다.
  • 이 방법은 실제 사족 보행 로봇에서 SAC보다 빠르게 이족 보행을 찾아냈다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

FedGuide: 이질적 연합 강화학습을 위한 디퓨전 사전분포 정렬과 가치 기준선 가이던스 (FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning)

Zhilin He · Carnegie Mellon University

전체 저자

Zhilin He1, Gauri Joshi1

1Carnegie Mellon University

FedGuide는 동역학, 보상, 초기 상태가 서로 다른 클라이언트 간의 연합 RL 문제를 다룬다. 최적 수송(optimal transport) 기반 전문가 혼합(mixture of experts)으로 집계되는 개인화된 디퓨전 사전분포를 사용하고, 사전분포로 정규화된 PPO를 안정화하기 위해 DICE 가치 기준선을 더한다. MuJoCo 보행 과제와 Meta-World 조작 과제에서 평가했다.

핵심 내용
  • 로컬 정책을 단순 평균하면 각 이질적 클라이언트에 필요한 특화된 행동 모드가 지워진다.
  • 행동 사전분포를 분포 공간에서 집계하자 여러 보상 모드가 보존된 반면, 정책 평균은 하나의 모드로 붕괴했다.
  • DICE 가치 기준선 덕분에 학습 라운드 전반에서 리턴의 변동성이 크게 낮아진 것으로 나타났다.
1일차 녹화 · 3 분YouTube에서 열기
스포트라이트

MoRE: 다중 물리 로봇 월드 모델을 위한 전문가 혼합(Mixture-of-Experts) (MoRE: Mixture-of-Experts for Multi-Physics Robotic World Models)

Ziyu Zhu · UIUC / Georgia Tech

전체 저자

Ziyu Zhu1,2, Shaowei Liu1, Albert J. Zhai1, Henry Che1, Wei-Chiu Ma3, Shenlong Wang1

1UIUC2Georgia Tech3Cornell University

MoRE는 3D 포인트 기반 월드 모델로, 공유 인코더 위에서 로봇 상호작용을 강체, 변형체, 파지(prehensile) 동역학을 담당하는 모션 전문가로 라우팅하며, Isaac Sim 데이터와 실제 데이터로 학습된다. MPC와 통합하면 하나의 모델로 실제 로봇에서 강체 상자를 밀고, 부드러운 천을 조작하며, 다단계 도구 사용을 수행한다.

핵심 내용
  • 하나의 공유 동역학 모델은 서로 다른 상호작용 양상을 뭉개는 경향이 있으며, 라우터를 갖춘 전문가 혼합은 이를 피한다.
  • MoRE는 강체, 변형체, 파지 벤치마크 전반에서 기존 방법보다 예측 정확도를 높였다.
  • MPC 안에서 하나의 월드 모델을 사용해 재료별 모델 없이도 다양한 실제 조작 과제가 가능해졌다.
1일차 녹화 · 3 분YouTube에서 열기

기조연설 I

월 3:30 PM · Hilton Austin · 좌장: Dieter Fox

1개 발표
기조연설

체화된 AI(Embodied AI) 실현을 위한 과제 (Challenges to Realize Embodied AI)

Wolfram Burgard · University of Technology Nuremberg

Dieter Fox의 소개로 등장한 Burgard는 로봇 연구를 확률론적 로보틱스, 딥러닝, 그리고 이제 파운데이션 모델이라는 세 가지 기술로 바위를 거듭 언덕 위로 밀어 올리는 시지프스에 비유한다. 그는 확률론적 방법이 밀리미터 수준의 위치 추정과 자율주행차의 부상을 이끌었다고 평가하면서도, HD 맵에 대한 의존이 시스템을 지오펜스된 레벨 4 자율주행에 묶어 두고, 사전 정의된 온톨로지를 필요로 하는 딥러닝은 어수선한 가정 환경에서 무너진다고 주장한다. 이어 자신의 연구 그룹이 수행한 파운데이션 모델 연구, 즉 맵 없는 내비게이션(FlowNav, MetricNet), LLM으로 연결한 스킬, 의미론적 파지, 촉각 예측, 명시적 렌치 제어, 비전-언어 내비게이션 에이전트의 해석 가능성을 개관한다. 마지막으로 보정된 불확실성, 로봇 파운데이션 모델에서의 힘과 촉각, 공유 대규모 학술 컴퓨팅 자원, 그리고 '로보틱스의 CERN'을 촉구한다.

핵심 내용
  • 딥 인식과 확률론적 상태 추정을 결합하려면 보정된 불확실성이 필요하며, 파운데이션 모델에서는 이것이 더욱 어려워진다.
  • Burgard는 자율주행이 더 구조화된 환경에서 성공한 것처럼, 로봇이 어수선한 가정보다 공장 현장에 훨씬 먼저 도달할 것으로 예상한다.
  • 맵 없는 내비게이션에도 어느 정도의 계량적 기하 정보가 필요하다. 스케일 없는 디퓨전 기반 내비게이션은 충돌을 일으켰고, MetricNet의 스케일이 반영된 웨이포인트가 이를 해결했다.
  • 모방 정책에 명시적 힘/렌치 제어를 추가하자 위치+강성 제어보다 접촉이 많은 과제의 성능이 크게 향상되었다.
  • 최신 비전-언어 내비게이션 에이전트는 사람이 주석한 관련 영역 대비 정밀도가 70% 미만이었으며, 이는 해석 가능성 연구가 더 필요함을 보여 준다.
  • 그는 산업계를 따라잡기 위해 학계가 힘과 촉각을 포함한 개방형 로봇 파운데이션 모델에 자원을 모아야 한다고 주장한다.
1일차 녹화 · 63 분YouTube에서 열기

다이아몬드 스폰서 발표 II

월 4:30 PM · Hilton Austin · 좌장: Matt Walter

3개 발표
스폰서 발표

GM의 자율주행 혁신 (Innovations in Autonomy at GM)

Sean Harris · General Motors

Harris는 GM이 Cruise 로보택시 프로그램에서 개인용 자율주행으로 전환했으며, 2028년 아이즈오프(eyes-off) 고속도로 제품을 목표로 한다고 설명한다. 그는 실제 시간보다 50,000배 이상 빠르게 돌아가는 시뮬레이터에서의 셀프 플레이 RL(인간 성능을 넘어서고 복구를 학습하지만, 단순화된 입력을 사용하며 인간처럼 느껴지지 않을 수 있음)을 수십만 시간 분량의 주행 로그에 대한 모방학습과 대비한다. 둘을 결합하는 방법을 개략적으로 제시하고, 장면 추론, 데이터 마이닝, 분류(triage), 비평 등 차량 탑재 및 오프보드 VLM 활용을 소개한다.

핵심 내용
  • GM의 고속 시뮬레이터에서 2시간 미만의 셀프 플레이 학습만으로 견고한 합류 및 양보 행동이 나타났다.
  • 셀프 플레이는 드문 사건에 대한 커버리지를 제공하고 DAgger의 오차 누적 문제를 피하며, 모방은 현실적인 분포와 인간다운 행동을 제공한다.
  • 가능한 결합 방식으로는 RL을 모방 정책에 고정(anchor)하기, RL 교사를 증류하기, 인간 주행으로부터 보상 학습하기 등이 있다.
  • VLM은 사고 현장에서의 차선 수준 고차원 추론과 도로 위 잔해 같은 드물고 비정형적인 사건의 마이닝에 유용하다.
1일차 녹화 · 10 분YouTube에서 열기
스폰서 발표

RoboCap과 RoboColosseum (RoboCap & RoboColosseum)

Michael Cho, Jiafei Duan · BitRobot Network / NUS

Cho는 실세계 데이터를 크라우드소싱하려는 BitRobot의 목표를 소개한다. 여기에는 6개 카메라로 구성된 머리 장착형 캡처 장치 RoboCap, 무선 동기화 손목 카메라, 촉각 장갑 통합, 그리고 RoboCap 10K, LiDAR 정답 데이터셋, 대규모 도시 내비게이션 데이터셋, 실제 가정에서의 휴머노이드 500시간 데이터 같은 공개 데이터셋이 포함된다. 이어 Duan은 수백 대의 로봇, 30명의 평가 팀, 수백 개의 환경을 갖춘 대규모 실세계 평가 프로젝트 RoboColosseum을 소개하며, 파인튜닝 트랙과 오픈 트랙을 제공한다.

핵심 내용
  • RoboCap 10K는 11개국에서 수집한 10,000시간 분량의 실제 환경 직업 작업 데이터를 손 포즈 및 SLAM 정보와 함께 제공한다.
  • RoboColosseum의 첫 평가에서 모든 설정을 지배하는 모델은 없었고, 완전한 성공에 도달한 휴머노이드 모델도 없었다.
  • Duan에 따르면 모델에 대해 통계적으로 유의한 결론을 내리려면 약 400~500회의 비교가 필요하다.
  • RoboColosseum은 학술 연구실에 10,000시간의 무료 실세계 평가를 제공한다.
1일차 녹화 · 12 분YouTube에서 열기
스폰서 발표

피지컬 AI를 위한 데이터 인프라 (Data Infrastructure for Physical AI)

Kun Wang · MaxInsights

MaxInsights의 공동 창업자 겸 CTO는 회사를 로봇 학습용 1인칭 시점 인간 데이터의 대형 공급자로 소개하며, 지금까지 200만 시간 이상을 납품했다고 밝힌다. 그는 데이터 품질에 대한 내부 근거로, 1인칭 데이터만으로 사전학습한 모델이 약 10배 많은 혼합 데이터로 학습한 모델과 비슷한 성공률에 도달했다는 결과를 공유하고, 손별·단계 수준 라벨을 갖춘 세밀한 언어 주석 체계를 소개한다. 또한 공개 주석 데이터셋과 실제 환경 평가 및 교정 피드백 루프를 예고한다.

핵심 내용
  • 자사 1인칭 데이터 약 600시간으로 사전학습한 결과가, 시뮬레이션에서 로봇 데이터와 1인칭 데이터를 합쳐 6,000시간 이상 학습한 기준선과 대략 비슷한 것으로 보고되었다.
  • 언어 주석은 목표 명확성, 시간적 일관성, 실행 세부사항을 중심으로 구성되며, 왼손과 오른손을 따로 약 1초 단위로 라벨링한다.
  • MaxInsights는 기존 1인칭 데이터셋에 없다고 하는 손가락 수준 접촉 라벨을 포함한 주석 데이터셋을 오픈소스로 공개할 계획이다.
  • 결과를 확인하고 정책에 교정 피드백을 보내는 추론 모델이 실세계 데이터 피드백 루프의 일부를 이룬다.
1일차 녹화 · 12 분YouTube에서 열기

2일차 · 11월 10일 (화)

스포트라이트 S3 · 인간으로부터의 학습, 정교한 조작과 협력

화 8:30 AM · Hilton Austin · 좌장: Danfei Xu

9개 발표
스포트라이트

Ego2Robot: 1인칭 시점 인간 데이터로부터의 확장 가능한 로봇 데이터 합성 (Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data)

Ye Wang · Renmin University of China / Alibaba Inc. (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Ye Wang1,2, Pei Lin2,3,4, Xiong-Hui Chen2, Haoqi Yuan2, Zhixuan Liang2, Yiyang Huang2, Anzhe Chen2, Zixing Lei2, Jie Zhang2, Tao Zhang1, Haoyang Li2, Tong Zhang2, Chenxi Xiao3, Ziyuan Jiao4,5, Qin Jin1

1Renmin University of China2Alibaba Inc.3ShanghaiTech University4Beijing Institute for General Artificial Intelligence5Beihang University

저자들은 1인칭 시점의 인간 조작 영상을 로봇 학습 데이터로 변환하는 파이프라인 Ego2Robot을 제시한다. 손 포즈를 그리퍼 동작으로 리타기팅하고, 사람의 팔을 인페인팅으로 지우고, 시뮬레이션에서 동작을 재현한 뒤 렌더링된 로봇을 원래 장면에 합성하고, 저품질 클립을 걸러 낸다. 확장된 RoboTwin 벤치마크를 사용해 이 합성 데이터가 외관, 장면 배치, 임바디먼트, 과제 의미라는 축에서 로봇 파운데이션 모델의 사전학습에 얼마나 도움이 되는지 측정한다.

핵심 내용
  • 합성된 Ego2Robot 데이터와 실제 로봇 데이터를 균형 있게 섞는 것이 사전학습에 가장 효과적이며, 원시 1인칭 영상을 섞는 것보다 로봇 형식으로 합성된 데이터를 섞는 편이 낫다.
  • 가장 큰 향상은 조명 및 로봇 색상 변화, 카메라 이동에 대한 견고성, 크로스 임바디먼트 전이, 처음 보는 물체가 포함된 지시에서 나타나며, 로봇 신체 종류를 늘릴수록 전이가 계속 개선된다.
  • 현재는 손 포즈 추정 정확도가 가장 정밀한 실제 로봇 과제에서의 성능 향상을 제한한다.
2일차 녹화 · 4 분YouTube에서 열기
스포트라이트

로봇 조작을 위한 인간 의도 학습 (Learning Human Intention for Robotic Manipulation)

Kaiyi Xiong · Shanghai Jiao Tong University

전체 저자

Chengyang Li1,2, Kaiyi Xiong1, Yuan Xu3, Lei Qian4, Yizhou Wang3, Wentao Zhu2

1Shanghai Jiao Tong University2Eastern Institute of Technology, Ningbo3Peking University4ShanghaiTech University

저자들은 인간의 시선을 임바디먼트에 무관한 의도 신호로 사용한다. 손과 시선이 주석된 대규모 1인칭 데이터셋으로 사전학습한 모델이 먼저 의도 토큰을 자기회귀적으로 예측한 다음, 사고의 사슬(chain-of-thought) 방식으로 행동을 생성한다. 사후학습에는 시선 주석이 없는 소량의 로봇 데이터와 해당 과제의 인간 데이터만 있으면 된다.

핵심 내용
  • 고수준 의도는 저수준 행동보다 임바디먼트 간 전이가 훨씬 쉬우므로, 인간에서 로봇으로의 전이를 잇는 다리 역할을 한다.
  • 예측된 의도를 수동으로 편집하면 로봇의 궤적이 즉석에서 바뀌며, 의도를 모델링하면 과제 성공률이 높아진다.
  • 인간 데이터는 사전학습과 사후학습 모두에 도움이 되며, 인간 영상에서만 본 시나리오에서도 로봇이 성공하게 해 준다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

Real-to-Sim-to-Real 공유 자율성을 통한 효율적이고 신뢰성 높은 원격 조작 (Efficient and Reliable Teleoperation through Real-to-Sim-to-Real Shared Autonomy)

Shuo Sha · Columbia University

전체 저자

Shuo Sha1, Yixuan Wang1, Binghao Huang1, Antonio Loquercio2, Yunzhu Li1

1Columbia University2University of Pennsylvania

저자들은 real-to-sim-to-real 공유 자율성 프레임워크를 제안한다. 5분 미만의 실제 원격 조작 데이터에 맞춘 k-최근접 이웃 인간 대리 모델을 상대로 시뮬레이션에서 학습한 잔차(residual) RL 보조 조종사(co-pilot)가 너트 체결, 기어 맞물림, 페그 삽입 같은 접촉이 많은 과제에서 조작자를 돕는다. 사람은 고수준 의도를 제공하고 보조 조종사는 저수준 접촉 정렬을 담당한다.

핵심 내용
  • 사람이 의도를 제공하고 RL이 저수준 접촉 제어를 담당하도록 역할을 나누면, 완전한 자율성을 해결하지 않고도 원격 조작의 신뢰성이 높아진다.
  • 보조 조종사가 지원하는 원격 조작은 성공률을 높이고 완료 시간과 작업 부하를 줄이며, 삽입 속도 조절 같은 조작자의 의도를 따른다.
  • 보조 조종사 지원 시연으로 학습한 디퓨전 정책은 같은 양의 직접 원격 조작 데이터로 학습한 정책보다 우수하다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

FlowDAgger: 잠재 공간에서 생성형 로봇 정책의 휴먼 인 더 루프 적응 (FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space)

Michael Murray · Microsoft Research

전체 저자

Michael Murray1, Daphne Chen1,2, Simran Bagaria1, Dean Fortier1, Tess Hellebrekers1, Galen Mullins1, Harshavardhan Reddy Gajarla1, Oier Mees3,4, Maya Cakmak2, Andrey Kolobov1

1Microsoft Research2University of Washington3Microsoft4ETH Zurich

Michael Murray는 FlowDAgger를 소개한다. 이 방법은 소수의 사람의 스페이스 마우스 교정만으로 작은 잠재 조향(latent-steering) 정책을 학습해, 고정된 플로 매칭 및 디퓨전 정책(pi0.5, Cosmos Policy, 일반 디퓨전 정책 등)을 적응시킨다. 핵심 요소는 행동 역변환(action inversion)으로, 고정점 최적화를 통해 각 교정을 그것을 만들어 낼 노이즈 잠재 변수로 되돌리며, 이를 DAgger 방식의 루프 안에서 사용한다.

핵심 내용
  • 역변환된 교정으로 잠재 공간을 직접 지도하면 수십 에피소드 만에 진전이 생기는 반면, 노이즈 공간을 탐색하면 수천 에피소드가 걸릴 수 있다.
  • 작은 잠재 정책만 학습하므로 사전학습된 사전 지식을 보존하고 지도 파인튜닝에서 나타나는 파국적 망각을 피하며, 소비자용 GPU에서 실행된다.
  • 향상 폭은 고정밀 병목이 있는 과제에서 가장 크다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

BiDexGrasp: 다양한 물체 형상과 크기에 걸친 협응적 양손 정교한 파지 (BiDexGrasp: Coordinated Bimanual Dexterous Grasps across Object Geometries and Sizes)

Mu Lin · Sun Yat-sen University / Tsinghua University

전체 저자

Mu Lin1,2, Yi-Lin Wei1, Jiaxuan Chen1, Yuhao Lin1, Shuoyu Chen1, Zhizhao Liang1, Jiangran Lyu3, Jiayi Chen3, Xiaoyi Fan4, Chengyi Xing5, Yansong Tang2, He Wang3, Wei-Shi Zheng1

1Sun Yat-sen University2Tsinghua University3Peking University4Jiangxing Intelligence (Guizhou) Technology Inc.5Stanford University

저자들은 양손 정교한(덱스터러스) 파지 합성 파이프라인이자 생성 모델인 BiDexGrasp를 소개한다. 영역 기반 초기화와 분리된 최적화로 합성 속도를 40배 높여 거의 1,000만 개에 달하는 파지 데이터셋을 만들었으며, 양손 협응 모듈과 물체 적응형 파지 앵커로 협응과 큰 크기 변화를 처리한다.

핵심 내용
  • 두 손을 유망한 영역에서 초기화하고 최적화를 분리하면 양손 파지 합성이 훨씬 효율적이 되어, 기준선의 합성 성공률을 두 배 이상으로 높인다.
  • 학습된 생성기는 기준선 대비 성공률을 약 25%p 향상시킨다.
  • 실제 실험에서 30개 물체에 대한 260회 시행에서 74.6%의 성공률을 달성했으며, 다른 로봇 손으로의 전이도 포함한다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

KPGrasp: 정교한 파지 생성을 위한 확장 가능한 키포인트 플로 매칭 (KPGrasp: Scalable Keypoint Flow Matching for Dexterous Grasp Generation)

Yuansen Huang · Peking University / Galbot (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Yuansen Huang1,2, Jiayi Chen1,2, Haoran Liu1,2, Yubin Ke1,2, Bing Han2,3, Jiangran Lyu1,2, Mi Yan1,2, Li Yi2,4, He Wang1,2

1Peking University2Galbot3Xi'an Jiaotong University4Tsinghua University

KPGrasp는 정교한 파지를 물체 좌표계에서의 3D 손 키포인트로 표현하고, 표준 플로 매칭 손실만으로 DiT 방식의 트랜스포머를 학습한다. 관절 각도는 가벼운 역기구학 단계로 복원하며, 접촉 손실이나 테스트 시점 정제는 사용하지 않는다.

핵심 내용
  • Dexonomy에서 2.4 mm 관통으로 76.3%의 성공률에 도달하고, DexGraspAnything에 제로샷으로 전이해 63.8%의 성공률을 기록한다.
  • 모든 것이 유클리드 공간인 키포인트 매개변수화는 기구학적 오차 누적을 피하고, 손실 균형 조정을 단순화하며, 데이터·모델·배치 크기에 따라 더 잘 확장된다.
  • 단일 시점 부분 포인트 클라우드로부터의 실세계 파지가 20개 물체에 걸친 100회 시행 중 83회 성공한다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

WM-Craftnet: 견고하고 일반화 가능한 손 안 정교한 조작을 위한 월드 공감각(Synesthesia) 모델 (WM-Craftnet: World Synesthesia Model for Robust and Generalizable Dexterous In-Hand Manipulation)

Xiaojing Tan · Sharpa Robotics

전체 저자

Jie Yin1, Zeyuan Zhao1, Xiaojing Tan1, Yang Liu1, Chiyu Wang1, Xinyang Gu1

1Sharpa Robotics

WM-Craftnet은 20-DoF 휴머노이드 손을 위해 깊이, 촉각, 고유수용 감각, 과거 행동, 보상을 입력으로 Dreamer 방식의 순환 상태 공간 월드 모델을 학습한다. 노이즈가 섞인 센서로부터 깨끗한 깊이를 복원하도록 학습된 잠재 상태는 상상(imagination)에 쓰이는 대신 폐루프 손 안 회전 정책의 조건으로 사용된다.

핵심 내용
  • 깨끗한 깊이 복원은 노이즈가 섞인 센싱을 정규화하여 sim-to-real 견고성을 높이며, 배포 시에는 원시 센서만 사용한다.
  • 단 9개 물체로 사전학습한 월드 모델이 재사용 가능한 사전 지식 역할을 하여, 하위 정책이 물체 식별자나 특권 정보 없이 49개 물체로 일반화하게 해 준다.
  • 순환 이력이 현재 접촉 상태를 추정하여, 외란으로부터의 복구와 어려운 초기 파지에서의 재중심화를 가능하게 한다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

결합된 로봇 정책 학습을 위한 순차적 비대칭 모방 (Sequential Asymmetric Imitation for Learning Coupled Robot Policies)

Weiming Zhi · The University of Sydney

전체 저자

Ranpeng Qiu1, Yincong Chen1, Zihao Li1,2, Yanan Zhou2, Guoqiang Ren1,3, Weiming Zhi2

1Zeno AI2The University of Sydney3Zhejiang University

저자들은 한 명의 원격 조작자가 두 대의 양팔 모바일 매니퓰레이터를 위한 결합된 정책을 학습시킬 수 있게 하는 Sequential Asymmetric Imitation(SAI)을 제안한다. 먼저 로봇 A를 사람 파트너와 함께 학습시키고, 이어 로봇 B를 A의 고정된 정책과 함께 가르친 다음, A가 기다리거나 양보하거나 복구해야 하는 상황의 교정으로 A를 파인튜닝한다. 과제로는 식탁보 펼치기와 그림을 똑바로 세우기 등이 있다.

핵심 내용
  • 학습된 파트너를 교육 과정의 일부로 포함하면, 동기화된 2인 조작자 시연 없이도 B가 A의 실제 타이밍과 실수에 적응할 수 있다.
  • SAI는 같은 아키텍처와 예산으로 독립적으로 학습한 모방 정책을 능가하며, 이는 주로 언제 기다려야 하는지와 공동 지지를 어떻게 유지하는지를 학습한 덕분이다.
  • 메시지 전달 기준선은 통신이 안정적일 때는 잘 작동하지만 지연과 패킷 손실 상황에서는 성능이 저하된다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

처음보다 더 낫게 남겨 두기: 순차적 과제에서의 가치 기반 협력 (Leave It Better Than Found: Value-Guided Cooperation in Sequential Tasks)

Mario Gomez Andreu · University of Cambridge / ETH Zurich

전체 저자

Mario Gomez Andreu1,2, Michael Amir1, Antonio Marino1, Tianxu An2, Marco Hutter2, Amanda Prorok1

1University of Cambridge2ETH Zurich

Mario Gomez Andreu는 순차적 과제 이어받기를 위한 애드혹 방법 PAVE를 소개한다. 리더 로봇은 자신의 정책을 사전분포로 사용하면서, 자신의 목표와 인계 시점 상태에서의 팔로워 가치 함수 사이의 트레이드오프를 온라인으로 최적화한다. 분포 외(out-of-distribution) 지표는 팔로워가 학습 중 본 적 없는 상태에서 리더가 팔로워의 가치를 신뢰하지 않도록 막는다.

핵심 내용
  • RL 팔로워의 기존 가치 함수를 공유하면 공동 학습 데이터 없이도 협력이 가능하며, 이는 로봇의 제조사가 서로 다를 때 중요하다.
  • 팔로워의 가치 추정은 분포 밖에서 과신하는 경향이 있으므로, OOD 지표로 이를 걸러 내는 것이 필수적이다.
  • 이 방법은 리더의 성공률을 높게 유지하면서 팔로워의 성공률을 약 28%p 높이며, 특권 정보를 쓰는 파인튜닝 기준선과 대등한 성능을 낸다.
2일차 녹화 · 3 분YouTube에서 열기

구두 발표 O4 · 강화학습과 동작 추론

화 9:00 AM · Hilton Austin · 좌장: Katerina Fragkiadaki

3개 발표
구두 발표

RL Token: 비전-언어-행동 모델로 온라인 RL 부트스트래핑하기 (RL Token: Bootstrapping Online RL with Vision-Language-Action Models)

Charles Xu · Physical Intelligence

전체 저자

Charles Xu1, Jost Tobias Springenberg1, Michael Robert Equi1, Ali Amin1, Adnan Esmail1, Sergey Levine1, Liyiming Ke1

1Physical Intelligence

Charles Xu는 Physical Intelligence의 RL Token을 소개한다. 이 방법은 pi0.6 VLA를 조정해 하나의 압축된 'RL 토큰'을 노출시키는데, 이 토큰은 최종 레이어 임베딩 전체를 복원해야 하는 인코더-디코더를 통해 학습되며, 작은 온라인 액터-크리틱의 관측값으로 쓰인다. 액터는 VLA가 샘플링한 액션 청크를 조건으로 받고 그쪽으로 정규화되며, 사람의 성공 라벨과 개입을 활용한 온라인 RL은 드라이버 맞추기나 케이블 타이 끼우기처럼 과제에서 가장 어려운 부분만을 겨냥한다.

핵심 내용
  • VLA의 사전학습된 임베딩은 소형 네트워크 RL의 인식 백본으로서 범용 인코더보다 훨씬 낫다. 어블레이션에서 ResNet-10을 RL 토큰으로 바꾸자 하위 RL 속도가 약 두 배가 되었다.
  • 가우시안 RL 액터를 VLA의 행동 제안에 조건화하면 멀티모달 플로 정책의 평균으로 붕괴하는 것을 피하고 학습이 쉬워진다.
  • 이더넷 삽입 과제에서 RL 정책의 에피소드 중앙값은 66스텝으로, SFT의 230스텝, 숙련된 원격 조작자의 약 150스텝과 대비되며, 에피소드의 절반은 가장 빠른 원격 조작 에피소드보다 빨랐다.
  • 과제의 병목에 집중한 온라인 RL은 VLA 전체에 대한 반복적 RL에 필요한 며칠이 아니라 몇 시간이면 된다.
2일차 녹화 · 11 분YouTube에서 열기
구두 발표

로봇 제어를 위한 플로 정책 그래디언트 (Flow Policy Gradients for Robot Control)

Hongsuk Choi · Amazon FAR / UC Berkeley

전체 저자

Brent Yi1,2, Hongsuk Choi1,2, Himanshu Gaurav Singh1,2, Xiaoyu Huang1,2, Takara E. Truong1,3, Carmelo Sferrazza1, Yi Ma2,4, Rocky Duan1, Pieter Abbeel1,2, Guanya Shi1,5, Karen Liu1,3, Angjoo Kanazawa1,2

1Amazon FAR2UC Berkeley3Stanford University4The University of Hong Kong5Carnegie Mellon University

Hongsuk Choi는 FPO++를 소개한다. 이 방법은 두 가지 변경을 통해 플로 매칭 정책 그래디언트 RL(FPO)을 로봇 제어에서 안정적으로 만든다. 하나는 각 노이즈 타임스텝 비율을 클리핑하는 샘플별 신뢰 영역이고, 다른 하나는 양의 어드밴티지에는 PPO 클리핑을 유지하고 음의 어드밴티지에는 SPO를 사용하는 비대칭 신뢰 영역이다. 이 방법으로 보행과 휴머노이드 모션 트래킹을 처음부터 학습해 실제 로봇에 배포했으며, 이미지 기반 조작 정책도 파인튜닝했다.

핵심 내용
  • 기존 FPO는 복잡한 로보틱스 과제에서 붕괴했지만, 샘플별 클리핑과 비대칭 신뢰 영역을 더하면 시드와 임곗값 전반에서 일관되게 높은 리턴을 얻는다.
  • 음의 어드밴티지를 가진 행동으로부터 플로를 밀어내면 ELBO 사후분포 격차가 커질 수 있는데, SPO 방식의 정규화가 이를 막는다.
  • 플로 정책은 의미 있는 관절 간 상관관계를 학습하고 가우시안 PPO보다 탐색을 더 오래 유지하여, 더 자연스러운 보행을 만들어 낸다.
  • 추론 시 노이즈 없는 샘플링은 적은 적분 스텝에서도 더 부드럽고 신뢰성 높은 행동을 낸다.
2일차 녹화 · 11 분YouTube에서 열기
구두 발표

빠르게 달릴까, 느리게 달릴까? 멀티모달 지상 이동체의 모션 예측을 위한 뉴로-심볼릭 가이던스 (Driving, Fast or Slow? Neuro-Symbolic Guidance for Motion Prediction in Multi-Modal Ground Mobility)

Simon Kohaut, Felix Divo · TU Darmstadt

전체 저자

Simon Kohaut1, Felix Divo1, Julius Hahnewald1, Benedict Flade2, Julian Eggert2, Kristian Kersting1,3,4,5, Devendra Singh Dhami6

1TU Darmstadt2Honda Research Institute3hessian.AI4Centre for Cognitive Science5DFKI6TU Eindhoven

Simon Kohaut와 Felix Divo는 TraCS(Trajectory Compliance-Shaping)를 소개한다. 이 방법은 블랙박스 모션 예측기의 제안을 지역 교통 규칙에 대한 확률적 1차 논리 모델과 로그-선형 의견 풀(log-linear opinion pool)로 융합하며, 학습된 신뢰 게이트가 규칙을 언제 적용할지 결정한다. 코더, 심사자, 검증자로 구성된 에이전트 루프가 자연어 교통 규칙을 수 밀리초 안에 평가할 수 있는 Resin 확률 논리 프로그램으로 변환한다.

핵심 내용
  • 코딩 에이전트로 쓰인 프런티어 LLM은 규칙 텍스트를 올바른 프로그램으로 변환했으며, 더 약한 모델일수록 심사자와 검증자의 역할이 더 중요했다.
  • QCNet, DeMo 등 여러 백본을 사용한 Argoverse 2 실험에서 전체 향상 폭은 작지만, 오차가 가장 큰 꼬리 구간, 특히 보행자에 집중된다.
  • 규칙을 항상 적용하거나 학습된 신뢰 가중치를 섞어 버리면 도움이 되지 않으므로, 에이전트가 언제 규칙을 따르는지 아는 것이 규칙 자체만큼 중요하다.
  • 준수 지형(compliance landscape)이 표시한 규칙 위반과 오예측은 향후 데이터 수집의 방향을 잡는 데 활용될 수 있다.
2일차 녹화 · 11 분YouTube에서 열기

신진 연구자 기조연설 III

화 9:30 AM · Hilton Austin · 좌장: Georgia Chalvatzaki

1개 발표
신진 연구자 기조연설

처음부터 다시 시작하지 않는 학습: 로봇이 실세계에서 배울 수 있는 것의 확장 (Learning Without Starting Over: Expanding What Robots Can Learn in the Real World)

Roberto Martin-Martin · University of Texas at Austin

Georgia Chalvatzaki의 소개로 등장한 Martin-Martin은 어떤 로봇도 모든 미래에 대비해 사전학습될 수는 없으므로, 중요한 것은 로봇의 '학습 잠재력', 즉 제한된 실세계 경험으로부터 얼마나 많은 새로운 능력을 얻는가라고 주장한다. 아기가 두드리기에서 망치질로 나아가는 실험에서 출발해, 사전 지식을 재사용하는 방식이 이후에 무엇을 학습할 수 있는지를 결정한다는 것을 보여 준다. 이어 안전한 실세계 RL을 위한 학습된 행동 공간(SLAC, 모드 인덱스 디퓨전 정책), 인간 시연과 교정으로부터의 구조 추출(SafeMimic, OopsieVerse 손상 시뮬레이션, Oopsie-Recover), 어떤 데이터로 학습하거나 수집할지의 선택(DataMIL, GUILD)에 관한 연구실의 연구를 개관한다. 마지막으로 경험 로그, 근거 있는 인간 피드백, LoRA로 적응시킨 VLA를 통한 메모리와 지속 학습을 다룬다.

핵심 내용
  • 자기지도 방식으로 학습한 두드리기 스킬을 파인튜닝하면 처음부터 학습하는 것보다 망치질을 더 빨리 배우고, 고정하면 가장 빨리 배우지만 정체되므로, 재사용의 형태가 사전 지식만큼 중요하다.
  • 시뮬레이션에서 학습한 과제 무관·안전 편향 잠재 행동 공간 덕분에 모바일 매니퓰레이터가 1시간 미만의 실세계 RL로, 안전 중단이 거의 없이 접촉이 많은 과제를 학습했다.
  • 언어로 주석된 소수의 교정을 게이트가 있는 프로그램형 비용으로 바꾸자 고정된 VLA가 약 35%, 새로운 상황에서는 약 20% 개선되었다.
  • 대상 정책에 미칠 예측 효과를 기준으로 공동 학습 데이터를 선택하는 방식은 이미지나 언어 유사도 휴리스틱보다 낫고, Open X-Embodiment에 없는 로봇에도 도움이 된다.
  • 온폴리시 RL과 순차적 LoRA 어댑터를 사용하면 VLA가 평균 망각이 거의 0에 가까운 상태로 새로운 스킬을 얻을 수 있어, 지속 학습을 위한 유망한 기반이 된다.
  • 학습된 안전성은 형식적 보장이 아닌 확률적 보장을 제공하므로, 향후 평가는 정책이 얼마나 안전한지를 테스트하는 데 의존하게 될 것이다.
2일차 녹화 · 33 분YouTube에서 열기

구두 발표 O5 · 정교한 조작 학습, 파지와 조립

화 10:30 AM · Hilton Austin · 좌장: Masha Itkina

3개 발표
구두 발표

EgoScale: 다양한 1인칭 시점 인간 데이터로 정교한 조작 확장하기 (EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data)

Ruijie Zheng · NVIDIA

전체 저자

Ruijie Zheng1, Dantong Niu1,2, Yuqi Xie1, Jing Wang1, Mengda Xu1, Yunfan Jiang1, Fernando Castañeda1, Fengyuan Hu1, You Liang Tan1, Letian Fu1,2, Trevor Darrell2, Furong Huang3, Yuke Zhu1, Danfei Xu1, Linxi Fan1

1NVIDIA2UC Berkeley3University of Maryland

Ruijie Zheng은 EgoScale을 소개한다. 이 방법은 SLAM과 손 포즈 추정으로 행동으로 변환되고 22-DoF Sharpa 손에 리타기팅된 대규모 1인칭 시점 인간 영상으로 GR00T 방식의 VLA를 사전학습한 뒤, 정렬된 인간 및 로봇 데이터(같은 과제에 대한 약 4시간의 원격 조작 데이터와 장갑 및 손목 카메라로 추적한 50시간의 인간 데이터)로 중간 학습을 하고, 새로운 정교한 과제에 대해 사후학습한다.

핵심 내용
  • 인간 데이터 사전학습과 정렬된 중간 학습을 결합하면 5개의 정교한 과제에서 가장 높은 성공률을 얻으며, 병뚜껑 열기나 주사기 옮기기 같은 가장 어려운 과제에서 의미 있는 성공을 거두는 것은 이 조합뿐이다.
  • 인간 검증 손실은 인간 데이터 양에 대해 로그-선형 스케일링 법칙을 따르며, 실제 로봇 성능과 상관관계가 있다.
  • 원샷 전이가 나타난다. 셔츠 개기 같은 새로운 과제를 단 하나의 원격 조작 궤적과 약 100개의 인간 시연만으로 학습한다.
  • 같은 레시피가 다른 손을 가진 Unitree G1에도 전이되며, 기준선보다 더 부드러운 동작을 보인다.
2일차 녹화 · 11 분YouTube에서 열기
구두 발표

OPENDEXGRASP: 개방형 어휘 기반 과제 지향 정교한 파지 (OPENDEXGRASP: Open-vocabulary Task-Oriented Dexterous Grasping)

Jiyao Zhang · Peking University / PrimeBot

전체 저자

Jiyao Zhang1,2, Junhan Wang1,2, Tianyu Wang1,3, Zeyuan Chen1,3, Anthony Bolton1,2, Yitong Peng1, Hao Dong1,2

1Peking University2PrimeBot3Beijing Institute for General Artificial Intelligence

OpenDexGrasp는 자유 형식의 언어 지시로부터 과제 지향적인 정교한 파지를 생성한다. OpenDex-Scale(VLM이 과제 설명으로 라벨링한 124만 개의 합성 파지)과 OpenDex-Align(물체 인스턴스 간에 전이된 약 27k개의 인간 시연 기능적 파지)을 결합하고, 사전학습된 VLM과 3D 기하 인코더를 결합해 과제 어포던스와 손 포즈를 함께 예측하는 모델을 사용한다.

핵심 내용
  • 폭넓은 합성 데이터 커버리지와 더 작은 규모의 고품질 인간 정렬 데이터를 짝지으면 물리적 파지 품질과 기능적 파지 품질이 모두 향상된다.
  • 파지와 함께 어포던스를 예측하면 언어 지시와 손이 접촉해야 할 위치가 연결된다.
  • 어블레이션에서 사전학습된 VLM 백본을 교체했을 때 가장 큰 성능 하락이 나타났으며, 실제 로봇 파지는 72%의 확률로 성공한다.
  • 남은 실패 사례는 기능적 파지가 가능해지기 전에 물체의 자세를 크게 바꿔야 하는 경우다.
2일차 녹화 · 9 분YouTube에서 열기
구두 발표 최우수 논문상 최종 후보

Play2Perfect: 정밀 조립을 위한 정교한 플레이 사전학습에서 무엇이 중요한가? (Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?)

Tyler Ga Wei Lum, Kushal Kedia · Stanford University / Cornell University

전체 저자

Tyler Ga Wei Lum1, Kushal Kedia2, Karen Liu1, Jeannette Bohg1

1Stanford University2Cornell University

Tyler Lum과 Kushal Kedia는 Play2Perfect를 소개한다. 다지 로봇 손을 먼저 수천 개의 무작위 물체로 무작위 6D 목표 자세에 도달하는 '플레이'를 통해 RL로 사전학습한 뒤, 0.5mm 삽입이나 테이블 다리 나사 조이기 같은 정밀한 장기 조립 과제를 위해 CAD로 정의한 희소 보상으로 파인튜닝한다. 정책은 전적으로 시뮬레이션에서 학습되며, FoundationPose 물체 추적과 함께 제로샷으로 배포된다.

핵심 내용
  • 플레이 사전학습을 거치면 조립 과제가 2~5시간의 파인튜닝 안에 높은 성공률에 도달하는 반면, 처음부터 하는 RL은 24시간 후에도 0%에 머물고, 조밀 보상 RL은 같은 수준에 이르는 데 33배 더 오래 걸린다.
  • 플레이 사전학습 정책은 여러 손가락으로 파지하고 힘 외란 하에서도 80% 이상의 성공률을 유지하는 반면, 조밀 보상 RL은 쉽게 실패하는 취약한 전략을 학습한다.
  • 효과적인 플레이에는 완전한 6D 목표(병진만이 아닌), 1 cm의 엄격한 허용 오차, 많은 물체, 매 에피소드 새로운 무작위 목표가 필요하며, 이 모두가 손 안 조작을 강조한다.
  • 플레이만으로는 자유 공간 동작은 처리하지만 접촉에서는 실패한다. 파인튜닝은 접촉이 많은 탐색 전략을 가르치며, 작은 물체는 가림 때문에 여전히 어렵다.
2일차 녹화 · 11 분YouTube에서 열기

구두 발표 O6 · 힘, 촉각 제어와 조작 계획

화 11:00 AM · Hilton Austin · 좌장: Ian Abraham

3개 발표
구두 발표

FACTR 2: 범용 로봇 팔을 위한 외력 감지 학습이 정책 학습을 개선한다 (FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning)

Jason Jingzhou Liu, Steven Oh · Carnegie Mellon University / Waseda University

전체 저자

Steven Oh1,2, Jason Jingzhou Liu1, Tony Tao1, Philip Han1, Kenneth Shaw1, Satoshi Funabashi2, Ruslan Salakhutdinov1, Deepak Pathak1

1Carnegie Mellon University2Waseda University

Jason Liu와 Steven Oh는 NEXT를 통해 저가형 로봇 팔에 외력 감지 기능을 부여하는 FACTR 2를 소개한다. 약 10분 분량의 자유 공간 관절 위치, 속도, 모터 전류로 약 1분 만에 학습한 LSTM이 자유 공간 토크를 예측하므로, 접촉 중의 잔차가 곧 외부 토크가 된다. 이 추정값은 Piper, YAM, Nero 같은 팔에서 힘 피드백 원격 조작을 구동하며, FIRST는 이를 이용해 시연을 자유, 접촉 전, 접촉 단계로 분할하고 행동 복제 학습 시 뒤의 두 단계를 업샘플링한다.

핵심 내용
  • Franka에서 NEXT의 추정값은 접촉 중에는 내장 토크 센서 값을 잘 따라가고, 자유 동작 중에는 0 근처에 머문다.
  • 외부 토크를 정책 입력으로 쓰는 동시에 접촉 전 및 접촉 구간을 재샘플링하는 데 사용했을 때, 벨트 조립 같은 장기 과제에서 가장 좋은 결과를 얻었다.
  • 접촉 단계를 업샘플링하면 해당 구간의 검증 손실이 낮아지고, 정렬에 실패했을 때 더 많은 복구 행동이 나타난다.
  • 약 10분의 자유 동작 데이터로 충분했으며, 30~40분으로 늘려도 성능이 향상되지 않았다.
2일차 녹화 · 11 분YouTube에서 열기
구두 발표

PACE: 청크 기반 삽입 정책을 위한 시간적 역할 촉각 조건화 (PACE: Temporal-Role Tactile Conditioning for Chunk-Based Insertion Policies)

Zane (presenting for the authors) · Xiaomi Robot Technology

전체 저자

Zhiyuan Chen1, Shixiong Xu1, Shuai Chen1, You Yangwei1

1Xiaomi Robot Technology

비자 지연으로 참석하지 못한 제1저자 Zhiyuan Chen(Xiaomi Robotics)을 대신해 Zane이 발표했다. PACE는 청크 기반 삽입 정책에서 하나의 공유 촉각 스트림에 세 가지 시간적 역할을 부여한다. 평활화된 접촉 상태로 트랜스포머 특징을 조절하는 단계(phase) 경로, 급격한 접촉 변화 시 청크의 첫 행동들에 대한 잔차 보정을 게이팅하는 이벤트 경로, 그리고 학습에만 사용되는 보조 미래 촉각 예측 헤드다. 시연은 Sigma.7 힘 피드백 원격 조작 시스템으로 수집했다.

핵심 내용
  • PACE는 5개의 실제 삽입 과제에서 평균 90.7%의 성공률을 달성해, 가장 강력한 촉각 연결(concatenation) 기준선의 46%를 크게 앞섰으며, 0.1 mm의 좁은 간극을 포함한 Manipulation-Net에서도 88.7%를 기록했다.
  • 이벤트 경로의 기여가 가장 크며, 이를 제거하면 성공률이 66.7%로 떨어진다.
  • 원격 조작 중 힘 피드백은 평균 최대 접촉력을 16.7 N에서 10 N으로 줄였다.
  • 이 설계는 다른 센서(힘-토크, 관절 전류)와 디퓨전 정책 같은 다른 백본에도 전이된다.
2일차 녹화 · 7 분YouTube에서 열기
구두 발표 최우수 논문상 최종 후보

연속 행동 공간에서의 증류된 트리 탐색을 통한 장기 다중 물체 재배치 (Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions)

Kallol Saha · Carnegie Mellon University

전체 저자

Kallol Saha1, Yining Hong2, Amber Li1, Yejin Choi2, Maxim Likhachev1, David Held1

1Carnegie Mellon University2Stanford University

Kallol Saha는 장기 다중 물체 재배치를 위한 AlphaGo 방식의 레시피인 DISCO를 소개한다. 픽 앤 플레이스 정책이 점진적 확장(progressive widening)을 사용하는 연속 행동 MCTS 트리의 간선으로 행동을 제안하고, 성공과 실패를 주기적으로 정책과 가치 함수에 다시 증류하며, 이를 GPU 시뮬레이션에서 병렬로 실행한다. 최종 정책은 테스트 시 탐색 없이 선반 채우기, 쌓기, 테이블 치우기 과제를 수행하며, sim-to-real 전이도 포함한다.

핵심 내용
  • 노드 방문 횟수가 늘어날수록 자식 노드를 추가하는 점진적 확장 덕분에 연속 행동 공간에서도 트리 탐색이 가능해진다.
  • DISCO는 빔 탐색, MPPI, RL, 그리고 균일 탐색이나 고정 분기 계수를 사용하는 어블레이션보다 우수하다.
  • 증류 라운드마다 정책과 가치 함수가 모두 개선되므로, 단기 데이터로부터 장기 추론을 학습하게 된다.
  • 행동 복제만으로 만든 초기 정책은 실제 장기 과제에서 실패하지만, 증류된 DISCO 정책은 이를 완수한다.
2일차 녹화 · 8 분YouTube에서 열기

구두 발표 O7 · 휴머노이드 데이터, 제어와 기술

화 11:30 AM · Hilton Austin · 좌장: Koushil Sreenath

3개 발표
구두 발표 최우수 논문상 최종 후보

GRAIL: 월드 모델로부터 휴머노이드 로코-매니퓰레이션 생성하기 (GRAIL: Generating Humanoid Loco-Manipulation from World Models)

Tianyi Xie · NVIDIA / UCLA

전체 저자

Tianyi Xie1,2, Haotian Zhang1, Jinhyung Park1, Zi Wang1, Bowen Wen1, Jiefeng Li1, Xueting Li1, Qingwei Ben1, Haoyang Weng1, Yufei Ye1, David Minor1, Tingwu Wang1, Chenfanfu Jiang2, Sanja Fidler1, Jan Kautz1, Linxi Fan1, Yuke Zhu1, Zhengyi Luo1, Umar Iqbal1, Ye Yuan1

1NVIDIA2UCLA

저자들은 휴머노이드 로코-매니퓰레이션 데이터를 수집하는 대신 생성할 것을 제안한다. 구축된 3D 장면의 단일 이미지에서 출발해, 텍스트 프롬프트로 비디오 파운데이션 모델을 구동하여 인간 시연(앉기, 밀기, 나르기, 계단 오르기, 연석 올라서기)을 만들어 낸다. 특권 정보인 장면 기하와 카메라 파라미터를 이용해 사람과 물체의 움직임을 재구성하고, 키가 맞는 인간 캐릭터를 선택하는 방식으로 로봇에 리타기팅한 뒤, 장면과 지형을 인식하는 전신 트래커로 물리적으로 타당하게 만든다. 이 트래커들로부터 증류되어 전적으로 시뮬레이션에서 학습된 시각 정책은 실제 휴머노이드에 제로샷으로 배포된다.

핵심 내용
  • GRAIL은 35k개 이상의 물리적으로 타당한 동작을 생성했으며, 발표 시점에 공개 데이터셋의 다운로드 수는 약 25만 회에 달했다.
  • GRAIL 데이터만으로 학습한 집어 들기 정책은 실제 로봇에 제로샷으로 전이되어 처음 보는 물체에서 80%의 성공률을 보였다.
  • 수천 가지 계단 변형을 가상으로 생성하면 모션 캡처로는 현실적으로 달성할 수 없는 지형 커버리지를 얻을 수 있으며, 계단 정책은 처음 보는 실내외 계단으로 일반화되었다.
  • 비디오 모델과 포즈 추정기가 인간에 대해서는 성숙했기 때문에 저자들은 여전히 인간 영상으로부터 리타기팅하지만, 두 기술이 로봇에 맞게 파인튜닝되면 휴머노이드 영상을 직접 생성하게 될 것으로 예상한다.
2일차 녹화 · 12 분YouTube에서 열기
구두 발표 최우수 논문상

SuperMimic: 하나의 미분 가능한 월드 모델로 휴머노이드 전신 제어 확장하기 (SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model)

Qiayuan Liao · UC Berkeley

전체 저자

Qiayuan Liao1, Yiyang Shao1, Junfeng Long1, Kevin Zakka1, Roberto Horowitz1, Pieter Abbeel1, Koushil Sreenath1

1UC Berkeley

SuperMimic은 시뮬레이터 전이 데이터로 맞춘, 모든 동작에 공통인 동역학의 미분 가능한 월드 모델 하나를 학습하고, 이를 통해 1차 그래디언트(SHAC 방식)와 크리틱으로 트래킹 정책을 하나의 교대 루프에서 학습함으로써 범용 휴머노이드 모션 트래킹을 확장한다. Liao는 월드 모델과 트래커가 외란에 반응하는 라이브 데모를 보여 주며, 하나의 모델을 여러 동작에 걸쳐 분할 상환(amortize)하면 데이터가 늘어나도 모델 오차가 일정하게 유지된다고 주장한다. 결과로 얻은 범용 트래커는 상상 속에서 학습되었음에도 실제 Unitree G1에 전이된다.

핵심 내용
  • Liao는 SONIC이 100개 이상의 GPU로 일주일이 걸린 데 비해 GPU 한 개로 약 3시간 만에 범용 트래커를 학습했다고 보고하며, 이는 GPU 시간 기준 약 1,000배 감소다. 다만 데이터셋이 더 작고 GPU가 더 빠르다는 점은 인정한다.
  • 상상 롤아웃은 시뮬레이션보다 10배 이상 빠르며, 모델을 통한 1차 그래디언트는 같은 모델에서 PPO보다 훨씬 적은 스텝을 필요로 한다.
  • 더 오래 학습하자 약 100,000개의 동작 전반에서 트래킹 실패가 0건에 도달했다.
  • 코드는 발표 도중 오픈소스로 공개되었으며, 이미 다른 이들이 이를 재구현해 스피드런, 근육 구동 휴머노이드, 참조 동작 없는 희소 보상 조작으로 확장했다.
2일차 녹화 · 10 분YouTube에서 열기
구두 발표

RoboNaldo: 모션 가이드 커리큘럼 강화학습을 통한 정확하고 안정적이며 강력한 휴머노이드 축구 슈팅 (RoboNaldo: Accurate, Stable and Powerful Humanoid Soccer Shooting via Motion-Guided Curriculum Reinforcement Learning)

Hongyang Li · Archon Robotics / The University of Hong Kong

전체 저자

Yichao Zhong1, Yidan Lu1, Yuhang Lu1, Tianyang TANG1, Haoguang Mai1, Yixuan Pan2, Tianyu Li2, Li Chen1, Jingbo Wang3, Zhongyu Li3, Peng Lu1, Hongyang Li2,1

1The University of Hong Kong2Archon Robotics3The Chinese University of Hong Kong

RoboNaldo는 3단계 모션 가이드 커리큘럼으로 축구 슈팅을 위한 단일 저수준 휴머노이드 정책을 학습한다. 먼저 하나의 인간 킥 참조 동작을 트래킹하고, 이어 트래킹된 타격 지점 근처에 공을 초기화해 희소한 과제 보상으로 정확한 슈팅을 학습하며, 마지막으로 공 쪽으로 고정되는 적응형 참조 동작과 킥 타이밍을 위한 휴리스틱 플래너로 보행과 슈팅을 통합한다. 탑재된 LiDAR가 반사형 공을 감지하고 가슴 카메라가 골대의 AprilTag 타깃을 읽으며, 시스템은 Unitree G1으로 실내외 경기장에서 테스트되었다.

핵심 내용
  • 트래킹된 타격 지점 근처에 공을 초기화하면 트래킹 정책이 PPO의 좋은 출발점이 되어 희소 보상 탐색 문제가 해결된다.
  • 실제 로봇의 접촉률은 90%를 넘었고, 발표에서는 정지된 공 킥 조건에서 100% 성공률이 보고되었다.
  • 최대 공 속도는 10 m/s를 넘었으며, 발표자는 이를 프로 선수 슈팅의 약 60%로 추정했다.
  • sim-to-real 격차가 여전히 실패의 주된 원인이며, 특히 실외 경기장에서 킥 이후의 안정성이 문제다.
2일차 녹화 · 10 분YouTube에서 열기

다이아몬드 스폰서 발표 III

화 1:30 PM · Hilton Austin · 좌장: Neel Bhatt

3개 발표
스폰서 발표

Gemini로 범용 로봇 만들기 (Building general purpose robots with Gemini)

Kanishka Rao · Google DeepMind

Rao는 로보틱스의 핵심 문제를 범용 추론과 정교한 전신 제어의 결합으로 규정하고, 이를 프런티어 모델과 로봇 모델 양쪽에서 공략한다. Gemini Robotics 2.0(Apollo 휴머노이드의 전신 제어, 정교한 손, 다중 로봇 협업)을 정리하고, 200개 이상의 과제로 학습되어 안전성이 향상된 Gemini Robotics 2.5와 Mercedes-Benz/Apptronik 생산 라인 키팅 파일럿을 발표한다. 또한 MuJoCo 4와 MuJoCo Playground 1.0을 발표하고, 프런티어 Gemini 모델을 에이전트로 활용해 실제 로그로부터 시뮬레이터를 구축하고, 롤아웃을 분석하며, 휴머노이드에게 콘홀(cornhole) 게임까지 가르친 사례를 소개한다.

핵심 내용
  • 200개 이상의 정교한 과제로 학습하자 이전 모델 대비 성공률이 약 30-100% 높아졌고, 이전에 학습한 과제도 개선되었다.
  • 생산 라인 키팅 파일럿은 96%의 자율 성공률에 도달했다.
  • 프런티어 모델은 이제 real-to-sim-to-real 루프와 자동화된 실패 분석을 통해 로봇 모델 개발을 가속하고 있으며, Gemini Robotics 2.5 구축에도 사용되었다.
  • Rao는 프런티어 모델이 로보틱스의 더 많은 부분을 맡게 될 것이며, 이러한 모델이 빨라짐에 따라 에이전트형 폐루프 로봇 제어가 도래할 것으로 예측한다.
2일차 녹화 · 11 분YouTube에서 열기
스폰서 발표

진정한 장기 행동을 위한 액션과 에이전트 (Actions and Agents for True Long-Horizon Behavior.)

Alberto Rodriguez · Boston Dynamics

Rodriguez는 Hyundai의 Savannah 공장에서 부품 시퀀싱을 수행하는 Atlas의 초기 배포 사례를 보고한다. 공급업체 컨테이너에서 부품을 집고, 양손으로 바코드를 스캔하고, 올바른 슬롯에 순서대로 삽입하며, 떨어뜨렸거나 불량인 부품은 폐기한다. 시스템은 텍스트 작업 설명과 공장 작업 지시를 읽는 파인튜닝된 Gemini ER 추론 모델(시스템 2)을 중심으로 한 클라우드 '작업 하네스(job harness)'와, 약 400시간의 원격 조작 데이터로 사후학습되어 NVIDIA Thor에서 구동되는 로봇 탑재 단일 액션 모델(시스템 1)을 사용한다. 그는 스킬 분해보다 단일 액션 모델을, 규모보다 데이터 품질을 옹호한다.

핵심 내용
  • 개입을 포함한 엔드투엔드 완료율은 98.6%였으며, 개입률은 9.5%로 약 20분에 한 번꼴이었다.
  • 사이클 타임은 과제당 약 2분으로, 경제적 가치에 필요한 분당 1개 속도보다 약 50% 느리다. Boston Dynamics는 Atlas의 첫 8시간 생산 교대 근무를 2027년으로 예측한다.
  • 기성 프런티어 VLM 중 파인튜닝 없이 과제 완료 확인과 슬롯 단위로 정밀한 조향에 충분히 신뢰할 만한 것은 없었다.
  • Rodriguez는 시뮬레이션에서의 대규모 RL을 고품질 데이터로 가는 길로 보며, RGB만 사용하는 정책에서 창발한 정교한 행동을 보여 준다.
2일차 녹화 · 14 분YouTube에서 열기
스폰서 발표

피지컬 AI를 위한 레퍼런스 플랫폼 (The Reference Platform for Physical AI)

Sven Parusel · Franka Robotics / Agile Robots

Parusel은 토크 감지 7-DoF 팔인 Franka Research 3와 1 kHz Franka Control Interface를 기반으로, 피지컬 AI 연구를 위한 레퍼런스 하드웨어 및 소프트웨어 플랫폼이 되겠다는 Franka의 목표를 설명한다. 그는 FR3 Duo 양팔 시스템과 홀로노믹 베이스를 갖춘 새로운 모바일 FR3 Duo, 그리고 다양한 원격 조작 인터페이스를 소개한다. 또한 원격 조작, 센서 수집, 라벨링, 학습, 추론을 아우르는 Franka의 최근 오픈소스 데이터 파이프라인과 DualBench 벤치마크 논문을 강조한다.

핵심 내용
  • 한 해 동안 2,000편 이상의 논문이 Franka 로봇을 사용했으며, CoRL 2024에서는 단일 팔 논문의 절반 이상이 Franka를 사용했다.
  • Parusel은 관절 토크 감지와 고속 인터페이스를 통한 완전한 모델 접근(자코비안, 질량 행렬)을 접촉이 많은 연구와 HRI 연구에서 쓰이는 이유로 꼽는다.
  • 고정된 카메라와 그리퍼를 갖춘 표준화된 양팔 구성은 연구실들이 서로의 연구를 재현하고 공통 임바디먼트에서 데이터를 모을 수 있게 하기 위한 것이다.
  • Franka는 데이터 수집 및 학습 파이프라인을 오픈소스로 공개했으며, 새로운 입력 장치와 라벨링 도구의 기여를 환영한다.
2일차 녹화 · 11 분YouTube에서 열기

스포트라이트 S4 · 촉각, 힘과 접촉이 많은 조작

화 2:00 PM · Hilton Austin · 좌장: Yunzhu Li

9개 발표
스포트라이트

DeTac: 비전 기반 촉각 센서에서 텍스처 신호와 힘 신호의 이중 분기 분리 (DeTac: Dual-branch Decoupling of Texture and Force Signals in Vision-Based Tactile Sensors)

Zhirui Zhang · Peking University / AI2 Robotics (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Zhirui Zhang1,2, Yunkai Tang1,2, Jiahang Li1,2, Fan Fei1,2, Jinnuo Zhang3, Kairan Ding1,2, Jieji Ren3, Yandong Guo2, Boxin Shi1

1Peking University2AI2 Robotics3Shanghai Jiao Tong University

DeTac은 마커 기반 비전 촉각 센서의 단일 이미지로부터 마커 이미지와 깨끗한 셰이딩을 분리하는 이중 분기 생성 프레임워크로, 디퓨전 셰이딩 분기와 경량 마커 분기를 분기 간 손실과 함께 사용하며, 실제 쌍 데이터로 학습된다.

핵심 내용
  • 동시적인 이중 분기 분리는 마스크 후 인페인팅을 순차로 수행하는 파이프라인의 마스크 크기 딜레마와 오차 누적을 피한다.
  • 마커 간섭을 제거하자 마커 없는 데이터로 학습한 직물 분류기가 마커 기반 센서 이미지를 올바르게 분류할 수 있었다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

FingerEye: 연속적인 시각-촉각 센싱으로 정교한 조작 학습하기 (FingerEye: Learning Dexterous Manipulation with Continuous Vision-Tactile Sensing)

Zhixuan Xu · National University of Singapore

전체 저자

Zhixuan Xu1, YICHEN LI1,2, Wu Xuanye2,3, Qiu Tianyu2,4, Lin Shao1,2

1National University of Singapore2RoboScience3Huazhong University of Science and Technology4South China University of Technology

FingerEye는 투명한 유연 플레이트 뒤에 두 개의 카메라를 둔 손끝 센서로, 접촉 전에는 시각 정보를, 접촉 후에는 촉각 단서를 제공한다. 각 관측 그룹을 따로 인코딩하고 그룹별 어텐션으로 읽어 들이는 정책과 짝을 이룬다.

핵심 내용
  • 양안 손끝 시점은 단일 카메라 대비 성공률을 10%p 향상시켰다.
  • 어텐션 진단 결과 단순 융합은 쉬운 전역 단서에 과도하게 의존하는 것으로 나타났으며, 이것이 모달리티별 경로를 분리한 이유다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

DAVATaR: 공기-물 경계면을 가로지르는 깊이 인식 시각 증강 촉각 학습 (DAVATaR: Depth-Aware Visually Augmented Tactile Learning Across the Air-Water Interface)

Siqi Shang · UT Austin

전체 저자

Bowen Jiang1, Siqi Shang1, Rahul Ajay Iyer1, Ashwin Prakash1, Lillian Chin1, Roberto Martín-Martín1

1UT Austin

DAVATaR는 손끝 압력을 유체로 수면 위의 전자 장치에 전달하는 방수 그리퍼를 사용해 공기-물 경계면을 가로지르는 조작을 다루며, 이를 침수 깊이 센싱 및 눈부심·가림·굴절에 대한 시각 증강과 함께 멀티모달 트랜스포머 정책에 결합한다.

핵심 내용
  • 시각만으로는 상태를 복원할 수 없는 과제에서 침수 깊이 센싱을 추가하자 성공률이 25%에서 61%로 높아졌다.
  • 시각이 심하게 왜곡될 때, 특히 수위가 변할 때는 촉각 센싱만으로는 충분하지 않다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

Visible Touch: 시각운동 정책을 위한 접촉 렌더링 (Visible Touch: Rendering Contact for Visuomotor Policies)

Metin Alp Dogan · UCLA (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Metin Alp Dogan1, Edward Sun1, Feng Xu1, Daniel Wu1, Allen Peng1, Dennis Hong1, Yuchen Cui1

1UCLA

Visible Touch는 저가형 자기 촉각 센서의 측정값을 카메라 이미지 위에 화살표로 렌더링하여, 기존 이미지 기반 정책과 VLA가 아키텍처 변경 없이 접촉 정보로 파인튜닝될 수 있게 한다.

핵심 내용
  • 오버레이는 사전학습된 MiniVLA의 평균 성공률을 약 51%에서 79.8%로 끌어올렸으며, 여러 번 파지하는 장기 과제에서 향상 폭이 더 컸다.
  • pi-0.5를 사용한 실제 과제에서 다중 화살표 오버레이는 별도의 촉각 카메라 영상을 입력하는 방식보다 우수했다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

접촉이 많은 과제에서 VLA가 언제, 왜 실패하는지와 그 해결법 밝히기 (Demystifying When and Why VLAs Fail in Contact-Rich Tasks and How to Fix Them)

Carlota Parés Morlans · Stanford University (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Carlota Parés Morlans1, Nils Kuhn1, Y. Isabel Liu1, Alberta Longhini1, Jeannette Bohg1

1Stanford University

저자들은 접촉이 많은 과제에서의 VLA 실패를 두 가지로 추적한다. 하나는 플로 매칭 노이즈 스케줄이 접촉 직전의 작은 행동에 가중치를 충분히 주지 않아 생기는 정밀도 실패이고, 다른 하나는 힘 실패다. 첫 번째는 logit-normal 노이즈 스케줄로 바꾸어, 두 번째는 시간 인식·접촉 게이트 방식의 힘 주입으로 해결한다.

핵심 내용
  • 사후학습 시 beta 스케줄을 logit-normal 스케줄로 바꾸는 것은 추가 파라미터나 데이터 없이 바로 적용할 수 있는 해결책이다.
  • 5개 과제에 걸친 2,500회의 실제 롤아웃에서 이 방법은 66%의 성공률을 달성해 최고 기준선보다 25%p 높았다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

힘을 더하기에 늦은 때는 없다: 반응형 힘 주입으로 VLA 사후학습 가속하기 (Never Too Late for Force: Accelerating VLA Post-Training with Reactive Force Injection)

Wendi Chen · Shanghai Jiao Tong University / Shanghai Innovation Institute

전체 저자

Yi Wang1,2, Wendi Chen1,2, Zimo Wen1, Han Xue1, Xueqi Li2,3, Wenye Yu1,2, Zhijie Chen1, Hao Yang1, Jun Lv4, Chuan Wen1, Cewu Lu1,2,4

1Shanghai Jiao Tong University2Shanghai Innovation Institute3Southern University of Science and Technology4Noematrix Ltd.

LIFT는 사후학습 중에 사전학습된 VLA에 힘 인식을 추가한다. 힘 메모리를 갖추고 각 청크 안에서 행동을 갱신하는 반응형 액션 전문가를 접목하는데, 사전학습된 지식을 보존하도록 초기화하며, 힘 데이터는 온라인 DAgger로 수집한다.

핵심 내용
  • 진행 중인 삽입과 완료된 삽입을 구별하려면 현재 측정값뿐 아니라 힘 이력이 필요하다.
  • 늦은 시점에 0으로 초기화한 힘 주입은 새로운 물체, 식탁보, 조명에 대한 VLA의 시각적 일반화 능력을 유지했다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

관절형 물체 조작을 위한 생성형 정책 기반 제약 분해 임피던스 제어 (Constraint-Decomposed Impedance Control from Generative Policy for Articulated Object Manipulation)

Kyungseo Park · Seoul National University

전체 저자

Kyungseo Park1, Byeongdo Lim1, Jungbin Lim1, Minseok Choi1, Frank C. Park1

1Seoul National University

관절형 물체에 대해, 저자들은 파지를 닫는 시점에 생성형 정책으로부터 여러 궤적을 샘플링하고, 이를 바디 트위스트로 변환한 뒤 PCA로 실현 가능한 운동 부분공간을 찾는다. 그런 다음 그 방향으로는 높은 임피던스 게인을, 나머지 방향으로는 낮은 게인을 설정한다.

핵심 내용
  • 정책 샘플링의 다양성을 물체 모델 없이도 방향별 컴플라이언스로 바꿀 수 있다.
  • 실제 Franka에서 제약을 위반하는 힘 충격량은 약 72%, 최대 힘은 약 70% 감소했다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

TAM: 조작에서 견고한 모션 전이를 위한 토크 적응 모듈 (TAM: Torque Adaptation Module for Robust Motion Transfer in Manipulation)

Dongwon Son · KAIST

전체 저자

Dongwon Son1, Florian Shkurti2,3, Jason Lee2,4, Naman Shah2, Beomjoon Kim1, Dieter Fox2,4

1KAIST2Allen Institute for AI3University of Toronto4University of Washington

TAM은 전적으로 시뮬레이션에서 학습되는 경량 모듈로, 최근 동작 이력을 바탕으로 저수준 토크 명령을 보정한다. 따라서 정책이 행동을 어떻게 생성하든 상관없이 sim-to-real 격차, 페이로드, 로봇 개체 간에 전이될 수 있다.

핵심 내용
  • 모든 정책이 토크 인터페이스를 공유하므로, 하나의 어댑터로 상자 밀기, MPC 공 균형 잡기, 행동 복제, 페이로드 트래킹이 모두 개선되었다.
  • 시뮬레이션에서만 학습한 행동 복제 정책의 실세계 성공률이 50%에서 72%로 올라, 시뮬레이션 성공률에 거의 근접했다.
2일차 녹화 · 2 분YouTube에서 열기
스포트라이트

조작을 위한 제약 샘플링과 강화학습의 결합 (Combining Constrained Sampling and Reinforcement Learning for Manipulation)

Marc Toussaint · Technical University Berlin / Robotics Institute Germany / Fraunhofer HHI

전체 저자

Marc Toussaint1,2,3, Cornelius V. Braun1, Armand Jordana4, Sayantan Auddy1, Eckart Cobo-Briesewitz1, Denis Shcherba1,3, Tilman Burghoff1, Justin Carpentier5,6

1Technical University Berlin2Robotics Institute Germany3Fraunhofer HHI4LAAS-CNRS5Inria6PSL Research University

Toussaint는 RL의 탐색 문제를 제약 샘플링으로 옮길 것을 제안한다. 물리적으로 실현 가능한 상태(접촉, 마찰 원뿔, 정적 안정성)를 제1원리 제약 다양체로부터 샘플링하여, 목표 조건부 조작 정책의 리셋 분포와 커리큘럼으로 사용한다.

핵심 내용
  • 제약 샘플링 기반 리셋 덕분에 RL이 뒤집힌 손으로 손 안 큐브 재배향을 학습할 수 있었으며, 단순 리셋으로는 학습이 정체된다.
  • 몬테카를로 및 다양체 샘플링의 발전은 그대로 더 나은 RL 탐색으로 이어질 것이다.
2일차 녹화 · 3 분YouTube에서 열기

스포트라이트 S5 · 변형 물체 조작, 기하와 형태

화 2:30 PM · Hilton Austin · 좌장: Rudi Lioutikov

9개 발표
스포트라이트

변형 가능한 물체 시뮬레이션을 위한 물리 기반 잔차 동역학 학습 (Learning Physics-Guided Residual Dynamics for Deformable Object Simulation)

Shivansh Patel · UIUC (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Shivansh Patel1, Kaifeng Zhang2, Sanjay Pokkali1, Svetlana Lazebnik1, Yunzhu Li2

1UIUC2Columbia University

PGRD는 최적화 가능한 스프링-질량 시뮬레이터와 잔차 보정을 예측하는 학습된 네트워크를 결합하여, 로프나 단단한 자루와 부드러운 깃털로 이루어진 먼지떨이 같은 변형체를 모델링한다. 이를 MPPI와 함께 사용해 로프 경로 재설정을 수행하며, 목표는 이미지 모델을 통해 언어로부터 생성한다.

핵심 내용
  • 이 하이브리드 모델은 이질적인 물체의 자루는 단단하게 유지하면서 깃털은 변형시켰는데, 순수 스프링-질량 기준선과 학습 기반 기준선은 이를 해내지 못했다.
  • 자연어로부터 목표 이미지를 생성하면 변형체 목표를 손으로 지정할 필요가 없어진다.
2일차 녹화 · 4 분YouTube에서 열기
스포트라이트

WireCraft: 산업용 DLO 조작을 위한 시뮬레이션 벤치마크 (WireCraft: A Simulation Benchmark for Industrial DLO Manipulation)

Chongyu Zhu · University of Toronto

전체 저자

Chongyu Zhu1, Ramy ElMallah1, Hyegang Kim1, Zachary Tang1, Jiachen Rao1, Artem Arutyunov1, Seungyeon Ha2, Chi-Guhn Lee1

1University of Toronto2CREFLE Inc.

WireCraft는 Isaac 기반의 산업용 변형 가능 선형 물체(DLO) 조작 벤치마크로, 커넥터 삽입, 클립 라우팅, 채널 안착 작업과 함께 설정 가능한 와이어 모델, 커넥터 유형, 무작위화된 형상을 제공한다.

핵심 내용
  • 특권 상태(privileged-state) 정책은 안정적으로 삽입에 성공하지만, 비전 기반 RL, 모방학습, VLA 정책은 성능이 급격히 떨어지며, 좁은 간극의 삽입은 여전히 미해결 과제로 남아 있다.
  • 실제 시연 데이터에 시뮬레이션 데이터를 섞자 실제 삽입 성공률이 15%에서 80%로 올라갔다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

추론 시점 시뮬레이터-인-더-루프 보정을 통한 강건한 천 조작 (Enabling Robust Cloth Manipulation via Inference-Time Simulator-in-the-Loop Refinement)

Xin Liu · National University of Singapore / Shanghai Jiao Tong University (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Xin Liu1,2, Yulin Li1, Ziming Li1, Pengyu Jing1, Zhenhao Huang1, Bingyang Zhou1, Ziqiu Zeng1, Siyuan Luo1, Chenkun Qi2, Fan Shi1

1National University of Singapore2Shanghai Jiao Tong University

저자들은 FLASH 천 시뮬레이터를 추론 시점의 순방향 모델로 사용한다. real-to-sim 네트워크가 RGB 이미지 한 장에서 천 메시를 복원하고, MPPI가 각 동작을 실행하기 전에 256개의 병렬 롤아웃으로 증류된 정책의 계획을 보정한다.

핵심 내용
  • 전체 시스템은 천 접기에서 단일 팔 90%, 양팔 80%의 성공률을 보였으며, 보정이 없을 때는 약 10-30%에 그쳤다.
  • 시뮬레이터 선택이 중요했다. 통제된 비교에서 FLASH는 95-100% 성공했지만 Isaac Sim과 Newton은 60% 이하에 머물렀다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

주름 없는 강건성: 인증된 변형체 조작을 위한 병렬 시뮬레이션과 강건 MPC (Robustness without Wrinkles: Parallel Simulation and Robust MPC for Certified Deformable Manipulation)

Jeffrey Fang · Georgia Institute of Technology

전체 저자

Wei-Chen Li1, Jeffrey Fang1, Sasanka Polisetti1, Yuexi Song1, Glen Chou1

1Georgia Institute of Technology

CORD-SLS는 평활화된 접촉을 갖춘 GPU 병렬 미분 가능 변형체 시뮬레이터와 실시간 강건 출력 피드백 MPC를 결합하고, 컨포멀 예측(conformal prediction)으로 real-to-sim 오차의 상한을 정해 로프와 천의 인증된 조작을 구현한다.

핵심 내용
  • 접촉 평활화로 얻은 그래디언트 덕분에 해석적 정책 그래디언트도 PPO보다 적은 스텝으로 수렴한다.
  • 실제 하드웨어에서 강건 튜브는 동역학 및 측정 오차에도 불구하고 장애물 충돌을 전혀 일으키지 않았다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

깊이 손상 환경에서 3D 조작 정책을 위한 노이즈 불변 공간 인코딩 (Noise-Invariant Spatial Encoding for 3D Manipulation Policies under Depth Corruption)

Zhiyuan Yang · A*STAR SIMTech / NTU (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Zhiyuan Yang1,2, Jiaju He1,2, Ruiteng Zhao1,3, Anqi Cheng2, Haiyue Zhu1, Kezhi Mao2

1A*STAR SIMTech2NTU3NUS

NISE는 노이즈가 섞인 깊이 정보로부터 3D 조작 정책용 공간 특징을 직접 학습한다. 이를 위해 어떤 기하 구조가 카메라 간에 일관적인지에 대한 교차 시점 지도 신호와, 불확실한 점 위치의 가중치를 낮추는 가우시안 주변화 3D 어텐션을 사용한다.

핵심 내용
  • 포화 수준의 깊이 노이즈에서 NISE는 두 시뮬레이션 벤치마크에 걸쳐 가장 강력한 베이스라인보다 33-40%p 높은 성능을 보였다.
  • 실제 투명하고 반사되는 물체에서는 베이스라인 성공 횟수를 대략 두 배로 늘렸다. 예를 들어 시험관 붓기 작업에서 30회 중 16회 대 6회였다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

SERF: 장기 이동 조작을 위한 시공간 환경 및 로봇 특징 맵 (SERF: Spatiotemporal Environment and Robot Feature Map for Long-Horizon Mobile Manipulation)

Sunghwan Kim · UC San Diego

전체 저자

Sunghwan Kim1, Byeonghyun Pak2, Kehan Long1, Yulun Tian3, Nikolay Atanasov1

1UC San Diego2Agency for Defense Development3University of Michigan

SERF는 VLA 이동 조작 정책을 환경과 로봇 몸체 모두에 대한 뉴럴 포인트 기반 시공간 맵에 조건화한다. 이 맵은 객체 수준 강체 추적과 순기구학으로 온라인 갱신되며, 여러 프레임에 걸쳐 토큰화된다.

핵심 내용
  • 이미지만 사용하는 pi-0.5 정책과 비교해, 맵에 조건화된 정책은 하위 목표에 더 직접적으로 도달했고 더 많은 하위 목표를 완료했다.
  • 명시적 3D 맵은 이미지만 쓰는 파운데이션 모델에는 없는, 맥락을 누적하는 메커니즘을 정책에 제공한다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

오픈 월드 이동 조작을 위한 관절형 3D 장면 그래프 (Articulated 3D Scene Graphs for Open-World Mobile Manipulation)

Martin Büchner · University of Freiburg (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Martin Büchner1, Adrian Röfer1, Tim Engelbracht2, Tim Welschehold1, Zuria Bauer2, Hermann Blum2,3, Marc Pollefeys2, Abhinav Valada1

1University of Freiburg2ETH Zurich3University of Bonn

MoMa-SG는 RGB-D 상호작용 영상으로부터 의미-기구학적 3D 장면 그래프를 구축한다. 상호작용을 분할하고, 추적된 점들로부터 관절 운동을 트위스트(twist)로 추정하며, 이를 오픈 어휘 객체와 연결하는데, 수납 공간 안에서 발견된 물건까지 포함한다.

핵심 내용
  • 정규화된 단일 트위스트 모델로 직동 관절과 회전 관절을 모두 강건하게 추정한다.
  • 이 그래프는 Toyota HSR과 사족 보행 로봇에서 언어 명령에 따라 냉장고를 열고 우유를 꺼내는 것과 같은 장기 작업을 지원했다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

RAM: 형태 전반의 도달 가능성 (RAM: Reachability Across Morphologies)

Tim Walter · Technical University of Munich

전체 저자

Tim Walter1, Xinyu Chen2,3, Jonathan Külz1, Matthias Althoff1

1Technical University of Munich2German Electron Synchrotron3University of Hamburg

RAM은 자기 충돌을 고려해 특정 자세에 도달 가능한지를 예측하는 형태 조건부 암시적 신경 모델로, 30,000개 형태에 걸친 300억 개 샘플로 학습되었다.

핵심 내용
  • RAM은 처음 보는 형태에서 84%의 균형 정확도를 달성해 학습 기반 IK보다 15포인트 높았고, 실행 속도는 500x 이상 빨랐다.
  • 미분 가능하기 때문에 형태 최적화를 한 자릿수 이상 가속하면서도 비슷한 수준의 설계를 얻는다.
2일차 녹화 · 3 분YouTube에서 열기
스포트라이트

Shape Your Body: 멀티 임바디먼트 로봇 설계를 위한 가치 그래디언트 (Shape Your Body: Value Gradients for Multi-Embodiment Robot Design)

Nico Bohlinger · TU Darmstadt

전체 저자

Nico Bohlinger1, Jan Peters1,2,3,4

1TU Darmstadt2Robotics Institute Germany3DFKI4hessian.AI

저자들은 강한 임바디먼트 무작위화를 적용해 50종의 다리형 로봇 전반에 걸쳐 하나의 범용 보행 정책과 크리틱을 학습한 뒤, 크리틱을 고정하고 이를 통해 역전파하여 설계 파라미터를 최적화한다.

핵심 내용
  • 한 번의 학습으로 설계마다 새로 수행하던 공동 설계 RL 실행을 대체하며, 수천 개의 설계를 몇 초 만에 최적화할 수 있다.
  • 최적화된 설계는 제조사의 원래 설계를 능가하는 경우가 많았고, 가치 그래디언트는 액추에이터 설정 등 어떤 파라미터가 성능을 제한하는지 보여준다.
2일차 녹화 · 3 분YouTube에서 열기

기조연설 II

화 3:30 PM · Hilton Austin · 좌장: Ani Majumdar

1개 발표
기조연설

공장에서의 학습 (Learning in the factories)

Russ Tedrake · MIT / Walden Robotics

Ani Majumdar의 소개를 받은 Tedrake는 Walden Robotics(2026년 1월에 시작된 Toyota Research Institute 스핀아웃) 창업이 로보틱스에 대한 자신의 시각을 어떻게 바꾸었는지 설명하며, 기술은 이미 준비되었고 다음 장벽은 범용 로봇을 제품으로 만드는 일이라고 주장한다. 그는 엄격한 가동률과 안전 요건 아래 Toyota 공장에서 캠샤프트를 적재하는 Walden의 첫 배포 사례를 소개하는데, 원격 어시스턴트와 함께하는 HG-DAGGER 방식의 공유 자율성과 매주 무선(OTA) 모델 업데이트를 활용했다. 이어 현장 배포 데이터가 가장 가치 있는 데이터라고 주장하며, 더 강력한 사전학습 모델이 개입 데이터를 더 적게 수집하고도 그로부터 더 크게 개선된 실험을 제시한다. 마지막으로 소수가 다수를 감독하기 위한 런타임 실패 모니터링, Toyota 생산 방식(jidoka, 라인 정지, 5 whys)에서 얻은 교훈, 그리고 Toyota와 함께하는 로봇 대량 생산을 다룬다.

핵심 내용
  • Walden의 캠샤프트 배포는 인간 원격 지원과 AI를 합쳐 거의 100%의 성공률에 이르기 때문에 생산 라인을 한 번도 멈춘 적이 없다.
  • 최근 대규모 모델 학습 후 평균 개입 간격이 약 340초로 늘었으며, Tedrake는 이 정도면 원격 어시스턴트 세 명이 로봇 50대를 감독할 수 있다고 추산한다.
  • 새로운 작업에 대한 공유 자율성 파인튜닝에서 가장 강력한 베이스 모델은 가장 적은 개입 데이터를 돌려받았지만(가장 약한 모델의 약 2시간에 비해 약 1.36시간) 가장 크게 개선되었다. 즉 강력한 베이스 모델일수록 배포 데이터의 가치가 커진다.
  • 모델이 개선되면 개입의 성격이 달라지므로, 약한 모델에는 자율 비율이, 강한 모델에는 평균 개입 간격이 더 나은 지표다.
  • 개입 데이터만으로 학습하면 근본 원인을 놓친다. Tedrake는 실패 후 Toyota 방식의 사후 분석과 표적 데이터 수집을 옹호한다.
  • 그는 현재의 병목이 AI가 아니라 로봇의 대량 생산이라고 보며, 로봇이 로봇을 만들게 하고 Toyota와 대량 생산을 위해 협력하는 방식으로 이를 추진하고 있다.
2일차 녹화 · 59 분YouTube에서 열기

다이아몬드 스폰서 발표 IV

화 4:30 PM · Hilton Austin · 좌장: Dhruv Shah

3개 발표
스폰서 발표

가정용 자율 휴머노이드 만들기 (Building an Autonomous Humanoid for the Home)

Jonathan Tompson · Meta Robotics Studio (Reality Labs)

Meta Robotics Studio의 모델링 리드인 Tompson은 유용하면서(자율적인 가사 작업) 즐거움을 주는(안전하고 친근하며 소통하는) 가정용 휴머노이드를 액추에이터부터 프런티어 모델까지 풀스택으로 구축한다는 팀의 목표를 설명한다. 하드웨어는 공개하지 않은 채 모델링 접근법을 소개하는데, Aria 안경으로 수집한 1인칭 시점 인간 데이터, UMI 방식 데이터, 일부 로봇 원격 조작 데이터로 학습하고 DAGGER로 개선하는 범용 정교한 파운데이션 모델이다. 그는 Meta가 보유한 기존 자산(Quest의 SLAM과 손 추적, SAM 3와 SAM 3D 같은 비전 모델, FEM 기반 시뮬레이터, Muse 프런티어 모델, 소비자 하드웨어 경험)이 강점이 된다고 주장한다.

핵심 내용
  • Meta는 Quest 헤드셋의 SLAM과 손 추적 인프라를 로봇에 그대로 재사용한다.
  • Tompson은 이제 천, 스펀지, 정밀한 강체 접촉에 대한 FEM 시뮬레이션을 포함한 시뮬레이션이 범용 로보틱스에 필수적이라고 강하게 확신한다.
  • 명시적 비전 모델은 에이전트가 데이터 필터링, QA, 상태 추정을 위해 호출하는 도구로서 중요성이 커지고 있다.
  • Meta는 로보틱스 데이터를 자사 프런티어 모델에 투입하고, 로봇 작업을 위한 에이전트형 도구 호출을 개선하기 위해 RL 사후학습을 수행하고 있다.
2일차 녹화 · 11 분YouTube에서 열기
스폰서 발표

로봇 지능의 확장: 인간의 경험에서 자기 개선 로봇까지 (Scaling Robot Intelligence: From Human Experience to Self-Improving Robots)

Yongjian Shen · AGIBOT

Shen은 배포에 기반한 AGIBOT의 피지컬 AI 생태계를 소개한다. 3년간 20,000대 이상의 로봇을 생산했으며, 태블릿 공장 배포와 광저우 지하철의 100대 이상 로봇 배치가 포함된다. 그는 공개 데이터셋 AgiBot World(100만 개 이상의 궤적, 새 릴리스에는 추론 주석 포함), 원격 조작 데이터와 1인칭 시점 인간 데이터로 학습되어 작업 추론, 미래 상태 예측, 동작 생성을 결합한 AGIBOT의 최신 월드-추론-행동 모델, 96대 로봇에 걸친 플릿 수준 집단 경험 학습, 그리고 배포 경험을 재사용 가능한 메모리로 바꾸는 Genie Master를 다룬다. 마지막으로 커뮤니티가 구축한 조작 벤치마크를 소개하는데, 그 주에 네 개의 새 트랙이 추가되었고 시뮬레이션 자산에 대한 실제 환경 검증이 이루어졌다. 강연 중 여러 데모 영상이 재생되지 않았다.

핵심 내용
  • 집단 경험 학습은 96대의 실제 로봇에서 동시에 실행되었으며, AGIBOT은 이를 이 규모로는 최초의 시연으로 본다.
  • 5일간의 편의점 상품 보충 실험에서 Genie Master는 워크플로 성공률을 28.6%에서 85.7%로 끌어올렸다.
  • 이 벤치마크의 시뮬레이션 자산은 실제 세계와 일치하도록 조정되어 sim-to-real 격차를 측정할 수 있으며, 약 20개 기관이 기여하고 190개 이상의 팀이 사용하고 있다.
2일차 녹화 · 11 분YouTube에서 열기
스폰서 발표

Tesla의 로보틱스 파운데이션 모델 구축 (Building Foundational Models for Robotics at Tesla)

Patrick Cho · Tesla

Cho는 Tesla가 학습된 월드 모델을 활용해 먼저 Cybercab 로보택시, 이어서 Optimus를 위한 강건한 정책을 구축하는 방법을 설명한다. Tesla는 월드 모델을 안전 개입 이후의 반사실적 상황 평가, 수집된 시나리오에서 새 정책의 폐루프 평가, 그리고 정책 학습에 사용한다. 정책 학습에 쓰려면 모델이 인과적이고, 행동에 조건화되며, 다중 카메라 간 일관성을 갖고, 지연이 낮으며, 물리적으로 정확해야 한다. 그는 생성된 희귀 시나리오(떨어지는 나뭇가지, 코끼리, 수족관을 통과하는 주행)와 관절 수준 행동에 조건화되어 실제 데이터와 비교된 Optimus의 보행 및 조작 롤아웃을 보여준다.

핵심 내용
  • 월드 모델을 평가뿐 아니라 학습에 사용하면 정책이 모든 물리적 부정확성을 악용하기 때문에 요구 수준이 급격히 높아진다.
  • 로보택시 개입이 너무 드물어져 이에 대해 테스트할 수 없게 되었으므로, 처음 보는 꼬리(tail) 시나리오를 생성하는 것이 필요하다.
  • Optimus의 경우 로봇 자체의 물리를 모델링하려면 대상 임바디먼트의 데이터가 필요하며, Tesla는 이것이 Optimus 생산 확대의 동기라고 말한다.
  • 월드 모델은 자동차나 로봇의 실제 행동에 조건화된 범용 비디오 생성기처럼 작동하도록 사내에서 처음부터 학습된다.
2일차 녹화 · 11 분YouTube에서 열기

3일차 · 11월 11일 (수)

스포트라이트 S6 · 최적화, 에이전틱 계획과 평가

수 8:30 AM · Hilton Austin · 좌장: Negar Mehr

8개 발표
스포트라이트

RoboKit: 로봇 학습을 위한 병렬 미분 가능 최적화 가속 (RoboKit: Accelerating Parallel Differentiable Optimization for Robot Learning)

Jianglong Ye · UC San Diego

전체 저자

Jianglong Ye1, Xuanbin Peng1, Conor Mc Gartoll1, Changwei Jing1, Lai Wei1, Jiali Chen1, Xueyan Zou1, Xiaolong Wang1

1UC San Diego

저자들은 해석적 야코비안과 여러 옵티마이저를 갖춘 배치형 커널 수준 최적화 툴킷 RoboKit을 소개한다. 이 툴킷은 IK, 모션 플래닝, 리타기팅, 파지, 시뮬레이션 기반 MPC를 다룬다. 또한 최적화와 학습 기반 솔버를 비교해 신경망 방법이 도움이 되는 지점을 보여준다.

핵심 내용
  • RoboKit은 기존 프레임워크 대비 IK가 약 10x, 물리 리타기팅이 2x, 렌더링 기반 캘리브레이션이 16x 빠르며, 2,000개의 IK 문제를 약 70 ms에 푼다고 보고한다.
  • IK나 모션 플래닝처럼 잘 정의된 문제에서는 최적화가 이미 좋은 성능을 내며, 학습 기반 방법은 이에 필적하는 수준에 그친다.
  • 학습은 물리가 중요할 때(시뮬레이션으로 학습한 파지), 입력이 부분적인 포인트 클라우드일 때, 그리고 속도가 결정적일 때(학습 기반 모션 플래닝은 수백 배 빠름) 도움이 된다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

궤적 디퓨전을 위한 제어 친화적 불확실성 (Control-Ready Uncertainty for Trajectory Diffusion)

Zhiwei Xue · NUS (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Zhiwei Xue1, Kam Jia Yue1, Jinhang Qiu1, Yifeng Cheng1, Ege Gursoy2, Jiaming Wang1, Vincent bonnet2, Harold Soh1

1NUS2LAAS-CNRS

저자들은 디퓨전 모델 스코어의 곡률을 읽어 비용이 큰 몬테카를로 샘플링 없이 궤적 불확실성 튜브를 생성하는 SCOPE를 소개한다. 이 튜브는 MPPI 정책 사전분포와 인간 동작 예측으로 사용되어 더 안전한 내비게이션과 조작을 가능하게 한다.

핵심 내용
  • 스코어 곡률이 가파르면 궤적 분포가 좁고(좁은 튜브) 스코어가 평평하면 분포가 넓으므로, 단일 학습 모듈에서 불확실성을 얻을 수 있다.
  • 정책 사전분포로 사용하면 SCOPE는 좁은 통로에서 MPPI 충돌을 줄이고, 예측으로 사용하면 로봇이 보행자에게 길을 양보하게 만든다.
  • 사람의 손이 끼어드는 실제 픽 앤 플레이스 작업에서 SCOPE를 사전분포와 예측으로 동시에 사용하자 로봇이 일찍 물러났다가 작업을 완수했다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

사전분포 기반 자유 에너지 최소화를 통한 창발적 제어 (Emergent Control via Prior-Based Free Energy Minimization)

Manish Kolachalam (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Manish Kolachalam, Rani Malhotra

저자들은 자유 에너지 원리에 따라 제어를 사전(선호) 상태로부터의 제곱 편차를 최소화하는 문제로 정식화하고, 모델 기반(Mountain Car, 고속도로, 목표 도달) 및 모델 프리(Walker) 변형을 보상 기반 에이전트와 비교 평가한다.

핵심 내용
  • 자유 에너지 목적 함수는 PPO에 필적하는 주행 행동을 보였고, Walker에서는 SAC보다 더 나은 장기 안정성을 보였지만 보상은 더 낮았다.
  • 보상 설계(reward shaping)와 달리 작업 구조에 구애받지 않으며, 설계되지 않았거나 잘못 설계된 보상이 실패한 역방향 Mountain Car 작업에서도 성공했다.
  • Mountain Car와 목표 도달에서는 보상 설계가 없는 RL보다 더 조밀한 최적화 지형과 더 높은 노이즈 강건성을 보였지만, Walker에서는 그렇지 않았다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

GaP: 변형 자동화 작업을 위한 그래프-정책(Graph-as-Policy) 멀티 에이전트 자기 학습 하네스 (GaP: A Graph-as-Policy Multi-Agent Self-Learning Harness For Variational Automation Tasks)

Shuangyu Xie · UC Berkeley

전체 저자

Kaiyuan Chen1, Shuangyu Xie1, Letian Fu1, Justin Yu1, William Pacini1, Sandeep Bajamahal1, Hudson Kim1, Jaimyn Drake1, Daehwa Kim1, Haoru Xue1, Jonathan Francis2, Christian Juette2, Peter Schaldenbrand2, Muhammet Yunus Seker2, Ruwan Wickramarachchi2, Uksang Yoo1, Guanzhi Wang3, Adithyavairavan Murali3, Balakumar Sundaralingam3, S. Shankar Sastry1, Yuke Zhu3, Linxi Fan3, Spencer Huang3, Ken Goldberg1

1UC Berkeley2Bosch3NVIDIA

GaP는 변형 자동화(variational automation) 작업을 대상으로, 로봇 프로그램을 계산 그래프로 구조화하고 그 하위 그래프를 코딩 에이전트가 작성, 테스트, 수정하도록 한다. 에이전트 하네스는 시뮬레이션에서 스스로 학습하며, 휴대폰 영상으로 real-to-sim 환경을 구축할 수 있다.

핵심 내용
  • 코드를 그래프로 구조화하면 에이전트가 작성한 정책의 해석 가능성이 유지되고, 에이전트가 루프에 없어도 로봇에서 실행할 수 있다.
  • 시뮬레이션에서의 자기 학습은 평행 그리퍼만으로 물체를 살펴보고, 고르고, 뒤집고, 확인하는 것과 같은 복합 전략을 만들어냈다.
  • 시뮬레이션 물리가 현실과 맞지 않을 때 GaP는 실제 영상을 사용해 시뮬레이션과 그래프를 모두 갱신했다(예: 왼쪽 그리퍼로 막대를 고정).
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

놀이 기반 에이전트형 로봇 학습 (Playful Agentic Robot Learning)

Junyi Zhang, Jiaxin Ge · UC Berkeley

전체 저자

Junyi Zhang1, Jiaxin Ge1, Hanjun Yoo1, Letian Fu1, Zihan Yang2, Yaowei Liu2, Raj Saravanan1, Shaofeng Yin2, Justin Yu1, Dantong Niu1, Zirui Wang1, Roei Herzig1, Ken Goldberg1, Yutong Bai1, David M. Chan1, Ion Stoica1, Angjoo Kanazawa1, Jiahui Lei1, Haiwen Feng1,2, Trevor Darrell1

1UC Berkeley2Impossible Research

저자들은 체화된 코딩 에이전트 팀이 시뮬레이션에서 자기 주도적 놀이를 통해 연습하도록 한다. 에이전트들은 학습 가능한 작업을 제안하고, 제어 코드를 작성하고 디버깅하며, 성공한 루틴을 고정된 스킬 라이브러리에 저장해 이후 외부에서 지정되는 작업에 활용한다.

핵심 내용
  • 놀이는 놀이 없는 코드 에이전트 대비 보류된 LIBERO-Pro 작업에서 성공률을 20.6%p, 두 번째 벤치마크에서 17포인트 높였다.
  • 놀이로 얻은 라이브러리는 다른 에이전트로도 이전되어 별도 벤치마크에서 8.9포인트를 더했다.
  • 파지 선택이나 당김 방향 헬퍼처럼 시뮬레이션 놀이에서 학습한 스킬은 실제 환경에서의 놀이나 파인튜닝 없이도 두 큐브의 위치 바꾸기 같은 실제 로봇 작업으로 조합되었다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

Meta-Ctrl: 구문적 제약과 의미적 제약의 분리를 통한 보장된 계획 생성 (Meta-Ctrl: Guaranteed Plan Generation by Decoupling Syntactic and Semantic Constraints)

Gwen Yidou-Weng, Edward Sun · UCLA

전체 저자

Gwen Yidou-Weng1, Edward Sun1, Tianyi Ma2, Metin Alp Dogan1, Benjie Wang1, Allen Peng1, Guy Van den Broeck1, Yuchen Cui1

1UCLA2Michigan State University

Meta-Ctrl은 LLM이 생성한 로봇 계획이 전제 조건과 목표 도달 가능성을 모두 포함한 전체 계획 규칙을 만족하도록 보장하는 제약 디코딩 방법이다. 한 번의 역방향 패스로 부분 계획이 여전히 목표에 도달할 수 있는 확률을 계산하고, 구문은 별도로 검사하면서 행동 수준 메타 토큰마다 세계 상태를 추적한다.

핵심 내용
  • 스텝별 마스크는 불법 행동을 걸러내지만 정체되거나 끝내 목표에 도달하지 못하는 계획은 막을 수 없으므로, 목표까지의 예견(look-ahead)이 필요하다.
  • 각 행동을 하나의 메타 토큰으로 다루고 구문을 세계 상태와 분리하면 상태 폭발을 피할 수 있다(토큰 수준 접근법에서는 약 3억 5천만 개 상태와 100 TB 이상).
  • VirtualHome에서 Llama 3B의 성공률은 20%에서 90%로 올랐고, 실제 로봇 계획은 20/20회 유효했으며 가이드 없는 모델은 약 2회에 그쳤다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

대화형 로봇 계획에서 의도 모호성 해소를 위한 베이지안 능동 학습 (Bayesian Active Learning for Intent Disambiguation in Interactive Robot Planning)

Huao Li · MIT

전체 저자

Huao Li1, Carson Sobolewski1, Augustinos D Saravanos1, Yew Teck Tan2, John Karigiannis2, Chuchu Fan1

1MIT2GE Vernova

저자들은 시간 논리(STL)를 의도 확인과 계획을 잇는 공유 표현으로 사용한다. 작업 명세에 대한 베이지안 믿음을 유지하고, 능동 학습으로 정보량이 많은 확인 질문을 고른 뒤, 추론된 STL을 형식적 플래너에 전달한다.

핵심 내용
  • LLM에만 확인 과정을 맡기면 환경 맥락을 놓칠 수 있는 피상적인 질문이 나온다.
  • 작업 명세의 학습된 잠재 공간에서 샘플링하면 LLM이 간과할 수 있는 의도를 탐색하는 데 도움이 된다.
  • 사족 보행 로봇을 사용한 공장 점검 시나리오에서 이 프레임워크는 더 적은 질문으로 작업 성공률을 높였다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

ATOM-Bench: 조작 정책의 원자적 스킬과 조합적 일반화를 위한 실제 환경 벤치마크 (ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies)

Zenan Wu · BAAI / Peking University (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Zenan Wu1,2, Bingqing Wei1,2, Lu Liu1, Zheqi He1, Wang Xi1, liujiakang1, lizehui1,2, Guocai Yao1, Jing-Shu Zheng1, Xi Yang1, Yongtao Wang2

1BAAI2Peking University

ATOM-Bench는 정책을 원자적 운동 스킬과 지시 스킬로만 파인튜닝한 뒤, 보류된 조합 작업에서 이 스킬들을 재조합할 수 있는지를 테스트하는 실제 환경 벤치마크다. 작업 완료, 부분 진행도, 원자적 역량, 진단 점수를 보고한다.

핵심 내용
  • 이 벤치마크는 Franka와 두 번째 로봇 플랫폼에 걸쳐 여섯 가지 운동 원자 유형과 일곱 가지 지시 원자 유형을 정의한다.
  • 다섯 가지 정책 전반에서 단순한 지시 그라운딩은 가장 쉬웠지만, 정밀한 운동 제어, 개수 세기, 조합적 일반화는 여전히 어렵다.
  • 개별 원자를 모두 성공하는 정책도 하나의 작업에서 원자들을 결합해야 할 때는 실패할 수 있다.
3일차 오전 녹화 · 3 분YouTube에서 열기

스포트라이트 S7 · 휴머노이드 보행과 전신 제어

수 9:00 AM · Hilton Austin · 좌장: Roberto Martín-Martín

9개 발표
스포트라이트

Kamino: 기구학적 루프를 가진 강체 다물체 물리의 GPU 기반 시뮬레이션 (Kamino: GPU-based Simulation of Rigid Multi-Body Physics with Kinematic Loops)

Vassilios Tsounis · Disney Research

전체 저자

Vassilios Tsounis1, Guirec Maloisel1, Christian Schumacher1, Ruben Grandia1, Agon Serifi1, David Müller1, Chris Amevor2, Tobias Widmer2, Moritz Bächer1

1Disney Research2NVIDIA

Kamino는 NVIDIA의 Newton 프레임워크 내 GPU 기반 물리 솔버로, 기구학적 루프를 가진 강체 다물체 시스템의 대규모 병렬 시뮬레이션을 위한 것이다. Disney의 복잡한 오디오 애니매트로닉스 캐릭터에서 동기를 얻었으며, 강연 중 발표자의 슬라이드와 영상이 맞지 않았다.

핵심 내용
  • Kamino는 기구학적 루프, 다중 접촉 결합, 큰 질량비를 다루면서도 큰 시간 간격에서 안정적인 제약 최대 좌표(maximal-coordinate) 정식화를 사용한다.
  • 수천 개의 이질적인 월드를 동시에 시뮬레이션하므로, 단일 RL 정책이 다리 수가 서로 다른 개미 변형들을 제어할 수 있다.
  • Newton은 여섯 개의 기구학적 루프를 가진 공개 데모 이족 로봇을 제공하며, Kamino는 해석적 토이 문제에서 XPBD 및 MJWarp와 비교 검증되었다.
3일차 오전 녹화 · 4 분YouTube에서 열기
스포트라이트

PHUMA: 물리적으로 신뢰할 수 있는 휴머노이드 보행 데이터셋 (PHUMA: Physically Reliable Humanoid Locomotion Dataset)

Kyungmin Lee · KAIST

전체 저자

Kyungmin Lee1, Sibeen Kim1, Youngdo Lee2,3, Minho Park1, Hyunseung Kim1,2, Dongyoon Hwang1, Donghu Kim3, Hojoon Lee3, Jaegul Choo1

1KAIST2KRAFTON3Holiday Robotics

PHUMA는 모션 캡처와 인터넷 영상으로 구축한 73시간 분량의 휴머노이드 보행 데이터셋이다. 물리적으로 유효하지 않은 동작은 걸러내고, 나머지는 물리 인식 정규화를 적용해 G1과 H1으로 리타기팅한다.

핵심 내용
  • 저자들은 물리적 신뢰성이 데이터셋 크기만큼 중요하다고 주장한다. 작고 깨끗한 데이터셋(LAFAN)과 크지만 노이즈가 많은 데이터셋(Humanoid-X) 모두 뒤처진다.
  • 리타기팅은 관절 한계 위반, 공중 부양, 관통, 발 미끄러짐에 페널티를 준다.
  • PHUMA로 학습한 트래커는 처음 보는 동작에서 가장 높은 성공률을 보였고, 하드웨어로 제로샷 이전되었으며, 영상 데이터를 더할수록 개선되었다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

LadderMan: 휴머노이드의 지각 기반 사다리 오르기 학습 (LadderMan: Learning Humanoid Perceptive Ladder Climbing)

Siheng Zhao · Amazon FAR / USC (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Siheng Zhao1,2, Yuanhang Zhang1, Ziqi Lu1, Pieter Abbeel1,3, Rocky Duan1, Koushil Sreenath1,3, Yue Wang2, Karen Liu1,4, Guanya Shi1,5

1Amazon FAR2USC3UC Berkeley4Stanford University5Carnegie Mellon University

LadderMan은 휴머노이드가 지각을 활용해 다양한 사다리를 오르고 사다리 위에서 조작할 수 있게 한다. 단일 참조 동작으로부터 하이브리드 모션 트래킹으로 학습한 전문가 정책들을 하나의 깊이 기반 시각운동 정책으로 증류한다.

핵심 내용
  • 사다리 중심의 접촉 및 매달림 보상과 함께 상체 추적을 완화하면 대규모 모션 데이터셋이 필요 없어진다.
  • 깊이 파운데이션 모델은 과도한 깊이 무작위화나 수동 튜닝 없이 sim-to-real 깊이 격차를 줄인다.
  • 이중 에이전트 구성은 하체 안정화와 상체 조작을 분리해, 사다리 위에서 전구 교체나 상자 건네기 같은 작업을 가능하게 한다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

TactileStep: 휴머노이드 보행에서 발-지형 상호작용 조절을 위한 발바닥 촉각 학습 (TactileStep: Sole Tactile Learning for Regulating Foot--Terrain Interaction in Humanoid Locomotion)

Zizhuo Wang · Tsinghua University (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Zizhuo Wang1, Ming-Ju Lee1, Shaoting Zhu1, Haozhe Lou1, Hang Zhao1, Yiming Li1

1Tsinghua University

TactileStep은 휴머노이드 보행에 발바닥 압력 감지를 추가한다. 인솔 측정값을 수직력, 접촉 면적, 압력 중심으로 압축하고, Unitree G1에서 착지, 착지 피크, 입각기 지지를 조절하는 단계별 보상을 사용한다.

핵심 내용
  • 세 가지 간결한 촉각 특징은 센서 배치와 무관하므로 동일한 특징이 시뮬레이션과 하드웨어 모두에서 작동한다.
  • 베이스라인과 비교해 TactileStep은 더 부드럽고 조용하게 착지하며, 특히 계단에서 입각기 동안 발바닥의 더 많은 부분을 접촉 상태로 유지한다.
  • 같은 보상으로 학습했지만 촉각 입력이 없는 변형은 이점의 상당 부분을 잃었으므로, 감지 자체가 중요하다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

OpenHLM: 휴머노이드 전신 이동 조작을 위한 실증적 레시피 (OpenHLM: An Empirical Recipe for Whole-Body Humanoid Loco-Manipulation)

Haodong Zhu · Tsinghua University

전체 저자

Yingdong Hu1,2,3, Haodong Zhu1, Boyuan Zheng1,2, Yihang Hu1,2, Tong Zhang1,2,3, Zunhao Chen1, Junming Zhao1, Ruiqian Nai1, Yang Gao1,2,3

1Tsinghua University2Shanghai Qi Zhi Institute3Spirit.AI

OpenHLM은 전신 휴머노이드 VLA를 작동하게 만드는 요소에 대한 실증 연구다. pi-0으로 초기화한 상위 수준 정책과 SONIC 하위 수준 트래커를 사용해 원격 조작 인터페이스, VLA 설계, 더 저렴한 데이터 소스를 다룬다.

핵심 내용
  • 전신 원격 조작은 발 사용을 가능하게 하며, 관절 공간 리타기팅은 평균 작업 진행도 88%를 달성해 SMPL 기반 목표의 75%보다 높았다.
  • 상대 행동 목표를 사용하면서 몸 상태 지각을 함께 제거하자 치명적인 실패가 발생했다.
  • 고정 자세 원격 조작 데이터와 인간(UMI 방식) 데이터를 추가하자 새로운 물체와 지시에 대한 진행도가 36%에서 84%로 올랐고, 전체 레시피는 절반 미만의 시연 시간으로 장기 과일 작업에서 87.5%에 도달했다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

희소 오프라인-온라인 RL을 통한 SMPC 시연 기반 이동 조작 학습 (Learning Loco-Manipulation From SMPC Demonstrations With Sparse Offline-to-Online RL)

Martin Schuck · RAI Institute / TU Munich

전체 저자

Martin Schuck1,2, Maks Sorokin1, Simone Manni1,3, Duy Ta1, Angela P. Schoellig2, Marco Hutter1,3, Simon Le Cleac'h1, Jan Brüdigam1

1RAI Institute2TU Munich3ETH Zurich

저자들은 시뮬레이션에서 GPU 샘플링 기반 MPC를 확장해 이동 조작 시연의 대규모 오프라인 데이터셋을 만든다. 이후 오프라인-온라인 RL(FastTD3)로 희소 보상 하에 학습해 수동으로 조밀한 보상을 설계하는 과정을 피한다.

핵심 내용
  • 샘플링 기반 MPC는 학습이 필요 없고 시뮬레이션에서 몇 분 안에 반복하여 좋은 행동에 도달할 수 있어 저렴한 전문가가 된다.
  • 희소 보상만으로 학습한 정책은 팔이 달린 Spot으로 제로샷 이전되었으며, 상자 밀기와 타이어 굴리기도 수행했다.
  • 같은 파이프라인은 Unitree G1에서도 작동해 크로스 임바디먼트 적용 가능성을 보였다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

CMP: 역량 매니폴드 투영을 통한 이동 조작용 강건한 전신 추적 (CMP: Robust Whole-Body Tracking for Loco-Manipulation via Competence Manifold Projection)

Ziyang Cheng · Tsinghua University (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Ziyang Cheng1, Haoyu Wei1, Hang Yin1, Xiuwei Xu1, Bingyao Yu1, Jie Zhou1, Jiwen Lu1

1Tsinghua University

Competence Manifold Projection은 실행 불가능하거나 분포 밖(OOD) 명령을 정책이 실제로 숙달한 행동으로 투영해 전신 트래커를 강건하게 만든다. MDP를 단일 스텝 안전성 테스트로 축소하고, GAE 방식의 역량 추정을 사용하며, 동형 잠재 공간에서 단 한 번의 노름 검사로 보정한다.

핵심 내용
  • 로봇은 치명적으로 실패하는 대신 최선을 다한다. 예를 들어 상자가 없으면 올라서기를 앞으로 내딛기로 바꾸고, 의자 없이 앉으라는 명령을 받으면 쪼그려 앉는다.
  • OOD 명령 하에서 실제 환경 생존율은 0%에서 87%로 올랐고, 추가되는 지연이나 추적 오차는 무시할 만한 수준이었다.
  • 안전성이 분포 내 민첩성을 희생시키지 않으며, 짐벌처럼 엔드 이펙터를 유지하거나 공중에서 물체를 잡는 동작도 여전히 가능하다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

ResSafe: 휴머노이드를 위한 잔차 강화학습 기반 안전 필터 학습 (ResSafe: Learning Safety Filtering with Residual Reinforcement Learning for Humanoids)

Gechen Qu · UC Berkeley

전체 저자

Gechen Qu1, Tong Zhang1, Bike Zhang1, Yen-Jen Wang1, Koushil Sreenath1, Claire Tomlin1, Jason Jangho Choi2

1UC Berkeley2UCLA

ResSafe는 성능만 고려한 휴머노이드 정책을 고정하고, 안전 보정을 더하는 잔차 RL 정책을 학습한다. 보상은 단순히 생존한 스텝당 +1이며 보정에는 작은 페널티를 준다.

핵심 내용
  • 안전성과 성능을 분리하자 두 목표를 모두 하나의 정책으로 학습할 때보다 더 나은 절충을 얻었다.
  • cart-pole에서 학습된 잔차는 판별 초평면으로 얻은 최소 안전 필터와 거의 일치했으며, 마진은 약간 더 컸다.
  • 무작위 탑재물을 실은 G1에서 ResSafe는 베이스라인보다 훨씬 덜 넘어졌고, 처음 보는 참조 정책에도 일반화되었다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

전신 Vision-Language-Action 모델을 이용한 복잡한 환경에서의 휴머노이드 내비게이션 (Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model)

Yuxin Chen · UC Berkeley / NVIDIA

전체 저자

Anqi Li1,2, Yuxin Chen1,3, Zhaobo Li1, Zhuo Cao1,4, Junli Ren1,5, Masayoshi Tomizuka1, Dhruv Shah6

1UC Berkeley2Peking University3NVIDIA4Tsinghua University5The University of Hong Kong6Princeton University

저자들은 복잡한 실내 환경을 통과하는 휴머노이드 내비게이션을 위한 3-시스템 전신 VLA를 제시한다. 내비게이션 파운데이션 모델, 실시간 청킹을 갖춘 디퓨전 트랜스포머 행동 전문가, RL 하위 수준 트래커를 언어가 포함된 64,000개 이상의 시뮬레이션 궤적으로 학습한다.

핵심 내용
  • 평면 2D 행동 공간은 팔, 몸통, 걸음새의 협응이 필요한 3D 장애물 사이 내비게이션에 한계가 있다.
  • 학습 데이터는 전적으로 시뮬레이션에서 나오며, 상체 회피에는 포텐셜 필드를, 하체에는 발걸음 리타기팅을 사용한다.
  • 이 모델은 2D 및 3D 내비게이션 벤치마크에서 최고 수준의 결과를 보고하며, 원격 추론으로 실제 Unitree G1에서 실행된다.
3일차 오전 녹화 · 3 분YouTube에서 열기

스포트라이트 S8 · 인지, 내비게이션과 자율 시스템

수 9:30 AM · Hilton Austin · 좌장: Hang Zhao

9개 발표
스포트라이트

VisionSIM: 이상적 센서를 넘어서 - 로봇 지각을 위한 멀티모달 시뮬레이터 (VisionSIM: Beyond Idealized Sensors — A Multi-Modal Simulator for Robot Perception)

Sacha Jungerman · UW–Madison

전체 저자

Sacha Jungerman1, Kaustubh Sadekar2, Avery Gump1, Sriram Narayanan3, Shantanu Gupta1, Bhuyashi Deka1, Srinivasa Narasimhan3, Atul Ingle2, Mohit Gupta1

1UW–Madison2Portland State University3Carnegie Mellon University

VisionSIM은 센서 사실성을 최우선 과제로 다루는 물리 기반 멀티 센서 시뮬레이터다. 카메라, 이벤트, SPAD, ToF(time-of-flight), 열화상 센서를 원시 측정값과 설정 가능한 파라미터로 모델링한다.

핵심 내용
  • 기존 시뮬레이터는 소수의 모달리티를 높은 충실도로 다루거나 다수의 모달리티를 이상화된 모델로 다루는데, VisionSIM은 이 절충의 한계선을 밀어내는 것을 목표로 한다.
  • 주변광 오염, 블러, ToF 위상 래핑, 이력 의존적 열 효과 같은 실패 양상이 센서 물리로부터 자연스럽게 나타난다.
  • 저자들은 정답 주석이 포함된 대규모 동기화 멀티모달 실내 데이터셋을 공개한다.
3일차 오전 녹화 · 4 분YouTube에서 열기
스포트라이트

MosaicIMU: 일반화 가능한 신경망 관성 오도메트리를 위한 캐리어 전문가 조합 (MosaicIMU: Composing Carrier Experts for Generalizable Neural Inertial Odometry)

Junye Zou · Tsinghua University (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Junye Zou1, Huiyi Yan2, Xinning Xu3, Xiaolei Li4, Pengkun Zhou1, Jinhui Zhang5, Ziyang Meng1

1Tsinghua University2Xi'an Jiaotong University3Beijing University of Chemical Technology4Beijing Information Science and Technology University5Beijing Institute of Technology

MosaicIMU는 이질적인 플랫폼 전반에서 신경망 관성 오도메트리를 수행하는 캐리어 조건부 전문가 혼합(mixture-of-experts) 모델이다. 예측된 속도를 이력 인식 EKF와 융합하며, 두 가지 적응 모드를 제공한다. 오프라인 적응을 위한 경량 잔차 브랜치와 온라인 적응을 위한 라우터 기반 샘플 선택이다.

핵심 내용
  • 캐리어별 고정 헤드는 캐리어 정체성을 경직되게 다루는 반면, 샘플마다 전문가 특징을 조합하면 이전이 더 잘 된다.
  • 사전학습된 MosaicIMU는 캐리어 전반에서 평균 ATE와 RTE를 각각 40%와 34% 줄였다.
  • Jetson Orin에서 실행되는 캠퍼스 차량의 온라인 적응에서 궤적 오차는 42.60 m에서 7.60 m로 떨어졌다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

Anchor3R: 장기 시각 매핑을 위한 일시적 앵커 기반 스트리밍 3D 재구성 (Anchor3R: Streaming 3D Reconstruction with Transient Anchors for Long-Horizon Visual Mapping)

Peilin Tao · Institute of Automation, Chinese Academy of Sciences / University of Chinese Academy of Sciences / Horizon Robotics

전체 저자

Peilin Tao1,2,3, Chong Cheng3,4, yuansen du3, Caiwei Song3, Zhengqing Chen3, Xiaoyang Guo3, Wei Yin3, Weiqiang Ren3, Qian Zhang3, Hainan Cui1,2, Shuhan Shen1,2

1Institute of Automation, Chinese Academy of Sciences2University of Chinese Academy of Sciences3Horizon Robotics4HKUST (Guangzhou)

Anchor3R는 현재 프레임을 고정된 기준이 아닌 일시적 앵커로 다루어 장기 스트리밍 3D 재구성을 수행한다. 제한된 윈도 내에서 상대 자세를 예측하고, 온라인 모션 평균화와 루프 클로저를 결합한다.

핵심 내용
  • 48프레임 클립만으로 학습했지만, 약 12,000장의 이미지와 거의 3 km에 이르는 경로를 재구성한다.
  • 앵커가 이동할 때 자세 쿼리를 재구성하면 낡은 좌표 가정이 전파되는 것을 막고 학습과 추론의 일관성을 유지한다.
  • 고정 크기 윈도 덕분에 GPU 메모리가 제한된 범위로 유지되며, 청크 재설정이나 청크 간 정렬이 필요 없다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

SidewalkBench: 도시 보도에서의 시각 내비게이션 벤치마킹 (SidewalkBench: Benchmarking Visual Navigation on Urban Sidewalks)

Zhizheng Liu · UCLA

전체 저자

Zhizheng Liu1, Honglin He1, Vivek Alumootil1, Akshat Pandya2, Brad Squicciarini2, Wayne Wu1, Bolei Zhou1,2

1UCLA2Coco Robotics

SidewalkBench는 도시 보도에서 카메라만 사용하는 시각 내비게이션을 위한 GPU 시뮬레이션 벤치마크다. 절차적으로 생성한 장면과 실제 스캔 장면을 이벤트 기반 보행자 행동과 결합하며, 단위 테스트, 보행자 반응, 장기 시나리오를 평가한다.

핵심 내용
  • 벤치마크된 아홉 개 모델 중 보도 데이터로 학습한 모델이 범용 내비게이션 모델보다 훨씬 뛰어났고, 데이터가 많을수록 더 도움이 되었다.
  • 횡단보도나 정지 제스처 같은 보행자 상호작용은 거의 모든 모델의 주요 약점이다.
  • 가장 좋은 모델조차 장기 경로에서 100 m당 평균 0.68회 실패한다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

Vision-and-Language 내비게이션에서 영역 도착에서 인스턴스 수준 그라운딩으로 (From Region Arrival to Instance-Level Grounding in Vision-and-Language Navigation)

Xiangyu Shi · Adelaide University (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Xiangyu Shi1, Ruoxi Yang2, Wei Tao2, Jiwen Zhang3, Yanyuan Qiao4, Qi Wu1

1Adelaide University2Ruyi Dynamics3Fudan University4EPFL

저자들은 Vision-and-Language 내비게이션에서 '마지막 3미터 그라운딩 격차'를 지적한다. 에이전트가 반경 안에 들어가면 성공으로 간주되지만, 실제로는 목표를 향하거나 보지 못하는 경우다. 이들은 인스턴스 수준 지표, 새로운 데이터셋, 그리고 플러그 앤 플레이 보정 모듈인 REALM을 제안한다.

핵심 내용
  • 진정한 성공이라면 목표 물체 가까이에 멈추고, 그것을 향하며, 볼 수 있어야 한다.
  • REALM은 1인칭 RGB와 지시문만 사용하고 가시성 인식 정지를 적용하며, OWLv2로 목표를 그라운딩하므로 백본 변경이 필요 없다.
  • UniNaVid 뒤에 붙여 실제 로봇에서 시연되었고, Unitree G1에서 이동 후 파지 작업으로도 시연되었다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

OSCAR: 적응형 로봇 내비게이션을 위한 장애물 생존 곡선 (OSCAR: Obstacle Survival Curves for Adaptive Robot Navigation)

Hshmat Sahak · University of Toronto (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Hshmat Sahak1, Aoran Jiao1, Nicholas Rhinehart1, Timothy Barfoot1

1University of Toronto

OSCAR는 경로 네트워크에서 장애물이 얼마나 오래 지속되는지에 대한 클래스별 생존 함수를 학습한다. 이를 이용해 각 조우마다 인내 임계값을 설정하여 기다릴지 우회할지를 결정하며, VLM이 각 장애물을 분류한다.

핵심 내용
  • 항상 기다리기, 항상 우회하기, 사람일 때만 기다리기 같은 고정 규칙은 주어진 환경에서 장애물이 실제로 얼마나 지속되는지를 무시하므로 시간을 낭비한다.
  • 우회하면 우측 중도절단(right-censored) 관측이 생기는데, 생존 모델은 이를 자연스럽게 처리한다.
  • 시뮬레이션에서 OSCAR는 경험이 쌓일수록 개선되어 실제 생존 함수를 아는 오라클에 근접하며, 휴리스틱 베이스라인을 능가한다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

TRIAD Planner: 자율주행을 위한 3단계 강건 모방학습 (TRIAD Planner : Three-Level Robust Imitation Learning for Autonomous Driving)

Jiyun Kim · KAIST

전체 저자

Jiyun Kim1, Ahmad Mouri Zadeh Khaki1, Kyunghwan Choi1

1KAIST

TRIAD는 Transformer 주행 플래너의 분포 변화 문제를 세 단계에서 다룬다. 과도한 자차(ego) 상태 어텐션을 제약하고, 오프라인으로 VLM에서 도출한 에이전트 우선순위 가이던스를 추가하며, 궤적 선택 시 CVaR 기반 꼬리 위험 가중치를 사용한다.

핵심 내용
  • 모방학습으로 학습한 플래너는 자차 상태 특징에 지름길로 의존할 수 있는데, 예를 들어 전문가가 보행자 때문에 멈춘 상황에서 가속하는 식이다.
  • 학습 시에만 사용하는 VLM 우선순위 가중치는 길을 건너는 보행자처럼 관련 있는 에이전트로 어텐션을 유도한다.
  • 추가 추론 시간 없이 폐루프 nuPlan 성능이 향상된다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

마스킹된 오차 제한 뉴로-심볼릭 디퓨전을 통한 운영 제약 하의 UAV-UGV 팀 협력 계획 (Collaborative Planning for UAV-UGV Teams under Operational Constraints via Masked Error-bounded Neuro-Symbolic Diffusion)

Zihao Deng · UMass Amherst (녹화에서 발표자가 언급되지 않아 제1저자를 표시)

전체 저자

Zihao Deng1, Qianhuang Li1, Maggie Wigness2, John G. Rogers III2, Donghyun Kim1, Hao Zhang1

1UMass Amherst2DEVCOM Army Research Laboratory

저자들은 UGV가 이동식 충전소 역할을 하는 UAV-UGV 팀의 공동 행동을 마스킹된 뉴로-심볼릭 디퓨전 모델로 계획한다. 논리 기반 허용성(admissibility)이 샘플링 중에 에너지, 통행 가능성, 충전 제약을 강제한다.

핵심 내용
  • 이질적 그래프 맥락에 대한 1차 논리 규칙 덕분에 엄격한 운영 제약을 디퓨전 샘플링 내부에서 강제할 수 있다.
  • 오차 제한 추론 스케줄링은 예측 엔트로피를 최소화하는 방식으로 다음에 마스크를 해제할 위치를 골라 계획의 최적성을 높인다.
  • 이 접근법은 ROS 도시 시뮬레이션과 Crazyflie UAV 및 LIMO UGV를 사용한 혼합 현실 환경에서 검증되었다.
3일차 오전 녹화 · 3 분YouTube에서 열기
스포트라이트

SCoCaT: 우주선 도킹을 위한 성공 조건부 제약 강화학습 (SCoCaT: Success Conditioned Constrained Reinforcement Learning for Spacecraft Docking)

Aman Arora · University of Luxembourg

전체 저자

Aman Arora1, Ricard M Castan1, Matteo El-Hariry1, Miguel Olivares-Mendez1

1University of Luxembourg

SCoCaT는 우주선 도킹 같은 목표 도달 작업에서 종료 기반 제약 RL(CaT)이 보이는 실패 양상, 즉 에이전트가 위반을 피하려고 목표 근처에서 맴도는 문제를 해결한다. 조기 종료를 넘어 부트스트랩하는 리턴을 가진 성공 크리틱을 추가한다.

핵심 내용
  • 저자들은 확률적 종료가 목표 근처의 가치를 어떻게 축소시켜 맴도는 행동을 일으키는지 설명하는 계수 kappa를 도출한다.
  • PPO 안에서 성공 크리틱의 어드밴티지와 감쇠된 CaT 스트림의 어드밴티지를 합하면 제약 위반 없이 목표 도달 능력이 회복된다.
  • 이 방법은 부유 플랫폼에서 작업 완료를 250배 높였고, 추진기가 장착된 실제 테스트베드로 제로샷 이전되었다.
3일차 오전 녹화 · 3 분YouTube에서 열기

기조연설 III

수 3:00 PM · Bass Hall · 좌장: Yuke Zhu & Peter Stone

1개 발표
기조연설

Atlas: 생성과 재구성을 위한 통합 월드 모델 (Atlas: A Unified World Model for Generation and Reconstruction)

Fei-Fei Li · Stanford University / World Labs

옛 박사과정 제자 Yuke Zhu의 소개 후, Fei-Fei Li는 로보틱스의 핵심 요구(세계 표현, 행동 결과 예측, 데이터 시뮬레이션)가 월드 모델링 문제로 귀결된다고 주장한다. 그녀는 World Labs의 Atlas를 소개하는데, 이는 처음부터 학습된 멀티모달 자기회귀 디퓨전 트랜스포머로, 텍스트, 이미지, 비디오, 깊이 또는 그레이박스 입력을 받아 카메라 조건부 프레임을 출력한다. Atlas는 조밀한 재구성, 몇 장의 시점으로부터의 희소 재구성, 순수 생성까지 하나의 모델로 아우르며, 지상에서 찍은 사진 2장, 8장, 33장으로 Stanford의 Main Quad를 재구성하는 예로 이를 보여준다. 그녀는 강력한 제3자 카메라 제어 생성 결과, 깊이 및 가우시안 스플랫 재구성 결과, 15 fps의 실시간 증류 버전, 그리고 초기 로봇 sim-to-real 활용 사례를 보여준다. 홍보 영상의 첫 공개가 AV 문제로 실패해 강연 막바지에 긴 공백이 있었다.

핵심 내용
  • Li는 Atlas의 핵심 아이디어를 'viewpoint is all you need'로 설명한다. 다음 토큰 예측과 유사하게, 강한 카메라 조건화를 통해 다음 시점을 예측하는 것이다.
  • 하나의 모델이 조밀한 재구성부터 희소 재구성, 텍스트만으로의 생성까지 전체 범위를 다룬다.
  • 약 50만 건의 인간 판단으로 구성된 제3자 벤치마크에서 Atlas는 카메라 제어 생성 부문 1위를 뚜렷한 차이로 차지했다.
  • Atlas는 일곱 개 데이터셋에 걸친 깊이 예측에서 특화 모델들을 능가했고, 가우시안 스플랫 재구성 오차에서도 경쟁력 있는 수준이었다.
  • 증류된 실시간 버전은 15 fps로 실행되며, World Labs는 Atlas 월드를 내비게이션 및 조작 로봇 학습에 활용해 실제 환경에 제로샷 배포하는 것을 시험하고 있다.
Fei-Fei Li on stage49:10 – 1:16:22
3일차 오후 녹화 · 27 분 · YouTube에서 재생

대담

수 3:00 PM · Bass Hall · 좌장: Yuke Zhu & Peter Stone

1개 발표
대담

대담: Fei-Fei Li & Lisa Su (Fireside Chat: Fei-Fei Li & Lisa Su)

Fei-Fei Li (Stanford University / World Labs), Lisa Su (AMD), Peter Stone (UT Austin / Sony AI; moderator)

Peter Stone이 Lisa Su(AMD 회장 겸 CEO)와 Fei-Fei Li의 대화를 진행하며, AMD가 진행 중인 World Labs 인수와 Li가 곧 맡게 될 AMD 최고 과학자 역할을 중심으로 이야기가 펼쳐진다. Su는 피지컬 AI와 로보틱스를 수천억 달러 규모의 기회로 보고, 하드웨어-소프트웨어 공동 설계와 클라우드부터 엣지까지 모든 규모의 컴퓨팅이 필요하다고 설명한다. Li는 AI가 곧 컴퓨팅이라고 주장하며 공공 부문에 자원을 제공하지 못하는 것을 지금 이 시점의 가장 큰 실책 중 하나라고 말하고, Su는 AMD가 학술 연구에 컴퓨팅 자원을 할당하겠다고 약속한다. 청중 질문에 답하며 AMD가 로보틱스 팀을 둘지, 박사 학위가 여전히 가치 있는지, 뇌의 20와트에 비견되는 에너지 효율적인 AI, 학생들을 위한 조언 등을 논의한다.

핵심 내용
  • Su는 어느 한 모델이 모든 응용에서 승리하지는 않을 것으로 본다. 프런티어 LLM은 더 저렴하고 전력 효율적이며 지연이 낮은 특화 모델들로 보완될 것이다.
  • Li는 로보틱스가 학습과 엣지 양쪽에서 컴퓨팅을 다음 단계로 끌어올릴 것이라고 믿는다.
  • Li는 공공 부문 컴퓨팅(NAIRR 사업을 예로 들며)이 블루스카이 연구, 인력 양성, AI의 독립적 평가에 필수적이라고 촉구한다.
  • Su는 AMD가 이미 로보틱스 및 피지컬 AI 연구 조직을 갖추고 있으며, Li 아래에서 투자를 크게 늘릴 계획이라고 말한다.
  • 두 사람 모두 호기심이 원동력인 사람에게는 박사 학위가 가치 있다고 말하며, Li는 뇌의 효율성이 수십억 년의 진화를 반영한 것으로, 이를 학습 비용과 혼동해서는 안 된다고 지적한다.
  • 마지막 조언은 호기심, 정직성, 두려움 없음 같은 시대를 초월한 가치를 붙잡으라는 것(Li)과 가장 어려운 문제를 향해 달려가라는 것(Su)이었다.
Fei-Fei Li on stage1:16:22 – 1:50:52
3일차 오후 녹화 · 35 분 · YouTube에서 재생

패널 토론

수 4:00 PM · Bass Hall · 좌장: Vincent Vanhoucke

1개 발표
패널

토론: "행동 복제 사전학습과 도메인 내 파인튜닝이라는 현재의 레시피가 상업적으로 실현 가능한 범용 로봇으로 이어질 것이다" (Debate: "The current recipe of behavior cloning pre-training and in-domain fine-tuning will lead to commercially viable generalist robots")

Vincent Vanhoucke (Waymo), Chelsea Finn (Stanford University / Physical Intelligence), Pulkit Agrawal (MIT / Eka Robotics), Marc Toussaint (Technical University Berlin), Leslie Kaelbling (MIT), Edward Johns (Imperial College London / Machenta), Yonatan Bisk (Carnegie Mellon University)

Vincent Vanhoucke가 행동 복제 사전학습과 도메인 내 파인튜닝이라는 현재의 레시피가 상업적으로 실현 가능한 범용 로봇으로 이어질 것이라는 논제에 대한 공식 토론을 진행한다. 그는 '범용'을 잘 정의된 도메인 내에서 최종 사용자가 제로샷으로 작업을 바꿔 지정할 수 있는 것으로, '상업적으로 실현 가능'을 고객 매출로 수익을 내는 것으로 정의한다. Chelsea Finn, Pulkit Agrawal, Marc Toussaint는 대규모 도메인 내 데이터, 신뢰성 최적화, 픽 앤 플레이스처럼 좁지만 수익성 높은 도메인을 근거로 찬성 측 주장을 편다. Leslie Kaelbling, Edward Johns, Yonatan Bisk는 인간 시연으로 상태 공간을 덮는 데 드는 비용, 이질적인 아키텍처, 모방을 넘어선 추론의 필요성을 들어 반대한다. 토론 전후 청중 투표에서 장내는 반대 쪽으로 기울었고 의견 변화는 거의 없었다.

핵심 내용
  • Finn은 신뢰성이 상업적 가치의 핵심이며, 이는 대규모 도메인 내 데이터와 성공에 최적화된 사후학습에서 나온다고 주장한다. LLM이 유용해진 방식도 이와 같다는 것이다.
  • Kaelbling은 물리적 작업은 언어와 달리 학습 가능하도록 설계된 것이 아니기 때문에 BC가 '폭발적 일반화'를 보여주지 못했으며, 학습된 모델이 정책보다 더 분리 가능하다고 주장한다.
  • Johns는 작업별 데이터 수집에 사람을 고용하는 것은 대부분의 작업에서 비경제적이며(빨래 개기는 예외), 시뮬레이션이 유력한 경로라고 지적한다.
  • Agrawal은 시스템 2 계획은 LLM이 대체로 해결했고, 병목은 접촉이 많은 시스템 1 제어이며, 올바른 지표는 정확도가 아니라 처리량(속도 x 신뢰성)이라고 주장한다.
  • Toussaint는 최선의 과학은 아닐지라도 좁은 상업 도메인은 데이터로 커버할 수 있다고 주장하고, Bisk는 모방만으로는 안전이 중요한 배포에 필요한, 보지 못한 상황에 대한 추론을 만들어낼 수 없다고 주장한다.
  • 토론의 상당 부분은 시뮬레이션과 RL 파인튜닝이 '현재의 레시피'에 포함되는지 같은 정의 문제를 두고 전개되었다.
Vincent Vanhoucke on stage1:52:41 – 2:40:50
3일차 오후 녹화 · 48 분 · YouTube에서 재생

폐회, 시상 및 작별 인사

수 5:00 PM · Bass Hall

2개 발표
폐회

음악 간주: 로봇이 지휘하는 현악 4중주 (Musical Interlude: Robot-Conducted String Quartet)

Peter Stone · UT Austin

대회장 Peter Stone이 첼리스트 Shu Scott, 비올리스트 Alan Chen, 바이올리니스트 Mary Brown과 함께 현악 4중주에서 바이올린을 연주하며, 모두 UT Austin과 인연이 있다. 이들은 Dvořák의 'American' 현악 4중주 마지막 악장과 Turtle Island String Quartet의 'Spider Dreams'를 연주한다. 로봇이 지휘할 예정이었지만 기술적 고장으로 나오지 못했다. 이어 Yuke Zhu가 Stone에게 감사를 전하고 시상식을 예고한다.

핵심 내용
  • 예정되었던 로봇 지휘자는 기술적 고장으로 등장하지 못했으며, Stone은 이를 그날의 또 다른 AV 사고라고 농담했다.
  • 이 간주는 최고 수준의 연구자들이 다른 분야에서도 뛰어날 수 있음을 보여주는 자리로 소개되었다.
  • 간주는 곧바로 폐회식과 최우수 논문상 시상으로 이어졌다.
Peter Stone on stage2:40:52 – 2:57:37
3일차 오후 녹화 · 17 분 · YouTube에서 재생
폐회

폐회사, 시상 및 작별 인사 (Closing Remarks, Awards & Farewell)

Yuke Zhu (UT Austin / NVIDIA), Georgia Chalvatzaki (TU Darmstadt), Katerina Fragkiadaki (Carnegie Mellon University), Vincent Vanhoucke (Waymo), Ken Goldberg (UC Berkeley), Peter Stone (UT Austin / Sony AI)

대회장 Yuke Zhu는 조직위원회, 리뷰어, Robot Learning Foundation, 약 75명의 자원봉사자, 스폰서에게 감사를 전하며, 올해 학회 규모가 대략 세 배로 커졌다고 언급한다. 수상위원장 Katerina Fragkiadaki는 위원회가 21편의 구두 발표 논문을 모두 읽고 여섯 편의 최종 후보(SuperMimic, Play2Perfect, GRAIL, RoboTTT, What Are We Actually Benchmarking in Robot Manipulation?, 그리고 증류된 트리 탐색 재배치 논문)를 선정한 뒤 두 편의 수상작을 골랐다고 설명한다. 최우수 학생 논문상은 RoboTTT에, 최우수 학회 논문상은 SuperMimic에 돌아갔다. Vincent Vanhoucke는 연중 상시 운영되는 Transactions on Robot Learning과 내년부터 시작되는 Test of Time 상을 발표하고, Ken Goldberg는 로보틱스의 '수익 위기'에 대해 성찰하며 파리에서 열릴 CoRL 2027을 발표한다.

핵심 내용
  • 최우수 학생 논문상: RoboTTT: Context Scaling for Robot Policies.
  • 최우수 학회 논문상: SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model.
  • 수상작은 중요성과 장기적 영향, 독창성, 기술적 타당성, 명료성, 재현성과 개방성을 기준으로 심사되었다.
  • 새로운 Transactions on Robot Learning은 연중 상시로 투고를 받으며 우수 논문은 CoRL에서 발표되고, 2017년 이후 논문을 대상으로 하는 Test of Time 상이 내년부터 시작된다.
  • Goldberg는 이 분야가 이제 수익을 내려면 신뢰성, 처리량, 해석 가능성을 실현해야 한다고 주장하며, 파리에서 열릴 CoRL 2027을 발표한다.
Yuke Zhu on stage3:00:53 – 3:26:37
3일차 오후 녹화 · 26 분 · YouTube에서 재생