CoRL 2026 — 全講演を AI が徹底解説

ロボット学習国際会議 CoRL 2026(米国テキサス州オースティン、11月9日–12日)は、メインプログラム全体を4本の長時間録画として配信しました。このページではそれを個々の発表に分割しています:基調講演、口頭発表、スポットライト、スポンサー講演、そしてディベート形式のパネル。各項目には短い要約、要点、そしてその発表の区間だけを再生するプレーヤーがあります。

要約は配信の字幕と論文のアブストラクトをもとに作成しています。各論文は、利用可能な場合は arXiv とプロジェクトページに、また OpenReview にリンクしています。タイトルは翻訳し、英語の原題を括弧内に併記しています。氏名と所属は英語のままです。

免責事項:このページは Claude Opus 5.5 で生成したもので、完全には確認されていないため、誤りを含む可能性があります。日本語訳も AI によるものです。詳細は元の録画や論文で確認してください。すべての講演、論文、スライド、録画の権利は、その著者および CoRL 2026 に帰属します。

カンファレンス概要

CoRL 2026は規模が3倍に拡大し、その構成要素(大規模な事前学習済み方策、人間の動画、世界モデル、フロンティアモデルによるプランナー)についてはほぼ収束した。一方で、そのレシピが誰かがお金を払うロボットを生み出すのかについては、公然と議論が分かれた。

投稿数
2,094
プログラム委員長によれば2025年の約700件から増加。採択は687件
採択率
32.8%
例年とほぼ同水準。口頭発表は採択論文の約3%、スポットライトは72件
参加者数
~4,800
ジェネラルチェアによれば2025年の約2倍
査読者数
2,400+
加えて今年新設されたシニアエリアチェアが23人
採択されたlate-breaking results
89件中39件
エージェント型ロボティクスとreal-to-sim-to-realのトラックを新設
捏造された引用によるデスクリジェクト
~12
CoRLとして初めてこれを審査した

第10回となるCoRLには2,094件の投稿があり、2025年の約700件のおよそ3倍となった。参加者はオースティンの3会場で約4,800人に上った。プログラム委員長はポスター発表のみの枠と3分間のスポットライトを追加することで、32.8%の採択率とシングルトラックを維持した。投稿キーワードの上位はマニピュレーション、模倣学習、知覚・制御の表現、RL、ロボット基盤モデルであり、採択論文もこの分布にほぼ沿っていた。エージェント型ロボティクスとreal-to-sim-to-realを扱う新設のlate-breakingトラックは、わずか数か月前に公開されたフロンティアモデルに応えるものであった。

壇上では、技術的な見通しは戦略的な見通しよりも定まっていた。Physical Intelligence、NVIDIA、Google DeepMind、そして多くの大学の研究室が同じスタックを提示した。すなわち、BCで事前学習した大規模な方策、スケールのための人間の一人称視点データ、データ生成と評価のための世界モデル、そして上位で計画を担うフロンティアモデルである。意見が分かれたのは、このスタックが信頼性が高く収益の上がる実運用に到達するかどうかであった。この問いをめぐるクロージングのディベートの前後で行われた投票は、いずれも動議に反対する側に傾き、ほとんど動かなかった。Ken Goldberg(UC Berkeley)はこの分野が「収益危機(revenue crisis)」にあると表現した。つまり、今や信頼性、スループット、解釈可能性を提供しなければならないということである。

概要をすべて読む概要を閉じる

テーマ

上位にフロンティアモデル、下位に高速な方策

ほとんどのシステムは、高速な学習済みコントローラの上に低速な推論器を置いていた。Hang Zhao(Tsinghua University / Galaxea AI)は、実時間の制約下でフロンティアモデルをステップごとの方策として用いると、RoboCasaでの成功率が15-20%に落ち込むと報告し、失敗の大半は層と層の間の受け渡しで起こると主張した。Boston Dynamicsは、ファインチューニングなしでタスク完了を判定できるほど信頼できる既製のVLMはなかったと述べた。ディベートでは、Vincent Vanhoucke(Waymo)が一部のロボティクスのベンチマークにおいて汎用モデルが本会議のロボットモデルを上回っていると述べ、Pulkit Agrawal(MIT / Eka Robotics)は、接触の多いシステム1のデータが依然としてそれらのモデルに欠けていると応じた。

関連:時間スケールを横断したフィジカルAIの組織化(Organizing Physical AI Across Timescales); 夢見ることから実行することへ:世界行動モデルとエージェント型ロボティクス(From Dreaming to Doing: World Action Models and Agentic Robotics); 真の長期的行動のための行動とエージェント(Actions and Agents for True Long-Horizon Behavior.); 遊びを通じたエージェント型ロボット学習(Playful Agentic Robot Learning)

方策、シミュレータ、評価器として使われる世界モデル

DreamZeroとGR00T 2は動画と行動を同時にデノイズする。DreamZeroの著者らは、失敗の多くが動画生成に起因することを見出しており、より優れた動画バックボーンがより優れた行動につながるはずだとしている。SuperMimicは、1つの学習済み微分可能ダイナミクスモデルを通じて約3 GPU時間でヒューマノイドのトラッカーを学習し、最優秀論文賞を受賞した。Teslaは、世界モデルで評価するだけでなくその内部で学習させると、方策がモデルの物理的な誤りを悪用してしまうと警告した。別のスポットライトでは、世界モデルが汚染(ポイズニング)されうることが示された。

関連:世界行動モデルはゼロショット方策である(World Action Models are Zero-shot Policies); SuperMimic:単一の微分可能な世界モデルによるヒューマノイド全身制御のスケーリング(SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model); GRAIL:世界モデルからのヒューマノイド・ロコマニピュレーションの生成(GRAIL: Generating Humanoid Loco-Manipulation from World Models); Teslaにおけるロボティクス基盤モデルの構築(Building Foundational Models for Robotics at Tesla); 世界モデルを標的としたロボット学習パイプラインの侵害(Targeting World Models to Compromise Robot Learning Pipelines)

人間のデータはスケールの主要な源泉だが、橋渡しが必要

EgoScaleは、人間データでの検証損失が対数線形のスケーリング則に従い、それが実機ロボットの成功率と連動することを示した。また、最も難しい器用なタスクには、整合させた中間学習段階(約4時間の遠隔操作データと、それに対応する50時間の人間データの組)が必要であることも明らかにした。Ego2Robotは、手の姿勢推定の精度が、精密なタスクにおける改善幅を制限していることを見出した。

関連:EgoScale:多様な一人称視点の人間データによる器用なマニピュレーションのスケーリング(EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data); Being-H0.5:クロスエンボディメント汎化に向けた人間中心のロボット学習のスケーリング(Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization); RoboTTT:ロボット方策のためのコンテキストスケーリング(RoboTTT: Context Scaling for Robot Policies); フィジカルAIのためのデータ基盤(Data Infrastructure for Physical AI); Ego2Robot:一人称視点の人間データからのスケーラブルなロボットデータ合成(Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data)

VLAに力覚と触覚が加えられつつある

複数の論文が、接触の多いタスクにおけるVLAの失敗の原因を、力覚信号の欠如、あるいは接触直前の小さな行動を過小に重み付けするフローマッチングのノイズスケジュールに求めた。対策はいずれも安価である。汎用アーム向けの学習ベースのトルク推定、画像上に描かれた触覚の矢印、事後学習の後半で追加される力覚エキスパートなどである。Wolfram Burgard(University of Technology Nuremberg)とSharpaはいずれも、ロボット基盤モデルには力覚と触覚が必要だと主張した。

関連:FACTR 2:市販ロボットアームにおける外力センシングの学習が方策学習を改善する(FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning); PACE:チャンクベースの挿入方策のための時間的役割に基づく触覚条件付け(PACE: Temporal-Role Tactile Conditioning for Chunk-Based Insertion Policies); 接触の多いタスクでVLAがいつ、なぜ失敗するのか、そしてどう修正するかの解明(Demystifying When and Why VLAs Fail in Contact-Rich Tasks and How to Fix Them); Visible Touch:視覚運動方策のための接触のレンダリング(Visible Touch: Rendering Contact for Visuomotor Policies); 身体性AIの実現に向けた課題(Challenges to Realize Embodied AI)

標的を絞った事後学習としてRLが復活

RLは汎用方策を置き換えるものとしてではなく、主に事前学習済みの汎用方策の上に適用された。RL Tokenは圧縮されたVLA埋め込み上で小さなactor-criticを動かし、タスクの最も難しいステップを数時間以内に修正する。そのEthernetケーブル挿入のエピソードは熟練した遠隔操作者よりも高速であった。一方π0.7は品質のメタデータで条件付けることで品質の混在したデータから学習でき、Play2Perfectはシミュレーションでの「遊び」によるRL事前学習が、疎な報酬の組立タスクを学習可能にすることを示した。

関連:RL Token:視覚・言語・行動モデルによるオンラインRLのブートストラップ(RL Token: Bootstrapping Online RL with Vision-Language-Action Models); π0.7:創発的能力を備えたステアリング可能な汎用ロボット基盤モデル(π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities); Play2Perfect:精密組立のための器用なプレイ事前学習において何が重要か?(Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?); ゼロからやり直さない学習:ロボットが実世界で学習できることの拡張(Learning Without Starting Over: Expanding What Robots Can Learn in the Real World)

評価は信頼されていない

最優秀論文賞の最終候補となったある論文は、DINOとMLPを組み合わせた方策が報告されている最高のLIBEROスコアにほぼ匹敵すること、そして報告された改善のうち統計的に有意なものはわずかであることを示した。RoboColosseumは、有意な結論1つあたり400-500回の比較が必要だと見積もった。LIBERO-CFは、VLAが学習タスクの物体を目にすると、しばしば言語指示を無視することを見出した。

関連:ロボットマニピュレーションにおいて私たちは実際に何をベンチマークしているのか?(What Are We Actually Benchmarking in Robot Manipulation?); RoboCap & RoboColosseum; 視覚が言語を上書きするとき:VLAにおける反事実的失敗の評価と緩和(When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs); ATOM-Bench:マニピュレーション方策における原子的スキルと構成的汎化のための実世界ベンチマーク(ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies)

実運用の数値と収益の問題

産業界の講演では運用指標が報告された。HyundaiでAtlasが部品のシーケンシングを行った事例では、完了率98.6%、介入率9.5%であったが、サイクルタイムが採算に乗るには約50%遅すぎる。WaldenのToyotaのカムシャフト用セルは一度もラインを止めたことがない。Gemini Robotics 2.5は96%の自律キッティングを報告した。ディベートでは、ドメイン内データの収集に人を雇うことが、洗濯物のようなタスク以外で経済的に成り立ちうるかどうかで意見が割れた。

関連:工場における学習(Learning in the factories); 真の長期的行動のための行動とエージェント(Actions and Agents for True Long-Horizon Behavior.); Geminiによる汎用ロボットの構築(Building general purpose robots with Gemini); ディベート:「行動クローニングによる事前学習とドメイン内ファインチューニングという現在のレシピは、商業的に実用可能な汎用ロボットにつながる」(Debate: "The current recipe of behavior cloning pre-training and in-domain fine-tuning will lead to commercially viable generalist robots")

CoRL 2025 からの変化

論文は3倍、参加者は2倍

ソウル大会では、2026年の委員長によれば約700件の投稿から263本の論文が採択され、非公式な集計では現地参加者は2,441人であった。オースティン大会は2,094件の投稿を受け、参加者は約4,800人に達した。これに対応するため、ポスター発表のみの枠、シニアエリアチェア、リバッタル前の一次リジェクト、引用のスクリーニングが追加された。

賞の対象はタスクの成果から学習の仕組みへ

2025年の最優秀論文賞は、脚式ロコマニピュレーションのための位置・力の統一制御とFabricaの双腕組立に贈られ、π0.5とDexUMIが最終候補であった。2026年の受賞は、ヒューマノイド制御の学習に用いる学習済み世界モデル(SuperMimic)とコンテキストのスケーリング(RoboTTT)であった。

モデルの発表は今や工場で評価される

Google DeepMindはCoRL 2025の頃にGemini Robotics 1.5を発表した。オースティンでは、Gemini Robotics 2.5が生産ラインでのキッティングのパイロットとともに登場した。Physical Intelligenceはπ0.5からπ0.7へと進んだ。2025年の特別パネルではヒューマノイドの学習が議論されたが、2026年は商業的な実現可能性がディベートのテーマとなった。

VLAとreal2simから、エージェントと世界モデルへ

2025年のあるサーベイは、VLA、Real2Sim2Real、触覚センシングをCoRLの主要テーマに挙げていた。この3つはいずれも2026年にも続き、Real2Sim2Realは独自のlate-breakingトラックを得た。新しいのは、エージェント型ロボティクスのトラックと、動画と行動で同時に学習する世界行動モデルであり、これらは2025年のテーマではなかった。

2027年への展望

パリでは評価の規範が厳しくなる

予測:信頼区間を報告し、ホールドアウトまたは公開後のテストセットを用いる論文が増え、査読者はLIBEROやSimplerEnvでの改善に疑問を呈するようになる。根拠:まさにこのテーマでの最優秀論文賞の最終候補、RoboColosseumによる無償評価の提供、そして基調講演における期限付きの評価指標や1時間あたりの介入回数を求める声。

層間のインタフェースが研究対象になる

予測:研究の焦点はシステム1とシステム2の間で何を受け渡すか、すなわち上位へ伝わる失敗信号と下位へ伝わる力や接触の意図へと移る。根拠:Zhaoによる受け渡し時の失敗の分析、システム1がボトルネックだというAgrawalの主張、そしてNVIDIAとBoston Dynamicsにおけるエージェント型ハーネス。

世界モデルは、その中で学習できるかどうかで評価される

予測:世界モデルの論文は、単に動画がそれらしく見えることではなく、その内部で学習した方策が誤りを悪用しないこと、そしてモデル内で予測された成功率が実世界の成功率と一致することを示す必要が出てくる。根拠:Teslaの警告、MemWorldにおいて依然として過小評価される成功率、そしてポイズニング攻撃。

実運用の主張では、成功率に代わってスループットが重視される

予測:2027年の産業界の講演は、サイクルタイム、平均介入間隔、遠隔オペレーター1人あたりのロボット台数を前面に出すようになる。Boston DynamicsはAtlasの最初の8時間シフトを2027年と予測し、Goldbergはこの年の課題を収益と位置付けた。BCによる事前学習とドメイン内データの組み合わせがその水準を超えられるかどうかは、引き続き議論の的となるだろう。

要点

  1. 分野はスタックについてほぼ収束しており、未解決の問いはアーキテクチャではなく経済性である。
  2. フロンティアモデルはプランナーとしては役立つが、実時間の制約下でステップごとに直接制御するコントローラとしては失敗した。
  3. 人間の一人称視点データはスケールするが、精密な巧緻性には依然として、ロボットと人間のデータを整合させた中間学習が必要であった。
  4. 力覚と触覚は既存のVLAに安価に追加でき、それによって特定の接触時の失敗が解消される。
  5. 現在のRLの多くは、ゼロから学習するのではなく、事前学習済み汎用方策のボトルネックとなるステップを標的にしている。
  6. よく使われるシミュレーションのベンチマークは暗記によって大部分が解けてしまい、報告されている改善の多くはノイズの範囲内である。
  7. 最優秀論文賞は、学習済みの微分可能な世界モデルの内部でヒューマノイド制御を学習する研究に贈られた。
  8. 実運用は介入ありで約99%の完了率に達するが、採算に乗るにはまだ遅すぎる。

出典:CoRL 2026 program · CoRL 2026 awards · CoRL 2026 Day 1 livestream (welcome, keynotes) · CoRL 2026 Day 3 afternoon livestream (debate, awards) · CoRL 2025 home (Seoul, Sept 27-30) · CoRL 2025 awards · CoRL 2025 keynotes · CoRL 2025 special panel · alphaXiv: CoRL 2025 accepted papers (263) · CoRL 2025 survey (H. Abe): attendance, themes

日程
種類
トピック
受賞
セッション 115件中 115件の発表

1日目 · 11月9日(月)

歓迎の挨拶と開会

月 8:30 AM · Hilton Austin

1件
開会挨拶

開会の挨拶(Welcome and Opening Remarks)

Yuke Zhu (UT Austin / NVIDIA), Peter Stone (UT Austin / Sony AI), Georgia Chalvatzaki (TU Darmstadt), Ani Majumdar (Princeton University), Roberto Martin-Martin (UT Austin)

ジェネラルチェアのYuke Zhuが第10回CoRLの開会を宣言し、参加者数が2倍になり、投稿数がおよそ3倍の約2,100本に達したことに触れた。また、Hilton、JW Marriott、UTのBass Concert Hallにまたがる、South by Southwest風の開催形式について説明した。プログラム委員長は、新たな3層構成のプログラム(口頭発表、3分間のスポットライト、ポスター発表のみ)、32.8%の採択率、エージェント型ロボティクスとreal-to-sim-to-realを扱う新設のlate-breaking resultsトラック、シニアエリアチェア、そして捏造された引用を理由に十数本の論文をデスクリジェクトした方針について説明した。続いてワークショップ、デモ、現地運営、インクルージョンの各チェアが、半日ワークショップ、17件のデモ、会場、昼食、Wi-Fi、旅費支援、託児について説明し、最後にPeter StoneがTexas Roboticsと新設のUT School of Computingを紹介し、スポンサーへの謝辞を述べて締めくくった。

要点
  • 投稿数は約700本から約2,100本に増え、シングルトラックを維持するために3層構成の発表形式が必要になった。
  • 採択率は例年並みの32.8%で、採択論文のキーワード分布は全投稿のそれとほぼ一致した。
  • 初めて、捏造または誤った引用を複数含む論文にフラグが付けられ、十数本がデスクリジェクトされた。一方、それ以外のAIを用いた執筆については著者の判断に委ねられた。
  • リバッタル前の一次リジェクトで投稿の3分の1強が除外され、少なくとも1人の強い支持者がいる論文に査読の労力が集中するようにした。
  • 学生の参加登録費は原価を下回る$200に引き下げられ、学生の参加障壁を下げるためにスポンサーが補助した。
  • ワークショップは、ミニ学会のような講演の羅列よりも対話的な議論を促すため半日形式とされ、有効な提案78件のうち32件が採択された。
1日目の録画 · 34 分YouTube で開く

スポットライト S1 · 汎用方策、記憶、転移

月 9:00 AM · Hilton Austin · 座長:Yash Narang

9件
スポットライト

MolmoAct2:実世界での実運用に向けた行動推論モデル(MolmoAct2: Action Reasoning Models for Real-World Deployment)

Jiafei Duan · Allen Institute for AI / University of Washington / National University of Singapore

全著者

Haoquan Fang1,2, Jiafei Duan1,2,3, Donovan Clay1,2, Sam Wang1,4, Shuo Liu2, Weikai Huang1,2, Xiang Fan1,2, Wei-Chuan Tsai2, Shirui Chen1,2, Yi Ru Wang1,2, Shanli Xing2, Jaemin Cho1,2,5, Jae Sung Park1, Ainaz Eftekhar1,2, Peter Sushko1, Karen Farley1, Angad Wadhwa2, Cole Harrison6, Winson Han1, Ying-Chun Lee2, Eli VanderBilt1, Rose Hendrix1, Suveen Ellawela7, Lucas Ngoo7, Joyce Chai8, Jason Ren1,2,9, Ali Farhadi1,2, Dieter Fox1,2, Ranjay Krishna1,2

1Allen Institute for AI2University of Washington3National University of Singapore4University of Pennsylvania5Johns Hopkins University6Amazon7Cortex AI8University of Michigan9University of North Carolina at Chapel Hill

著者らはMolmoAct2を発表した。これは事前学習、中間学習、適応までを網羅するオープンなレシピを備えた完全オープンなロボティクス基盤モデルであり、空間理解に特化したVLMを行動エキスパートに接続し、深度を毎ステップ再生成するのではなく適応的に推論する。オープンな身体性推論ベンチマークにおいて、追加学習なしで強力なベースラインを上回り、さらにファインチューニング後には第三者企業によるブラインド評価も受けた。

要点
  • 深度推論は各時刻ですべてのトークンを再生成するのではなく適応的に更新され、推論を伴う制御の効率を保っている。
  • ファインチューニング済みモデルの評価に、初めて第三者によるブラインド評価が用いられた。
  • 著者らはオープン化が報われると主張する。MolmoActのモデルとデータはHugging Faceで150万回以上ダウンロードされており、何が転移するかを知る手がかりになっている。
1日目の録画 · 4 分YouTube で開く
スポットライト

ロボット行動表現のためのセマンティックアンカリング(Semantic Anchoring for Robotic Action Representations)

Yuan Xu · Peking University(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Yuan Xu1, Youheng Shi1, Chengyang Li2,3, Wentao Zhu2, Yizhou Wang1

1Peking University2Eastern Institute of Technology, Ningbo3Shanghai Jiao Tong University

ミラーニューロンに着想を得て、著者らはVLAの行動表現がファインチューニング中に事前学習済みの視覚言語の意味表現との整合を失うこと、そしてこの整合度がタスク成功と相関することを示した。特徴量を、凍結したVLMに整合させる共有の意味経路と、実行上の詳細を保持する固有経路に分割することで、シミュレーションと実機の両方で複数のVLA(pi0を含む)の性能を向上させた。

要点
  • 行動表現の意味的な整合はファインチューニング中に測定可能なほど損なわれ、ロールアウトの成功率と分布外汎化の両方と連動する。
  • すべての特徴量を意味表現に整合させると実行性能が損なわれるため、物理的な詳細を保持するには共有/固有の特徴分割が必要である。
  • 改善幅は、ドメイン内のタスクよりも、合成的なタスクなどの汎化の軸で大きい。
1日目の録画 · 3 分YouTube で開く
スポットライト

MEM:視覚・言語・行動モデルのためのマルチスケール身体化メモリ(MEM: Multi-Scale Embodied Memory for Vision Language Action Models)

Marcel Torne · Physical Intelligence / Stanford University

全著者

Marcel Torne1,2, Karl Pertsch1, Homer Walke3, Kyle Vedder1, Suraj Nair1, brian ichter1, Allen Z. Ren1, Haohuan Wang1, Jiaming Tang1,4, Kyle Stachowicz1,3, Karan Dhabalia1, Michael Robert Equi1, Quan Vuong1, Jost Tobias Springenberg1, Sergey Levine1, Chelsea Finn1, Danny Driess1

1Physical Intelligence2Stanford University3UC Berkeley4MIT

著者らはVLAにマルチスケールの記憶を追加した。直近数秒の短期的な視覚記憶は動画エンコーダで圧縮されて低レベル方策に入力され、長期的なテキスト記憶ではVLMが過去の出来事の要約を再帰的に予測する。これにより方策は、レシピに沿った調理やキッチンの片付けなど、最長15分に及ぶタスクに対応できるようになる。

要点
  • 生の動画履歴をそのまま入力するのは現実的でない。50 Hzで1時間、画像1枚あたり256トークンとすると、約5,000万トークンになる。
  • アブレーションにより、長期的なテキスト記憶と短期的な動画記憶の両方が長期タスクの解決に必要であることが示された。
  • 記憶によってコンテキスト内での適応が可能になり、方策は失敗した試行に気づき、同じ誤りを繰り返さずに別の戦略を試すようになる。
1日目の録画 · 4 分YouTube で開く
スポットライト

PRTS:対照表現によるプリミティブ推論・タスク割り当てシステム(PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations)

Yang Zhang · TeleAI, China Telecom / Tsinghua University(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Yang Zhang1,2, Jiangyuan Zhao1,3, Chenyou Fan1,4, Fangzheng YAN1, Tian Li1, Haitong Tang1, Sen Fu1, Xuaner Wu1, Qizhen Weng1, Weinan Zhang3, Xiu Li2, Chi Zhang1, Chenjia Bai1, Xuelong Li1

1TeleAI, China Telecom2Tsinghua University3Shanghai Jiao Tong University4Fudan University

PRTSはVLAの事前学習を目標条件付きの対照強化学習として再定式化する。言語指示を目標として扱うことで、状態・行動の埋め込みが報酬アノテーションなしに目標への進捗を捉えるようにし、これを行動トークン予測と組み合わせて4億サンプルまでスケールさせた。得られた方策は、人間による大きな妨害から回復し、新しい指示にゼロショットで従い、長期にわたるトレー片付けタスクで未知の状況にも対処する。

要点
  • 同じ指示のステップを正例として扱い、後のステップほど重みを大きくすることで、埋め込みが目標への時間的な進捗を表現する。
  • 対照事前学習には追加の報酬ラベルが不要であり、下流の事後学習では新たなフローマッチング行動エキスパートを用いた標準的な行動クローニングを使う。
  • 方策はすべてのデモに含まれていなかった空のボウルのケースにも対処でき、進捗を意識した表現が回復に役立つことを示唆している。
1日目の録画 · 3 分YouTube で開く
スポットライト

VLAに何を伝えるべきかを学習する:ほぼ無害な視覚・言語・行動モデルのステアリング(Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering)

Hyun Joe Jeong · Carnegie Mellon University

全著者

Hyun Joe Jeong1, Gokul Swamy1, Andrea Bajcsy1

1Carnegie Mellon University

著者らは、凍結したVLAを誘導する言語フィードバック方策を学習する。局所的に摂動させた言語列を探索し、閉ループでロールアウトし、最良のものをリジェクションファインチューニングによってVLMに蒸留する。コンフォーマル予測を用いた改善ヘッドが介入のタイミングを判断することで「害をなさない」保証を与え、シミュレーションと実機の両方でpi0.5とMolmoAct2の成功率が向上した。

要点
  • VLAの言語から行動への対応は脆く、指示を言い換えるだけで挙動が予測不能に変わりうる。
  • 改善ヘッドにコンフォーマル予測を適用することで、誘導が役立ちそうにない場合には元の指示に戻ることができる。
  • 言語による誘導だけで、基盤となる方策の重みを更新することなくVLAの性能が向上する。
1日目の録画 · 3 分YouTube で開く
スポットライト

視覚が言語を上書きするとき:VLAにおける反事実的失敗の評価と緩和(When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs)

Yu Fang · University of North Carolina at Chapel Hill

全著者

Yu Fang1, Yuchun Feng1, Dong Jing1, Jiaqi Liu1, Yue Yang1, Zhenyu Wei1, Daniel Szafir1, Mingyu Ding1

1University of North Carolina at Chapel Hill

著者らはLIBERO-CFを導入した。これは50を超える反実仮想タスクからなるベンチマークであり、VLAが視覚的なショートカットのためにしばしば言語を無視し、十分に学習された訓練タスクを繰り返してしまうことを示す。著者らはCounterfactual Action Guidanceを提案する。これは言語条件付きと条件なしの行動予測の差を増幅する二分岐の推論手法であり、シミュレーションおよび実機上のpi0.5で言語グラウンディングを改善した。

要点
  • LIBERO上のVLAは視覚のみの入力でも高い成功率を達成し、視覚的手がかりへの強い依存が明らかになった。
  • 反実仮想的な失敗は訓練タスクの物体が存在することで引き起こされ、それらを取り除くと方策は指示に従いやすくなる。
  • CAGは追加のデモも、ベースとなるVLAのアーキテクチャや重みの変更も必要としない。
1日目の録画 · 3 分YouTube で開く
スポットライト

ZETA:卓上マニピュレーションにおけるゼロショット・クロスエンボディメントVLA転移の統制研究(ZETA: A Controlled Study of Zero-Shot Cross-Embodiment VLA Transfer for Tabletop Manipulation)

Mi Yan · Peking University / Galbot(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Mi Yan1,2, Wenhao Zhang2,1, Zhiqi Zhang2,1, Yu Peng2,3, Tangxinyu Wang2,1, Lingfei Zhai2,1, Jiayi Su2,4, Shengliang Deng2,5, Lin Peng2,6, Yaowei Liu2,1, Yuxing Chen1,2, Zhiyuan Wei2,1, Jilong Wang2, Jiayi Chen1,2, Jiangran Lyu1,2, Zhizheng Zhang2, He Wang1,2

1Peking University2Galbot3Renmin University of China4Xiamen University Malaysia5The University of Hong Kong6Beihang University

著者らは厳密なゼロショットのクロスエンボディメント転移と、事前学習で対象に触れている転移とを区別し、ロボットだけを変えた条件で、シミュレーションと実世界の14台の未知のターゲットロボットからなる統制されたベンチマークを構築した。そのうえで、表現、ソースの多様性、補助目的、ターゲットへの曝露について調べた。

要点
  • 状態と行動をグリッパー自身の座標系における差分として表現すると、平均進捗はシミュレーションで60から76に、実機で56から90に向上した。
  • ソースロボットを増やすと約18ポイント改善するが、それは固定された予算のもとで各ロボットが依然として十分なデータを得られる場合に限られる。
  • 学習データのわずか5%をターゲットロボットのデータに置き換えるだけでGoogleのロボットは51から69に向上したため、厳密な結果と事前学習で曝露した結果は分けて報告すべきである。
1日目の録画 · 3 分YouTube で開く
スポットライト

EmbodiSteer:ゼロショット・クロスエンボディメント実運用に向けた関節空間ガイダンスによる身体性非依存の視覚運動方策のステアリング(EmbodiSteer: Steering Embodiment-Agnostic Visuomotor Policies with Joint-Space Guidance for Zero-Shot Cross-Embodiment Deployment)

Shihefeng Wang · Tsinghua University

全著者

Shihefeng Wang1, Kangchen Lv1, Mingrui Yu1, Xiang Li1

1Tsinghua University

EmbodiSteerは、ハンドヘルドグリッパーのデータで学習したデカルト空間の視覚運動方策を凍結したまま、順運動学とヤコビアンを介して拡散サンプリングをターゲットロボットの関節空間に移す。各デノイジングステップでの最適化ベースのガイダンスが衝突回避のクリアランスとエンドエフェクタの動きの変化とのバランスをとり、シミュレーションの9台と実機の2台のロボットにわたって、ゼロショットで身体を考慮した実運用を可能にする。

要点
  • 関節空間でデノイズしても、タスク性能はほとんど変わらないまま全身の考慮が加わる。
  • 単純な勾配ベースの衝突ガイダンスはグリッパーをタスクから引き離してしまうため、制約はエンドエフェクタの動きとバランスさせる必要がある。
  • 実機のタスクでは、ロボット固有の学習なしに成功率がほぼ倍増し、衝突は97%から7%に減少した。
1日目の録画 · 3 分YouTube で開く
スポットライト

逐次的ロボットタスクにおける構成的汎化の診断(Diagnosing Compositional Generalization in Sequential Robot Tasks)

Yixiao Wang · UC Berkeley

全著者

Yixiao Wang1, Cheng-En Wu1, Lingfeng Sun1, Pengcheng Wang1, Xiang Ji1, Boyuan Liang1, Guojian Zhan1, Masayoshi Tomizuka1

1UC Berkeley

著者らは逐次タスクにおける合成的汎化のギャップを、指示の周辺分布シフト、指示の合成シフト、文脈・行動シフトに分解し、それを用いてロボットが実際にどの指示の組み合わせを見る必要があるのかを問う。実験により、疎でもうまく選ばれたカバレッジで十分であること、そして疎なカバレッジ下での失敗はスキルの欠如ではなく指示による誘導に起因することが示された。

要点
  • 組み合わせを網羅する必要はなく、慎重に選んだ4分の1のデータで全データでの学習に匹敵しうる。
  • タスクごとにデモを1つ追加するだけで疎なカバレッジでの失敗の多くが解消され、指示による誘導がボトルネックであることを示している。
  • 指示が互いに依存する場合は、依存するペアの関係的なカバレッジが必要であり、オラクルの高レベル指標を用いたモジュール型方策は失敗する。
1日目の録画 · 3 分YouTube で開く

若手研究者基調講演 I

月 9:30 AM · Hilton Austin · 座長:Chen Feng

1件
若手研究者基調講演

時間スケールを横断したフィジカルAIの組織化(Organizing Physical AI Across Timescales)

Hang Zhao · Tsinghua University (IIIS) / Galaxea AI

Chen Fengの紹介を受け、Hang Zhaoはロボットの知能を機能ではなく時間スケールで分割すべきだと主張した。数秒単位で推論するS2、数十ヘルツで動くS1の方策、数百ヘルツで動くS0の制御である。実時間を考慮したRoboCasaでの研究では、フロンティアモデルを直接またはエージェント的にステップごとの方策として用いると成功率が15-20%に崩れたのに対し、低速なモデルと高速な学習済みスキルを組み合わせて統括する設計は持ちこたえた。彼は量産車におけるDriveVLMのデュアルシステムとロボットのパルクールから得た教訓を踏まえ、S1を高速に保つ3つの方法を提示した。学習時には動画から学びつつテスト時には動画生成を省くFastWAM(G0-7)、G0.5における推論時のchain-of-thoughtのオフ、そしてストリーミング型の行動トークナイザActionCodec 2である。最後に、層間のインタフェースには上位へのより豊かなフィードバックと下位への力や接触の意図が必要だと論じ、ベンチマークには推論時間とともに期限内での成功率を報告するよう求めた。

要点
  • 低速なフロンティアモデルも高速な下位層と組み合わせれば問題ないが、実時間の制約下でステップごとの直接方策として使うと、ほとんどのタスクで失敗する。
  • 層の境界は必要な反応時間が変わるところに引くべきである。タスクとシーンは数秒、手と物体の動きは数十ヘルツ、接触と力は数百ヘルツである。
  • 推論時にchain-of-thoughtを省いても約90%のタスクでは差がなく、速度は2倍になった。効果があったのは主に長い多段階のタスクであった。
  • テスト時に未来の動画生成を省くと世界行動モデルは4倍以上高速化し、16BのG0-7はRTX 5090上で1行動あたり60 msで動作する。
  • 失敗の大半は層間の受け渡しで起こる。下位層が失敗を上位に報告できず、動きのみの指令には力が含まれないためである。
  • ZhaoはS2をクラウドに、S1を複数のロボットで共有するエッジサーバに、S0をロボット本体に置くべきだと提案している。
1日目の録画 · 35 分YouTube で開く

口頭発表 O1 · 汎用方策とコンテキストのスケーリング

月 10:30 AM · Hilton Austin · 座長:Michael Ryoo

3件
口頭発表

π0.7:創発的能力を備えたステアリング可能な汎用ロボット基盤モデル(π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities)

Ashwin Balakrishna, Lucy Xiaoyang Shi · Physical Intelligence

全著者

Bo Ai1, Ali Amin1, Raichelle Aniceto1, Ashwin Balakrishna1, Greg Balke1, Kevin Black1, George Elledge Bokinsky1, Shihao Cao1, Thomas Charbonnier1, Vedant Choudhary1, Foster Collins1, Ken Conley1, Grace B Connors1, James Darpinian1, Karan Dhabalia1, Maitrayee Dhaka1, Jared Di Carlo1, Danny Driess1, Michael Robert Equi1, Adnan Esmail1, Yunhao Fang1, Chelsea Finn1, Catherine Glossop1, Thomas Godden1, Ivan Goryachev1, Lachy Groom1, Haroun Habeeb1, Hunter Hancock1, Karol Hausman1, Gashon Hussein1, Victor Hwang1, brian ichter1, Connor Jacobsen1, Szymon Jakubczak1, Rowan Jen1, Tim Jones1, Gregg Kammerer1, Benjamin Katz1, Liyiming Ke1, Mairbek Khadikov1, Chandra Kuchi1, Marinda Lamb1, Devin LeBlanc1, Sergey Levine1, Xinyu Li1, Adrian Li-Bell1, Vladislav Lialin1, Zhonglin Liang1, Wallace Lim1, Yao Lu1, Enyu Luo1, Vishnu Mano1, Nandan Marwaha1, Aikys Mongush1, Liam Murphy1, Suraj Nair1, Karl Pertsch1, Allen Z. Ren1, Gavin Schelske1, Charvi Sharma1, Baifeng Shi1, Lucy Xiaoyang Shi1, Laura Smith1, Jost Tobias Springenberg1, Kyle Stachowicz1, Will Stoeckle1, Jiaming Tang1, James Tanner1, Shalom Tekeste1, Marcel Torne1, Kyle Vedder1, Quan Vuong1, Anna Walling1, Haohuan Wang1, Jason Wang1, XuDong Wang1, Christopher Whalen1, Sam Whitmore1, Blake Williams1, Charles Xu1, Sukwon Yoo1, Lili Yu1, Wuming Zhang1, Zhuoyang Zhang1, Ury Zhilinsky1

1Physical Intelligence

Physical Intelligenceはπ0.7を発表した。これは豊かなマルチモーダルプロンプト、すなわちサブゴール画像、詳細なサブタスク指示、そしてタスクがどのように実行されたか(品質、ミス、速度など)を記述するメタデータで学習した汎用ロボット基盤モデルである。追加学習なしで、単一のモデルが洗濯物たたみ、エスプレッソ作り、箱折りにおいて、タスク特化のRL事後学習を施したπ*0.6に匹敵し、ときには上回る。さらに、以前のPIのリリースで扱われたタスクもファインチューニングなしで実行できる。メタデータにより、品質の混在した遠隔操作データや評価データから学習でき、著者らは、UR5向けの洗濯データが一切ないにもかかわらずUR5の双腕構成でシャツをたたむといった、創発的な合成的汎化を強調した。質疑応答では、品質ラベルは主に事後的な人手のアノテーションによるもので、速度は品質とよく相関するシグナルの1つだと説明した。

要点
  • メタデータのプロンプトがない場合、品質の低い洗濯データを段階的に加えるほど性能が低下したが、メタデータがある場合はデータが増えるにつれて性能が向上し続けた。
  • 品質メタデータで条件付けることで、モデルは良い挙動と悪い挙動を区別でき、テスト時には高品質な挙動を単に要求するだけでよい。これはLLMに専門家として振る舞うよう指示するのに似ている。
  • π0.7は、データ収集に用いた軽量アームとは身体性が大きく異なるにもかかわらず、洗濯物たたみをUR5の双腕産業用アームに転移させた。
  • データ品質の判定は依然として未解決で反復的な問題であり、PIは実世界での性能との相関に基づいて改良した事後的なアノテーションに頼っている。
1日目の録画 · 12 分YouTube で開く
口頭発表

Being-H0.5:クロスエンボディメント汎化に向けた人間中心のロボット学習のスケーリング(Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization)

Hao Luo · BeingBeyond

全著者

Hao Luo1, Ye Wang1, Wanpeng Zhang1, Sipeng Zheng1, Ziheng Xi1, Chaoyi Xu1, Haiweng Xu1, Haoqi Yuan1, Chi Zhang1, Yiqing Wang1, Yicheng Feng1, Zongqing Lu1

1BeingBeyond

著者らはBeing-H0.5を発表した。これは人間の手のインタラクションデータをロボットの身体性をまたぐ普遍的なアンカーとして用いるVLAであり、約30種類の身体性に由来するロボットデータの不足と偏りに対処する。そのコーパスは、一人称視点の人間動画から再構成した手の動き、約14,000時間のロボットデータ、約5,000時間の視覚言語データを組み合わせたもので、動作生成、記述、継続のタスクとともに、スロットベースの共有行動空間で学習される。ロボット固有の特化には、mixture-of-flowの行動エキスパート、観測のシフトに対応する多様体保存型のゲーティング機構、そしてRTCをロボットごとの遅延に拡張したユニバーサル非同期チャンキングを用いる。5種類の身体性にまたがる単一の汎用チェックポイントは、ロボットごとの専用モデルに近い性能を保ち、汎化ではそれを上回る。

要点
  • 人間中心の事前学習によって汎用モデルと専用モデルの差が縮まった。ゼロから学習した場合、この差は大きく広がった。
  • Unitree G1のみで収集したタスクが、事前学習ありでは別のロボットにゼロでない成功率で転移したのに対し、ゼロから学習したモデルは完全に失敗した。
  • 人間の手を共有行動スロット空間における単なる1つの身体性として扱うことで、人間の手首の動きが同じ損失でロボットのエンドエフェクタのスロットを教師付けできる。
  • 手の動きのラベルは主に、ヒューリスティックな品質指標でフィルタリングした再構成パイプラインから得られ、手のラベル付きのオープンソースデータセットで補われている。
1日目の録画 · 11 分YouTube で開く
口頭発表 最優秀学生論文賞

RoboTTT:ロボット方策のためのコンテキストスケーリング(RoboTTT: Context Scaling for Robot Policies)

Yunfan Jiang · NVIDIA / Stanford University

全著者

Yunfan Jiang1,2, Yevgen Chebotar1, Ruijie Zheng1, Fengyuan Hu1, Yunhao Ge1, Jimmy Wu1, Tianyuan Dai1,3, Scott Reed1, Li Fei-Fei2, Yuke Zhu1,3, Linxi Fan1

1NVIDIA2Stanford University3The University of Texas at Austin

RoboTTTは、GR00T N1.7のDiT行動ブロックのタイムステップごとの出力にわたってtest-time-training(TTT)層を挿入することで、ロボット方策の視覚運動コンテキストを8,000タイムステップまでスケールさせる。TTT層の高速重み(fast weights)は学習時と推論時の両方で勾配降下によって更新される。学習にはシーケンス行動フォーシング(アクションチャンクごとに独立したノイズレベル)と、コンテキストを模倣の目標から分離する損失マスクを用い、人間の動画からのコンテキスト内模倣や、モデルが自身の失敗を修正するよう学習するDAgger蒸留を可能にする。長期にわたる組立タスクでは、推論レイテンシ一定のまま平均タスク完了率79%に達し、ギアボットの組立の全10段階を完了できた唯一の手法となった。モデルは長期の人間動画(EgoScale)でも中間学習されている。

要点
  • 閉ループ性能はコンテキスト長とともに着実に向上し、8Kコンテキストでは1Kより63%高かった。一方、代替手法のgated DeltaNetはスケールしなかった。
  • 高速重みは固定サイズの再帰的状態として働き、コンテキスト長に関係なくメモリとレイテンシを一定に保つ。
  • アクションチャンクごとにノイズレベルを独立にサンプリングすることで、時間的に相関したロボット軌道でのシーケンス学習が安定する。
  • 人間の手によるデモをコンテキストに置くことで、ロボットは未知の組立構成をワンショットで実行できた。
1日目の録画 · 11 分YouTube で開く

口頭発表 O2 · 世界モデルと時間的表現

月 11:00 AM · Hilton Austin · 座長:Andrea Bajcsy

3件
口頭発表

世界行動モデルはゼロショット方策である(World Action Models are Zero-shot Policies)

Shenyuan Gao · NVIDIA

全著者

Seonghyeon Ye1, Yunhao Ge1, Kaiyuan Zheng1, Shenyuan Gao1, Sihyun Yu1, George Kurian1, Suneel Indupuru1, You Liang Tan1, Chuning Zhu1, Jiannan Xiang1, Ayaan Naveed Malik1, Kyungmin Lee1, William Liang1, Nadun Ranawaka Arachchige1, Jiasheng Gu1, Yinzhen Xu1, Guanzhi Wang1, Fengyuan Hu1, Avnish Narayan1, Johan Bjorck1, Jing Wang1, Gwanghyun Kim1, Dantong Niu1, Ruijie Zheng1, Yuqi Xie1, Jimmy Wu1, Qi Wang1, Ryan Julian1, Danfei Xu1, Yilun Du1, Yevgen Chebotar1, Scott Reed1, Jan Kautz1, Yuke Zhu1, Linxi Fan1, Joel Jang1

1NVIDIA

著者らはDreamZeroを導入した。これは事前学習済みの動画拡散モデルから構築した14Bの自己回帰型世界行動モデルであり、teacher-forcingの目的関数で未来の動画フレームと行動を同時にデノイズするようファインチューニングされている。チャンク単位の自己回帰的デノイジングによりKVキャッシュが使え、実行中に実際の観測で条件付けることができる。システムとモデルの最適化により、チャンクあたりの推論時間は5.7 sから0.15 sに短縮された(GB200上で38倍の高速化)。AgiBotとDROID-Frankaの構成では、既知・未知のタスクの両方で、クロスエンボディメントで事前学習したものを含むVLAのベースラインを上回り、タスク特化の事後学習後もその優位を保った。

要点
  • 環境やタスクをまたぐ多様で反復の少ないデータで学習することで、モデルは動画モデルのゼロショット汎化能力を受け継ぐ。
  • 動画モデルを実時間制御に十分な速さにすることが、工学上の主な課題であった。
  • 著者らは、動画と行動の予測がよく整合し続けること、そして失敗の多くが動画生成に起因することを観察しており、より良い動画バックボーンはより良い行動につながるはずである。
  • 失敗データは事前学習に用いられておらず、それをテスト時適応に用いることは今後の課題とされている。
1日目の録画 · 12 分YouTube で開く
口頭発表

ロボットマニピュレーションのための記憶拡張型・行動条件付き世界モデル(Memory-augmented Action-conditioned World Model for Robot Manipulation)

Jim (CMU, presenting for the authors)

全著者

Zirui Zheng1,2, Jiaqian Yu2, Xiongfeng Peng2, jun shi2, Mingyi Li1, Chao Zhang2, Weiming Li1, Dong Wang1, Huchuan Lu1, Xu Jia1

1Dalian University of Technology2Samsung R&D Institute China-Beijing

MemWorldは、長いロールアウトの中で物体が手首カメラの視野から外れて再び入ってくると、それを歪めてしまうという行動条件付き世界モデルの問題に取り組む。そのサーフェルベースの記憶は、シーンの表面をそれが観測された時刻に結び付ける。次のアクションチャンクから計算した未来のカメラ姿勢を用いてサーフェルをレンダリングし、可視性、タスクとの関連性、新しさでスコア付けして、上位K個の過去フレームをマルチビュー世界モデルのコンテキストとして取り出す。難しいDROIDの軌道34本において、Ctrl-Worldよりも視覚的一貫性が向上し、実際の方策の性能により近く追従し、想像したロールアウトを方策のファインチューニングに使うこともできる。著者らが渡航できなかったため講演は著者以外の人物が行い、質疑応答は省略された。

要点
  • ロボットの未来の行動は、手首カメラが次にどこを向くかを決めるため、どの過去の観測を取り出すべきかを示す直接的な手がかりとなる。
  • 5つのタスクにおけるπ0とπ0.5について、世界モデル上の成功率と実世界の成功率の相関は0.85から0.97に向上したが、成功率は依然として過小評価されている。
  • タスクごとに選んだ20–30本の成功した想像ロールアウトでπ0.5をファインチューニングすると、3つの長期タスクにおける実世界の平均成功率が58%から72%に向上した。
  • マルチビューの一貫性と明示的な物理的制約は、依然として未解決の課題である。
1日目の録画 · 12 分YouTube で開く
口頭発表

TEMPO:動的ロボットマニピュレーションのための時間的コンテキストの学習(TEMPO: Learning Temporal Context for Dynamic Robot Manipulation)

Jimin Heo, Zhenyang Feng · UC Irvine

全著者

Zhenyang Feng1, Jimin Heo1, Erik B. Sudderth1, Unnat Jain1

1UC Irvine

TEMPOは、歩いている人からのボトルの受け取り、落下物のキャッチ、弾かれた物のキャッチ、動くカゴへの注ぎ入れといった動的なマニピュレーションタスクを対象とする。これらのタスクでは、RTCのようなレイテンシ削減手法を用いても単一フレームのVLAは失敗する。TEMPOは欠けていた2つの要素を加える。1つは、凍結した動画基盤モデル(デフォルトはSAM 2で、1フレームあたり約11 ms)による直近フレームの特徴量に時間方向のアテンションをかけて得るモーショントークン、もう1つは、VLMと行動エキスパートの両方に入力される、直近の関節指令からなるコンパクトな固有受容の履歴である。この履歴により、見た目が似た状態で正反対の行動が求められるケースを解決できる。すべて大学の研究室規模の計算資源で動作し、コードとデータはオープンソースとして公開されている。

要点
  • 推論レイテンシを削減するだけでは動的タスクは解決しない。方策には物体の速度と自身の行動履歴も必要である。
  • ボトルの受け取りでは、50エピソード中18回で完全に取り損ねたベースVLAと比べ、TEMPOは完全な取り損ねを半減させ、成功をほぼ倍増させた。
  • 各要素は単独でもベースVLAを上回り、両者を合わせると74%に達した。この改善は3種類の異なるVLAバックボーンで一貫していた。
  • 動きの理解は動画基盤モデルの事前学習によって上限が決まるため、投げられたボールのような非常に速い動きでは依然として失敗しうる。
1日目の録画 · 11 分YouTube で開く

口頭発表 O3 · データ、シミュレーション、評価

月 11:30 AM · Hilton Austin · 座長:Ed Johns

3件
口頭発表

実際に測定できる多様性:ロボティクスデータセットのための高速かつモデルフリーな多様性指標(Diversity You Can Actually Measure: A Fast, Model-Free Diversity Metric for Robotics Datasets)

Sreevardhan Sirigiri · The University of Sydney

全著者

Sreevardhan Sirigiri1, Nathan Samuel de Lara2, Christopher Agia3, Florian Shkurti2,4, Fabio Ramos1,5

1The University of Sydney2University of Toronto3Stanford University4Allen Institute for AI5NVIDIA

著者らは、ロボットのデモデータセットのためのノンパラメトリックな多様性指標であるシグネチャエントロピーを提案する。各デモを、平坦化した状態、行動、(埋め込んだ)観測上のパスとして扱い、シグネチャ変換で写像し、シグネチャカーネルで比較する。エントロピーはカーネル行列の固有値から閉形式で計算され、行列式に基づく体積的な代替指標もある。さらに、エントロピーを最大化する部分集合を貪欲に選ぶモデルフリーのキュレーションアルゴリズムFACTUALも導入する。RoboMimicでは、FACTUALはランダムな削減を上回り、ときには全データセットをも上回った。実機の小規模VLAでも同様の傾向が見られた。

要点
  • シグネチャエントロピーはRoboMimicにおける方策の成功率と強く相関し、RNNから拡散方策までのアーキテクチャにわたってピアソン相関係数は0.74から1であった。
  • シグネチャ変換はパスの幾何を保ちながら長さの異なる軌道を扱えるため、扱いにくい確率分布を必要としない。
  • FACTUALは補助モデル、方策へのアクセス、ロールアウトのいずれも不要であり、他のキュレーション手法よりはるかに軽量である。
  • データセットのエントロピーはデモを追加するにつれて飽和し、その飽和の速さは元のデータの多様性を反映している。
1日目の録画 · 10 分YouTube で開く
口頭発表

MolmoB0T:大規模シミュレーションがゼロショットマニピュレーションを可能にする(MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation)

Rose Hendrix, Abhay Deshpande, Maya Guru · Allen Institute for AI

全著者

Abhay Deshpande1, Maya Guru1, Rose Hendrix1, Snehal Jauhri1,2, Ainaz Eftekhar1,3, Rohun Tripathi1, Max Argus1, Jordi Salvador1, Haoquan Fang1,3, Matthew Wallingford1, Wilbert Pumacay1, Yejin Kim1, Quinn Pfeifer3, Ying-Chun Lee3, Piper Wolters1, Omar Rayyan4, Mingtong Zhang5, Jiafei Duan1,3, Karen Farley1, Winson Han1, Eli VanderBilt1, Dieter Fox1,3, Ali Farhadi1,3, Georgia Chalvatzaki2, Dhruv Shah5, Ranjay Krishna1,3

1Allen Institute for AI2TU Darmstadt3University of Washington4UCLA5Princeton University

MolmoBotは、シミュレーションデータのみで学習し、実機ロボットにゼロショットで転移するマニピュレーション方策のファミリーである。MolmoBotエンジンはMolmoSpacesのアセットエコシステムを基盤に、シーン、物体、収納先をサンプリングし、ロボットの関節、照明、テクスチャ、カメラを積極的にランダム化し、リトライと行動ノイズを含むスクリプト化された状態機械からデモを生成する。その結果として、約94,000の環境にわたる170万件のデモからなるMolmoBotデータが得られた。方策(Molmo 2ベースのMolmoBot、軽量なMolmoBot-SPOC、MolmoBot-Pi0)は、Franka DROIDの構成とRB-Y1モバイルマニピュレータ上で、方策ごとに120回の実機試行によって評価され、すべてオープンソースとして公開されている。

要点
  • MolmoBot-Pi0はπ0と同じアーキテクチャを持つが合成データのみで学習されており、それでも実世界で高い性能を示した。これはシミュレーションデータだけで頑健なVLAを学習できることを示している。
  • 著者らの実践的な指針は「ランダム化できるものはすべてランダム化すべき」である。積極的なカメラのランダム化により、方策は外部カメラを無視することなく、大きなカメラの動きに対して頑健になった。
  • アブレーションでは、データ規模は一貫して効果がある一方、単純なピッキングタスクでは物体クラスと環境の多様性はある閾値を超えると飽和することが示された。
  • 変形物体はまだサポートされていないが、MuJoCoが新たに変形物体をネイティブにサポートしたことで、その方向への道が開けた。
1日目の録画 · 10 分YouTube で開く
口頭発表 最優秀論文賞 最終候補

ロボットマニピュレーションにおいて私たちは実際に何をベンチマークしているのか?(What Are We Actually Benchmarking in Robot Manipulation?)

Tianchong Jiang · Toyota Technological Institute at Chicago

全著者

Tianchong Jiang1, Xiangshan Tan1, Samuel Wheeler2, Luzhe Sun1, Tewodros W. Ayalew3, Matthew Walter1

1Toyota Technological Institute at Chicago2Argonne National Laboratory3University of Chicago

著者らは広く報告されている5つのマニピュレーションベンチマークを検証し、高いスコアが誤解を招く4つの要因を特定した。ショートカット、ノイズの範囲内の改善、分布内の小さなシフトに対する脆さ、そして汎化と取り違えられたデータ上の優位である。ロボットでの事前学習も言語理解も持たない単純なDINOとMLPの方策が、リセット時の分布がほとんど変化しないために、報告されている最高のLIBEROの結果にほぼ匹敵する。またSimplerEnvとLIBEROで報告されている改善のうち、統計的に有意なものはわずかである。テスト時の姿勢を学習時のより広い範囲からサンプリングすると、すべての方策のスコアが下がり、シミュレーション内のスクリプト化されたデモで学習した小さな方策が最高のSimplerEnvスコアに迫る。著者らは問題の大半を、公開され固定された狭いテストセットに帰し、公開後に作成するテストセットや極めて多様なテストセット、そして信頼区間に関する明確な指針を提案している。

要点
  • LIBEROやCALVINなどのベンチマークは、テスト時の初期状態が学習デモでほぼカバーされているため、どこで動作すべきかを暗記するだけで大部分が解けてしまう。
  • 論文が標準偏差やロールアウトごとの結果を報告することはまれであり、小さな改善は偶然と区別できないことが多い。
  • 評価プロトコルは学習データの出所を制限していないため、SimplerEnvのスコアだけではreal-to-simの汎化を示せない。
  • 公開され固定されたベンチマークはいずれ過学習される。LLMエージェントがそれに対して反復的に試行できる今、その傾向はますます強まっているため、非公開または非常に多様なテストセットが必要である。
1日目の録画 · 11 分YouTube で開く

ダイヤモンドスポンサー講演 I

月 1:30 PM · Hilton Austin · 座長:Carlo Sferrazza

3件
スポンサー講演

実世界応用に向けたロボットの器用さのスケーリング(Scaling Robotic Dexterity Toward Real-World Applications)

Wei 'Reed' Lu · Sharpa

Luは器用なマニピュレーションを汎用ロボットにおける最後の未解決のピースと位置付け、そのボトルネックは接触、力、リカバリーを捉えなければならないデータにあるとする。彼はSharpaにおける3つの相補的な道筋を説明した。ハードウェアとソフトウェアの協調設計によるデータ源の拡大(W2触覚ハンド、D01ロボット、AE01外骨格グローブ、共有自律型の遠隔操作、人間中心の視覚・触覚キャプチャ)、システム1/2の方策の下に置く高速な触覚の「システム0」インタラクション層、そして形態を考慮したトークン空間によるクロスエンボディメントの触覚学習である。最後に、同社のタイムラインと、完全自律型のロボットによるアイスクリーム店での実運用を紹介した。

要点
  • 遠隔操作データは遅くて高コストであり、動画には接触や力の情報が欠けている。そのためSharpaは、一方を他方で置き換えるのではなく、人間中心のグローブによるキャプチャとロボットのデータを組み合わせている。
  • 接触点に近いセンシングを用いる低レベルのインタラクション層こそが、高品質な触覚センシングが最も重要となる場所(「最後の1ミリ」)と位置付けられている。
  • 異種の触覚センサーを形態を考慮した共有トークン空間に写像することで、1つの触覚エキスパートがセンサーや身体性をまたいで経験を転移できる。
  • 55ステップのアイスクリームの注文をエンドツーエンドでこなす実店舗での実運用が、スタック全体の信頼性を総合的に試すテストとして用いられている。
1日目の録画 · 12 分YouTube で開く
スポンサー講演

データとシミュレーションによるロボット学習のスケーリング(Scaling Robot Learning Through Data and Simulation)

Christian Ureno · Lightwheel

Urenoは、ロボット方策を学習するための、一人称視点の人間データ、物理的に検証されたシミュレーション、評価からなるLightwheelのループを紹介した。一人称視点データセットEgoSuite(10k時間をオープンに公開し、100k時間へと拡大中)、摩擦、減衰、ケーブルなどの変形物体を較正するための計測ファクトリーを備えたreal-to-simパイプラインSimFoundry、そして評価ベンチマークとしてのRoboFinalsと、実際の産業タスクから構築した新たなRL環境を取り上げた。質疑応答では、実世界で計測した振動データを用いてシミュレータのパラメータを逆算していると説明した。

要点
  • 方策の学習には3つのもの、すなわち有用な事例、練習の場、そして測定の手段が必要だと位置付けられている。
  • ケーブルなどの変形アセットは、シミュレーションと実物の振動・減衰曲線を一致させることで較正され、real-to-simのギャップを埋める。
  • Lightwheelは、実際の産業タスクから構築したRL環境の方が、卓上での遠隔操作タスクよりも価値が高いと主張している。
  • 環境の構築はエージェント的に行われ、シミュレーションエンジニアが各ステップの物理的な忠実度をレビューする。
1日目の録画 · 15 分YouTube で開く
スポンサー講演

夢見ることから実行することへ:世界行動モデルとエージェント型ロボティクス(From Dreaming to Doing: World Action Models and Agentic Robotics)

Jim Fan · NVIDIA

Fanは、強力なフロンティアモデル(「Astra」)が登場しても高速なシステム1が不要になるわけではなく、本当の問いは何が良く、教えやすく、誘導しやすいスキルを作るのかだと主張した。彼はGR00T 2を発表した。これは1回の拡散パスで未来の動画フレームと行動を同時に予測する2Bパラメータの世界行動モデルであり、エッジ計算向けのTurbo版もある。データセンターのメモリ交換や化学実験の手順といった長期にわたる器用なタスクでデモが行われた。また、人間のウェアラブル、モーションキャプチャグローブ、DexUMI外骨格、シミュレーションからの「cross adapt」によるゼロショット転移と、フロンティアモデルとGR00Tを結合する3つの方法(視覚的な誘導、行動の編集、エージェント型ハーネスAspire)を示した。最後に、モデルの重み、SimFoundry、Aspire、アノテーションスイートFlora、100k時間の人間データ、ハードウェア設計をオープンに公開することを発表した。

要点
  • モデルはピクセル空間で未来のフレームを「夢見」、それに基づいて行動し、行動と動画を同時にデコードする。
  • 人間が収集したデータ(UMIグリッパー、モーションキャプチャグローブ、DexUMI外骨格)のみでファインチューニングしたモデルが、異なるロボットハードウェアにゼロショットで転移した。
  • ピクセル上にガイダンスを描き込むことで、大規模な推論モデルが小さな方策を誘導でき、ハノイの塔の再帰のような認知処理を上流に任せられる。
  • 学習済み方策とcode-as-policyによるリカバリースキルを切り替えるエージェント型ハーネスにより、夜通しほぼ途切れなく組立を続けることができた。
  • NVIDIAは、GR00T 2とTurboの重み、そしてcross-adaptのレシピを12月にオープンソース化すると発表した。
1日目の録画 · 18 分YouTube で開く

若手研究者基調講演 II

月 2:00 PM · Hilton Austin · 座長:Ken Goldberg

1件
若手研究者基調講演

ロボットはいかにして他者との相互作用と協調を学習できるか?(How Can Robots Learn to Interact and Coordinate with Others?)

Negar Mehr · UC Berkeley

Ken Goldbergの紹介を受けたMehrは、2台のロボットによる協調運搬タスクを用いて、インタラクションの学習が単一エージェントの学習とどう異なるのかを示した。模倣については、マルチエージェントの行動クローニングでは価値のギャップよりも搾取可能性(exploitability)を重視すべきこと、分散型の拡散方策によって多峰的な協調に対処すること、そして凍結した単一エージェントの方策の上に協調を加える残差デノイザーを学習することを説明した。RLについては、基盤モデルが「コーチ」としてタスクを分解し、報酬や合成のコードを書き、信用割り当てを行うことで、素のMAPPOでは解けなかったタスクが可能になることを示した。最後に、継続学習を重み空間における時間的な合意として定式化し、主双対の乗数法による更新で解くことで、事前学習のタスクを忘れることなく、リプレイなしでpi-0.5を新しいタスクにファインチューニングできることを示した。

要点
  • マルチエージェントの模倣では、1体のエージェントのわずかな逸脱が共同タスク全体を台無しにしうるため、失敗やインタラクションのモードをデータでカバーすることが単一エージェントの場合以上に重要である。
  • 後退ホライズンで実行される分散型の拡散方策は、通信なしで暗黙的に1つの協調モードに合意できる。
  • 事前学習済みの単一エージェント方策を凍結し、少数のデモから協調のための残差のみを学習することで、単独のスキルを保ったままチームワークを実現できる。
  • 既製の基盤モデルを信用割り当てに用いることで、倉庫での協調タスクにおいて標準的なマルチエージェントRLのベースラインを上回った。
  • コーチが生成したスキル合成コードを反復的に改良することで、ヒューマノイドのボタン押しの成功率が2ラウンドで約20%から90%に向上した。
  • リプレイ不要の時間的合意(TACO)は、教師ありファインチューニングでは忘れてしまう事前学習タスクの性能を保持し、動的なマッピングにおける物体の重複や古い物体の残存も回避した。
1日目の録画 · 32 分YouTube で開く

スポットライト S2 · 効率的な実行、世界モデル、学習

月 2:30 PM · Hilton Austin · 座長:Dinesh Jayaraman

9件
スポットライト

BitVLA:ロボットマニピュレーションのための1ビット視覚・言語・行動モデル(BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation)

Hongyu Wang · Institute of Computing Technology, Chinese Academy of Sciences / University of Chinese Academy of Sciences(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Hongyu Wang1,2, Chuyan Xiong1,2, Ruiping Wang1,2, Xilin CHEN1,2

1Institute of Computing Technology, Chinese Academy of Sciences2University of Chinese Academy of Sciences

著者らはBitVLAを発表した。これはBitNet b1.58を基盤とする、三値の重みを持つ完全ネイティブな1-bit VLAであり、Quantize-then-Distillの段階で視覚エンコーダを圧縮する。OpenVLA-OFTと同等のマニピュレーション性能を達成しつつ、メモリ使用量は11分の1、速度は4.4倍であり、専用の推論ランタイムも提供される。

要点
  • 線形層を三値の重みと8-bitの活性化を持つ層に置き換えることで、浮動小数点の積和演算の大半がなくなり、特化型のエッジアクセラレータへの道が開かれる。
  • フル精度の教師モデルが量子化した視覚エンコーダの潜在表現を整合させることで、圧縮後も精度を保ちやすくなる。
  • 三値の重みをパックした専用ランタイムは、同じGPU上でPyTorchの3.52倍の速度で動作した。
1日目の録画 · 4 分YouTube で開く
スポットライト

EagleVLA:予見整合型非同期推論によるオンボードでのリアルタイムロボット制御に向けて(EagleVLA: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference)

Zebin Yang · Peking University / TLAIC

全著者

Zebin Yang1,2, Qi Wang1, Yunhe Wang1, Xiurui Guo3, Bo Yu4, Shaoshan Liu4, Jiafeng Xu1, Hao Dong1, Meng Li1,2

1Peking University2TLAIC3PrimeBot Research Institute4AIRS

著者らは、Jetson Orinのような低消費電力のオンボードデバイスへのVLAの実運用を対象とする。そこでは長い推論時間によって知覚と実行のずれや反応の遅れが生じる。確定した行動から未来のVLMの隠れ状態を予測することで行動エキスパートが未来の時刻から行動できるようにし、予測の確信度に応じてVLMと行動エキスパートの呼び出しをスケジューリングし、さらにオンボードの推論エンジンを追加した。

要点
  • 非同期推論だけではレイテンシは隠せても、ロボットは古い観測に基づいて行動してしまう。未来の表現を予測することでこれを補正できる。
  • 確信度に基づくスケジューリングにより、未来の予測が信頼できる場合は低コストな行動エキスパートだけを動かすことができ、反応時間が短縮される。
  • 実世界での布たたみでは、同期推論やリアルタイムチャンキングのベースラインよりも滑らかな軌道が得られた。
1日目の録画 · 3 分YouTube で開く
スポットライト

REACT:VLAモデルによる反応的ロボット制御のためのローリングデノイジングと二重分離(REACT: Rolling Denoising and Dual Decoupling for Reactive Robot Control with VLA Models)

Ran Cheng · PrimeBot

全著者

Houlong Xiong1,2, Zhenqi Qiu2,3, Zechen Wang2, Suohang Zhang4, Yiyu Ren2, Wanting Xu3, Hongfei Niu2, Chengyang He5, GE SUN5, Ran Cheng2, Qian Zhu2

1Shanghai Jiao Tong University2PrimeBot3ShanghaiTech University4Zhejiang University5National University of Singapore

REACTは、フローベースのVLAにおける、滑らかな長いアクションチャンクと反応的な再計画との間のトレードオフに取り組む。ブロックごとにデノイジングの段階をずらしたローリング行動バッファを保持し、新しい観測が来るたびにそれを洗練する。二重の分離(dual decoupling)により、センシング、VLMによるエンコード、デノイジング、実行を非同期に動かす。

要点
  • 推論の高速化や非同期実行だけでは、新しい観測が行動に影響を与える速さである「入力スループット」は向上しない。
  • ローリングデノイジングにより、実行される各ブロックが直近の複数の観測にわたって洗練され、滑らかさと応答性が同時に向上する。
  • ブロックごとにずらしたノイズレベルで学習すると、収束が速くなり、開ループの予測誤差も小さくなった。
1日目の録画 · 3 分YouTube で開く
スポットライト

TARC:時間適応型ロボット制御(TARC: Time-Adaptive Robotic Control)

Arnav Sukhija · ETH Zurich

全著者

Arnav Sukhija1, Lenart Treven1, Jin Cheng1, Florian Dorfler1, Stelian Coros1, Andreas Krause1

1ETH Zurich

TARCは、制御更新回数の予算のもとで、方策が行動とそれを保持する時間の両方を出力するRLフレームワークであり、これにより制御周波数そのものが学習されるようになる。四脚ロボットでは、立っているときは周波数が低く保たれ、押されると急上昇する。pi-0のVLAでは、いつ再計画するかを適応的に決定する。

要点
  • この制約付き問題は、更新ごとにコストがかかる標準的なMDPに帰着するため、既製の任意のRLアルゴリズムを適用できる。
  • TARCは半分未満の制御レートで固定50 Hzの方策と同等の性能を達成したが、同じ平均レートの固定レート方策は性能が劣った。
  • pi-0での適応的な再計画は、同じ成功率を保ちながら順伝播を約38%削減した。
1日目の録画 · 3 分YouTube で開く
スポットライト

Diffusion ReRoll:ロボットの逐次予測のための修正可能なデノイジング(Diffusion ReRoll: Revisable Denoising for Robotic Sequential Prediction)

Seonsoo Kim · Agency for Defense Development

全著者

Seonsoo Kim1, Seongil Hong1, Jun-Gill Kang1

1Agency for Defense Development

Diffusion ReRollは、系列のうち安定した領域を選択的に再びノイズ化しつつ、他の領域のデノイジングを続けることで、ホライズンの前半と後半が互いに修正し合えるようにする。OGBenchでの計画、LIBERO/RoboCasaでの方策学習、動画と行動の統合予測、そして5 Hzのオンボード推論による実世界でのナビゲーションで評価されている。

要点
  • 系列全体の拡散は誤った決定に固執し、それを単にきれいにするだけになりうる。また因果的なdiffusion forcingでは、後のコンテキストで前半のプレフィックスを修正できない。
  • 再ノイズ化による改善は再ノイズ化の回数とともに飽和するまで大きくなり、因果的なアテンションマスクはその効果を制限する。
  • 実世界のナビゲーションでは、系列全体型や因果型のベースラインが失敗した分布外のレイアウトや急な曲がり角にも対処できた。
1日目の録画 · 3 分YouTube で開く
スポットライト

世界モデルを標的としたロボット学習パイプラインの侵害(Targeting World Models to Compromise Robot Learning Pipelines)

Ethan Rathbun · Northeastern University

全著者

Ethan Rathbun1, Ahmed Agha1, Saaduddin Mahmud2, Christopher Amato1, Alina Oprea1, Eugene Bagdasarian2

1Northeastern University2University of Massachusetts Amherst

著者らは、合成的なロボット学習データの生成に用いられる世界モデルが、気づかれにくいポイズニングの侵入口になることを示した。安全に見えるデモに知覚できない画像摂動を加えることで、テキスト条件付きモデルに悪意あるプロンプトを注入したり、行動条件付きモデルのダイナミクスにバックドアを仕込んだりできる。汚染されたロールアウトは、その後VLAやPPOの方策へと伝播する。

要点
  • コンテキストフレームに摂動を加えることで、テキスト条件付き世界モデルに、無害なプロンプトから別の有害なタスク(例:ギフトボックスに武器を入れる)を生成させることができた。
  • バックドアにより、エージェントがトリガーを見たときに標的の行動をとらない限り世界モデルの予測が崩壊するようになり、RL方策はその行動を学習してしまう。
  • 著者らはこれを、世界モデルへの攻撃のみによって注入された初のバックドア攻撃であるとし、より安全な世界モデルのサプライチェーンを求めている。
1日目の録画 · 3 分YouTube で開く
スポットライト

チャンク単位のモデルベース方策最適化(Chunk-wise Model-based Policy Optimization)

Weixi Song · Zhejiang University / Shanghai Innovation Institute / Westlake University(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Weixi Song1,2,3, Donglin Wang3, Yong-Lu Li2,4

1Zhejiang University2Shanghai Innovation Institute3Westlake University4Shanghai Jiao Tong University

著者らは、再帰的な世界モデルのロールアウトを、潜在状態と予測したアクションチャンクを1回のパスで未来の潜在チャンクへと写像するチャンク世界モデルで置き換え、時間方向の誤差逆伝播なしに価値展開(value expansion)を最適化する。HumanoidBenchで評価し、Unitree Go2四脚ロボットで二足歩行を実機に展開した。

要点
  • チャンク単位の予測により、1ステップ誤差の累積と、再帰的なロールアウトを通る勾配の不安定性を回避できる。
  • HumanoidBenchでは、TD-MPC2と比べて約50%の学習時間と30倍高速な推論で高い性能を達成した。
  • この手法は、実機の四脚ロボットにおいてSACよりも速く二足歩行を獲得した。
1日目の録画 · 3 分YouTube で開く
スポットライト

FedGuide:異種連合強化学習のための拡散事前分布アラインメントと価値ベースライン誘導(FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning)

Zhilin He · Carnegie Mellon University

全著者

Zhilin He1, Gauri Joshi1

1Carnegie Mellon University

FedGuideは、ダイナミクス、報酬、初期状態が異なるクライアント間での連合強化学習に取り組む。最適輸送に基づくmixture of expertsで集約した個別化された拡散事前分布を用い、さらに事前分布で正則化したPPOを安定化させるためにDICEによる価値ベースラインを加える。MuJoCoの歩行(ロコモーション)とMeta-Worldのマニピュレーションで評価されている。

要点
  • ローカルな方策を直接平均すると、異質な各クライアントが必要とする特化した行動モードが消えてしまう。
  • 分布空間で行動の事前分布を集約することで、方策の平均化では1つに崩壊してしまう複数の報酬モードが保持された。
  • DICEによる価値ベースラインが、学習ラウンド間でのリターンの変動を大幅に低減したとされる。
1日目の録画 · 3 分YouTube で開く
スポットライト

MoRE:マルチフィジックス・ロボット世界モデルのためのMixture-of-Experts(MoRE: Mixture-of-Experts for Multi-Physics Robotic World Models)

Ziyu Zhu · UIUC / Georgia Tech

全著者

Ziyu Zhu1,2, Shaowei Liu1, Albert J. Zhai1, Henry Che1, Wei-Chiu Ma3, Shenlong Wang1

1UIUC2Georgia Tech3Cornell University

MoREは3D点群ベースの世界モデルであり、共有エンコーダ上で、ロボットのインタラクションを剛体、変形物体、把持のダイナミクスそれぞれの運動エキスパートに振り分ける。Isaac Simと実機のデータで学習される。MPCと統合することで、1つのモデルが実機上で剛体の箱を押し、柔らかい布を操作し、多段階の道具使用を行う。

要点
  • 単一の共有ダイナミクスモデルは異なるインタラクションの領域を曖昧にしがちであり、ルーターを備えたmixture of expertsはそれを回避する。
  • MoREは剛体、変形物体、把持のベンチマークにわたって、従来手法より予測精度を向上させた。
  • MPCの内部で1つの世界モデルを用いることで、素材ごとのモデルなしに多様な実機マニピュレーションタスクが可能になった。
1日目の録画 · 3 分YouTube で開く

基調講演 I

月 3:30 PM · Hilton Austin · 座長:Dieter Fox

1件
基調講演

身体性AIの実現に向けた課題(Challenges to Realize Embodied AI)

Wolfram Burgard · University of Technology Nuremberg

Dieter Foxの紹介を受け、Burgardはロボティクス研究を、確率的ロボティクス、深層学習、そして現在の基盤モデルという3つの技術で繰り返し岩を山頂へ押し上げるシーシュポスになぞらえた。彼は確率的手法がミリメートル単位の自己位置推定と自動運転車の台頭をもたらしたと評価しつつも、HDマップへの依存がシステムをジオフェンスで区切られたレベル4(Level 4)の自律に閉じ込めていること、そして深層学習が事前定義されたオントロジーを必要とするため雑然とした家庭では破綻することを論じた。続いて、自身のグループによる基盤モデル関連の研究を概観した。地図を用いないナビゲーション(FlowNav、MetricNet)、LLMで連結したスキル、意味的な把持、触覚の予測、明示的なレンチ制御、視覚言語ナビゲーションエージェントの解釈可能性である。最後に、較正された不確実性、ロボット基盤モデルにおける力覚と触覚、大学間で共有する大規模計算資源、そして「ロボティクスのCERN」の必要性を訴えた。

要点
  • 深層学習による知覚と確率的な状態推定を組み合わせるには較正された不確実性が必要であり、基盤モデルではそれがさらに難しくなる。
  • Burgardは、自動運転がより構造化された環境で成功したのと同様に、ロボットは雑然とした家庭よりもはるかに早く工場の現場に到達すると予想している。
  • 地図を用いないナビゲーションでも何らかの計量的な幾何は依然として必要である。スケールを持たない拡散ベースのナビゲーションは衝突を招いたが、MetricNetのスケール付きウェイポイントがこれを解決した。
  • 模倣方策に明示的な力/レンチ制御を加えることで、位置と剛性による制御と比べて接触の多いタスクの性能が大幅に向上した。
  • 最先端の視覚言語ナビゲーションエージェントは、人手でアノテーションした関連領域に対する適合率が70%未満であり、さらなる解釈可能性の研究が求められる。
  • 彼は、産業界に遅れをとらないためには、学術界が資源を結集し、力覚と触覚を含むオープンなロボット基盤モデルに取り組まなければならないと主張している。
1日目の録画 · 63 分YouTube で開く

ダイヤモンドスポンサー講演 II

月 4:30 PM · Hilton Austin · 座長:Matt Walter

3件
スポンサー講演

GMにおける自律性のイノベーション(Innovations in Autonomy at GM)

Sean Harris · General Motors

Harrisは、GMがCruiseのロボタクシー事業から個人向けの自動運転へと方針転換し、2028年にアイズオフの高速道路向け製品を目指していることを説明した。彼は、実時間の50,000倍以上の速さで動くシミュレータでのセルフプレイRL(人間の性能を上回りリカバリーも学習するが、入力が簡略化されており人間らしく感じられない可能性がある)と、数十万時間の走行ログを用いた模倣学習とを対比した。さらに両者を組み合わせる方法の概要を示し、シーン推論、データマイニング、トリアージ、批評など、車載および車外でのVLMの活用について説明した。

要点
  • GMの高速シミュレータでの2時間未満のセルフプレイ学習から、頑健な合流と譲り合いの挙動が創発した。
  • セルフプレイは稀な事象をカバーし、DAggerが扱う誤差累積の問題を回避する。一方、模倣は現実的な分布と人間らしい挙動をもたらす。
  • 組み合わせ方としては、RLを模倣方策に固定する(アンカーする)、RLの教師モデルを蒸留する、人間の運転から報酬を学習する、などが考えられる。
  • VLMは、事故現場における車線レベルの高レベルな推論や、路上の落下物のような稀で構造化されていない事象のマイニングに役立つ。
1日目の録画 · 10 分YouTube で開く
スポンサー講演

RoboCap & RoboColosseum

Michael Cho, Jiafei Duan · BitRobot Network / NUS

Choは、実世界データをクラウドソーシングするというBitRobotの目標を紹介した。6台のカメラを備えた頭部装着型キャプチャデバイスRoboCap、無線で同期する手首カメラ、触覚グローブとの統合、そしてRoboCap 10K、LiDARによる正解データセット、大規模な都市ナビゲーションデータセット、実際の家庭におけるヒューマノイドの500時間分のデータなどのオープンデータセットである。続いてDuanが、数百台のロボット、30人の評価チーム、数百の環境を擁する大規模な実世界評価の取り組みRoboColosseumを紹介した。ファインチューニング部門とオープン部門が用意されている。

要点
  • RoboCap 10Kは、11か国で収集された、手の姿勢とSLAMを伴う実環境での職業作業の10,000時間分のデータを提供する。
  • RoboColosseumの最初の評価では、すべての設定で優位に立つモデルはなく、完全な成功に達したヒューマノイドモデルもなかった。
  • Duanによれば、モデルについて統計的に有意な結論を導くには、およそ400から500回の比較が必要である。
  • RoboColosseumは、大学の研究室に10,000時間分の実世界評価を無償で提供している。
1日目の録画 · 12 分YouTube で開く
スポンサー講演

フィジカルAIのためのデータ基盤(Data Infrastructure for Physical AI)

Kun Wang · MaxInsights

MaxInsightsの共同創業者兼CTOが、ロボット学習向けの一人称視点の人間データの大手プロバイダーとして同社を紹介した。これまでに200万時間以上のデータを納品している。データ品質に関する社内のエビデンスとして、一人称視点データのみを用いた事前学習が、約10倍の混合データで学習したモデルと同等の成功率に達したことや、手ごと・フェーズ単位のラベルを持つきめ細かな言語アノテーション方式を紹介した。さらに、オープンなアノテーションデータセットと、実環境での評価と修正のフィードバックループについても予告した。

要点
  • 同社の一人称視点データ約600時間での事前学習は、シミュレーションにおいて、ロボットと一人称視点を合わせた6,000時間以上のデータで学習したベースラインにほぼ匹敵したと報告された。
  • 言語アノテーションは目標の明確さ、時間的一貫性、実行の詳細を軸に構成され、左右の手ごとに約1秒の粒度で別々にラベル付けされている。
  • MaxInsightsは、指単位の接触ラベルを含むアノテーションデータセットをオープンソース化する予定であり、既存の一人称視点データセットにはそれが欠けているとしている。
  • 結果を確認し、方策に修正のフィードバックを送る推論モデルが、同社の実世界データのフィードバックループの一部となっている。
1日目の録画 · 12 分YouTube で開く

2日目 · 11月10日(火)

スポットライト S3 · 人間からの学習、巧緻性、協調

火 8:30 AM · Hilton Austin · 座長:Danfei Xu

9件
スポットライト

Ego2Robot:一人称視点の人間データからのスケーラブルなロボットデータ合成(Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data)

Ye Wang · Renmin University of China / Alibaba Inc.(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Ye Wang1,2, Pei Lin2,3,4, Xiong-Hui Chen2, Haoqi Yuan2, Zhixuan Liang2, Yiyang Huang2, Anzhe Chen2, Zixing Lei2, Jie Zhang2, Tao Zhang1, Haoyang Li2, Tong Zhang2, Chenxi Xiao3, Ziyuan Jiao4,5, Qin Jin1

1Renmin University of China2Alibaba Inc.3ShanghaiTech University4Beijing Institute for General Artificial Intelligence5Beihang University

著者らはEgo2Robotを発表した。これは一人称視点の人間のマニピュレーション動画をロボットの学習データに変換するパイプラインであり、手の姿勢をグリッパーの行動にリターゲットし、人間の腕をインペインティングで消し、シミュレーションで動作を再生し、レンダリングしたロボットを元のシーンに重ね合わせ、その後に低品質なクリップを除外する。拡張したRoboTwinベンチマークを用いて、この合成データが外観、シーンのレイアウト、身体性、タスクの意味という軸に沿ってロボット基盤モデルの事前学習にどれだけ役立つかを測定している。

要点
  • 事前学習には、合成したEgo2Robotデータと実機のロボットデータをバランスよく混ぜるのが最も効果的であり、生の一人称視点動画を混ぜるよりも、合成したロボット形式のデータを混ぜる方が優れている。
  • 最大の改善は、照明やロボットの色の変化、カメラのずれへの頑健性、クロスエンボディメント転移、未知の物体を含む指示で見られ、ロボットの身体を増やすほど転移は向上し続ける。
  • 現状では、手の姿勢推定の精度が、最も精密さを要する実機タスクでの改善を制限している。
2日目の録画 · 4 分YouTube で開く
スポットライト

ロボットマニピュレーションのための人間の意図の学習(Learning Human Intention for Robotic Manipulation)

Kaiyi Xiong · Shanghai Jiao Tong University

全著者

Chengyang Li1,2, Kaiyi Xiong1, Yuan Xu3, Lei Qian4, Yizhou Wang3, Wentao Zhu2

1Shanghai Jiao Tong University2Eastern Institute of Technology, Ningbo3Peking University4ShanghaiTech University

著者らは人間の視線を、身体性に依存しない意図のシグナルとして用いる。手と視線でアノテーションされた大規模な一人称視点データセットで事前学習したモデルが、まず意図トークンを自己回帰的に予測し、次に行動を生成する、chain-of-thought風の構成である。事後学習には、視線アノテーションのない少量のロボットデータと、対象タスクの人間データの組み合わせだけが必要である。

要点
  • 高レベルの意図は低レベルの行動よりもはるかに容易に身体性をまたいで転移するため、人間からロボットへの転移の橋渡しとなる。
  • 予測された意図を手動で編集するとロボットの軌道がその場で変わり、意図をモデル化することでタスク成功率が向上する。
  • 人間のデータは事前学習と事後学習の両方で役立ち、人間の動画にしか現れないシナリオでもロボットが成功できるようになる。
2日目の録画 · 3 分YouTube で開く
スポットライト

Real-to-Sim-to-Real共有自律による効率的かつ信頼性の高い遠隔操作(Efficient and Reliable Teleoperation through Real-to-Sim-to-Real Shared Autonomy)

Shuo Sha · Columbia University

全著者

Shuo Sha1, Yixuan Wang1, Binghao Huang1, Antonio Loquercio2, Yunzhu Li1

1Columbia University2University of Pennsylvania

著者らはreal-to-sim-to-realの共有自律フレームワークを提案する。5分未満の実際の遠隔操作データに当てはめたk近傍法による人間の代理モデルを相手に、シミュレーションで学習した残差RLのコパイロットが、ナットのねじ込み、ギアの噛み合わせ、ペグ挿入といった接触の多いタスクでオペレーターを支援する。人間が高レベルの意図を与え、コパイロットが低レベルの接触の位置合わせを担う。

要点
  • 人間が意図を与え、RLが低レベルの接触制御を担うという役割分担により、完全な自律を実現しなくても遠隔操作の信頼性が高まる。
  • コパイロット支援による遠隔操作は成功率を高め、完了時間と作業負荷を減らし、挿入速度の変化などオペレーターの意図にも従う。
  • コパイロット支援のデモで学習した拡散方策は、同量の直接遠隔操作データで学習したものを上回る。
2日目の録画 · 3 分YouTube で開く
スポットライト

FlowDAgger:潜在空間における生成的ロボット方策のHuman-in-the-Loop適応(FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space)

Michael Murray · Microsoft Research

全著者

Michael Murray1, Daphne Chen1,2, Simran Bagaria1, Dean Fortier1, Tess Hellebrekers1, Galen Mullins1, Harshavardhan Reddy Gajarla1, Oier Mees3,4, Maya Cakmak2, Andrey Kolobov1

1Microsoft Research2University of Washington3Microsoft4ETH Zurich

Michael MurrayはFlowDAggerを紹介した。これは、凍結したフローマッチング方策や拡散方策(pi0.5、Cosmos Policy、素の拡散方策など)を、スペースマウスによる人間の少数の修正から、小さな潜在誘導方策を学習することで適応させる手法である。鍵となるのは行動反転(action inversion)であり、不動点最適化によって各修正をそれを生成するノイズ潜在変数へと逆写像し、それをDAgger型のループ内で用いる。

要点
  • 反転した修正で潜在空間を直接教師付けすることで、数十エピソードで進展が得られる。ノイズ空間を探索する場合は数千エピソードを要しうる。
  • 小さな潜在方策だけを学習するため、事前学習済みの事前分布が保たれ、教師ありファインチューニングで見られる破滅的忘却を避けられる。さらに民生用GPUで動作する。
  • 改善幅は、高精度が求められるボトルネックを持つタスクで最も大きい。
2日目の録画 · 3 分YouTube で開く
スポットライト

BiDexGrasp:多様な物体形状とサイズにわたる協調的な双腕の器用な把持(BiDexGrasp: Coordinated Bimanual Dexterous Grasps across Object Geometries and Sizes)

Mu Lin · Sun Yat-sen University / Tsinghua University

全著者

Mu Lin1,2, Yi-Lin Wei1, Jiaxuan Chen1, Yuhao Lin1, Shuoyu Chen1, Zhizhao Liang1, Jiangran Lyu3, Jiayi Chen3, Xiaoyi Fan4, Chengyi Xing5, Yansong Tang2, He Wang3, Wei-Shi Zheng1

1Sun Yat-sen University2Tsinghua University3Peking University4Jiangxing Intelligence (Guizhou) Technology Inc.5Stanford University

著者らはBiDexGraspを導入した。これは双腕の器用な把持の合成パイプラインと生成モデルである。領域ベースの初期化と分離した最適化により合成は40倍高速になり、約1,000万件の把持からなるデータセットが生成された。また、双腕協調モジュールと物体に適応する把持アンカーが、協調と大きなサイズの変化に対処する。

要点
  • 両手を有望な領域に初期化し、それらの最適化を分離することで、双腕把持の合成ははるかに効率的になり、ベースラインの合成成功率の2倍以上になった。
  • 学習した生成器は、ベースラインより成功率を約25ポイント改善した。
  • 実機テストでは、30個の物体に対する260回の試行で74.6%の成功率に達し、他のロボットハンドへの転移も含まれる。
2日目の録画 · 3 分YouTube で開く
スポットライト

KPGrasp:器用な把持生成のためのスケーラブルなキーポイント・フローマッチング(KPGrasp: Scalable Keypoint Flow Matching for Dexterous Grasp Generation)

Yuansen Huang · Peking University / Galbot(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Yuansen Huang1,2, Jiayi Chen1,2, Haoran Liu1,2, Yubin Ke1,2, Bing Han2,3, Jiangran Lyu1,2, Mi Yan1,2, Li Yi2,4, He Wang1,2

1Peking University2Galbot3Xi'an Jiaotong University4Tsinghua University

KPGraspは器用な把持を物体座標系における3Dの手のキーポイントとして表現し、標準的なフローマッチング損失のみでDiT型のTransformerを学習する。関節角は軽量な逆運動学のステップで復元し、接触損失やテスト時の洗練は用いない。

要点
  • Dexonomyでは貫入量2.4 mmで76.3%の成功率に達し、DexGraspAnythingにはゼロショットで転移して63.8%の成功率を達成した。
  • すべてユークリッド空間で表すキーポイントのパラメータ化により、運動学的な誤差の累積を避け、損失のバランス調整を簡素化し、データ、モデル、バッチサイズに対してよりよくスケールする。
  • 単一視点の部分的な点群からの実世界での把持は、20個の物体にわたる100回の試行のうち83回で成功した。
2日目の録画 · 3 分YouTube で開く
スポットライト

WM-Craftnet:頑健で汎化可能な器用な手内マニピュレーションのための世界共感覚モデル(WM-Craftnet: World Synesthesia Model for Robust and Generalizable Dexterous In-Hand Manipulation)

Xiaojing Tan · Sharpa Robotics

全著者

Jie Yin1, Zeyuan Zhao1, Xiaojing Tan1, Yang Liu1, Chiyu Wang1, Xinyang Gu1

1Sharpa Robotics

WM-Craftnetは、20自由度(20-DoF)のヒューマノイドハンドのために、深度、触覚、固有受容、過去の行動、報酬からDreamer型の再帰的状態空間世界モデルを学習する。ノイズの多いセンサーからきれいな深度を再構成するよう学習した潜在状態は、想像(イマジネーション)に使われるのではなく、閉ループの手内回転方策の条件付けに使われる。

要点
  • きれいな深度の再構成がノイズの多いセンシングを正則化し、sim-to-realの頑健性を向上させる。一方、実運用では生のセンサーのみを使う。
  • わずか9個の物体で事前学習した世界モデルが再利用可能な事前知識となり、下流の方策が物体の識別子や特権情報なしに49個の物体へと汎化できる。
  • 再帰的な履歴が現在の接触状態を推定し、外乱からの回復や、難しい初期把持からの再センタリングを可能にする。
2日目の録画 · 3 分YouTube で開く
スポットライト

結合したロボット方策を学習するための逐次的非対称模倣(Sequential Asymmetric Imitation for Learning Coupled Robot Policies)

Weiming Zhi · The University of Sydney

全著者

Ranpeng Qiu1, Yincong Chen1, Zihao Li1,2, Yanan Zhou2, Guoqiang Ren1,3, Weiming Zhi2

1Zeno AI2The University of Sydney3Zhejiang University

著者らはSequential Asymmetric Imitation(SAI)を提案する。これは1人の遠隔操作者が、2台の双腕モバイルマニピュレータのための連携した方策を学習させられるようにする手法である。まずロボットAを人間のパートナーと組んで学習させ、次にAの凍結した方策と並べてロボットBを教示し、最後にAが待つ、譲る、回復するといった場面での修正を用いてAをファインチューニングする。タスクにはテーブルクロスを広げる、絵画を正しい向きに立てるなどが含まれる。

要点
  • 学習済みのパートナーを教示プロセスの一部とすることで、2人のオペレーターによる同期したデモなしに、BがAの実際のタイミングや誤りに適応できる。
  • SAIは、同じアーキテクチャと予算で独立に学習した模倣方策を上回る。その主な理由は、いつ待つべきか、そして共有の支えをどう保つかを学習する点にある。
  • メッセージパッシングを用いるベースラインは、通信が信頼できる場合は良好だが、遅延やパケットロスのもとでは性能が低下する。
2日目の録画 · 3 分YouTube で開く
スポットライト

来たときよりも美しく:逐次タスクにおける価値誘導型協調(Leave It Better Than Found: Value-Guided Cooperation in Sequential Tasks)

Mario Gomez Andreu · University of Cambridge / ETH Zurich

全著者

Mario Gomez Andreu1,2, Michael Amir1, Antonio Marino1, Tianxu An2, Marco Hutter2, Amanda Prorok1

1University of Cambridge2ETH Zurich

Mario Gomez Andreuは、逐次的なタスクの引き継ぎのためのアドホックな手法PAVEを紹介した。リーダーロボットは自身の方策を事前分布として用い、自身の目的と、引き継ぎ時点の状態におけるフォロワーの価値関数との間のトレードオフをオンラインで最適化する。分布外指標により、フォロワーが学習中に一度も見たことのない状態では、リーダーがフォロワーの価値を信用しないようにする。

要点
  • RLで学習したフォロワーの既存の価値関数を共有することで、共同の学習データなしに協調が可能になる。これはロボットが異なるメーカーのものである場合に重要となる。
  • フォロワーの価値推定は分布外では過信しがちであるため、OOD指標でそれをゲートすることが不可欠である。
  • この手法はリーダーの高い成功率を保ちながらフォロワーの成功率を約28ポイント高め、特権情報を用いたファインチューニングのベースラインに匹敵する。
2日目の録画 · 3 分YouTube で開く

口頭発表 O4 · 強化学習と動作推論

火 9:00 AM · Hilton Austin · 座長:Katerina Fragkiadaki

3件
口頭発表

RL Token:視覚・言語・行動モデルによるオンラインRLのブートストラップ(RL Token: Bootstrapping Online RL with Vision-Language-Action Models)

Charles Xu · Physical Intelligence

全著者

Charles Xu1, Jost Tobias Springenberg1, Michael Robert Equi1, Ali Amin1, Adnan Esmail1, Sergey Levine1, Liyiming Ke1

1Physical Intelligence

Charles XuはPhysical IntelligenceのRL Tokenを紹介した。これはpi0.6のVLAを適応させ、圧縮された単一の「RLトークン」を出力させるものである。このトークンは最終層の埋め込み全体を再構成しなければならないエンコーダ・デコーダを通じて学習され、小さなオンラインactor-criticの観測として用いられる。actorはVLAがサンプリングしたアクションチャンクで条件付けられ、それに近づくよう正則化される。人間による成功ラベルと介入を伴うオンラインRLは、ドライバーの位置合わせや結束バンドの通し入れなど、タスクの最も難しい部分だけを標的にする。

要点
  • VLAの事前学習済み埋め込みは、汎用のエンコーダよりも小規模ネットワークでのRLの知覚バックボーンとしてはるかに優れている。アブレーションでは、ResNet-10からRLトークンに切り替えることで下流のRLの速度がおよそ2倍になった。
  • ガウス型のRL actorをVLAの行動提案で条件付けることで、多峰的なフロー方策の平均への崩壊を避け、学習を容易にする。
  • Ethernetケーブル挿入では、RL方策のエピソードの中央値は66ステップであり、SFTの230、熟練した遠隔操作者の約150と比べて短く、そのエピソードの半数は最速の遠隔操作エピソードを上回った。
  • タスクのボトルネックを標的にしたオンラインRLは、VLA全体を対象とした反復的なRLに必要な数日ではなく、数時間で済む。
2日目の録画 · 11 分YouTube で開く
口頭発表

ロボット制御のためのフロー方策勾配(Flow Policy Gradients for Robot Control)

Hongsuk Choi · Amazon FAR / UC Berkeley

全著者

Brent Yi1,2, Hongsuk Choi1,2, Himanshu Gaurav Singh1,2, Xiaoyu Huang1,2, Takara E. Truong1,3, Carmelo Sferrazza1, Yi Ma2,4, Rocky Duan1, Pieter Abbeel1,2, Guanya Shi1,5, Karen Liu1,3, Angjoo Kanazawa1,2

1Amazon FAR2UC Berkeley3Stanford University4The University of Hong Kong5Carnegie Mellon University

Hongsuk ChoiはFPO++を紹介した。これはフローマッチングによる方策勾配RL(FPO)を、2つの変更によってロボット制御で安定させるものである。1つはノイズの各タイムステップの比をクリップするサンプルごとの信頼領域、もう1つは正のアドバンテージにはPPOのクリッピングを維持し、負のアドバンテージにはSPOを用いる非対称な信頼領域である。この手法は、歩行(ロコモーション)とヒューマノイドのモーショントラッキングをゼロから学習して実機ロボットに展開し、さらに画像ベースのマニピュレーション方策のファインチューニングも行う。

要点
  • 元のFPOは複雑なロボティクスのタスクで崩壊したが、サンプルごとのクリッピングと非対称な信頼領域により、シードや閾値にかかわらず一貫して高いリターンが得られる。
  • 負のアドバンテージを持つ行動からフローを遠ざけるとELBOの事後分布ギャップが膨らみうるが、SPO型の正則化がそれを防ぐ。
  • フロー方策は意味のある関節間の相関を学習し、ガウス型のPPOより長く探索を維持するため、より自然な歩容が得られる。
  • 推論時にノイズゼロでサンプリングすると、積分ステップが少なくても、より滑らかで信頼性の高い行動が得られる。
2日目の録画 · 11 分YouTube で開く
口頭発表

運転は速く、それとも遅く?:マルチモーダル地上モビリティにおける動作予測のためのニューロシンボリック誘導(Driving, Fast or Slow? Neuro-Symbolic Guidance for Motion Prediction in Multi-Modal Ground Mobility)

Simon Kohaut, Felix Divo · TU Darmstadt

全著者

Simon Kohaut1, Felix Divo1, Julius Hahnewald1, Benedict Flade2, Julian Eggert2, Kristian Kersting1,3,4,5, Devendra Singh Dhami6

1TU Darmstadt2Honda Research Institute3hessian.AI4Centre for Cognitive Science5DFKI6TU Eindhoven

Simon KohautとFelix DivoはTraCS(Trajectory Compliance-Shaping)を紹介した。これはブラックボックスの動き予測器の提案を、局所的な交通ルールの確率的一階述語論理モデルと対数線形の意見プールによって融合するもので、学習済みの信頼ゲートがいつルールを適用するかを決める。コーダー、ジャッジ、検証器からなるエージェント型のループが、自然言語の交通ルールを、ミリ秒単位で評価できるResinの確率論理プログラムへと翻訳する。

要点
  • コーディングエージェントとしてのフロンティアLLMはルールの文章を正しいプログラムに翻訳でき、ジャッジと検証器はより弱いモデルほど重要であった。
  • Argoverse 2でQCNet、DeMoなどのバックボーンを用いた場合、全体としての改善は小さいが、誤差が最も大きい裾の部分、特に歩行者に集中している。
  • 常にルールを適用したり、学習した信頼重みをシャッフルしたりしても効果はない。したがって、エージェントがいつルールに従うかを知ることは、ルールそのものと同じくらい重要である。
  • コンプライアンスの地形によって検出されたルール違反や予測ミスは、今後のデータ収集の指針となりうる。
2日目の録画 · 11 分YouTube で開く

若手研究者基調講演 III

火 9:30 AM · Hilton Austin · 座長:Georgia Chalvatzaki

1件
若手研究者基調講演

ゼロからやり直さない学習:ロボットが実世界で学習できることの拡張(Learning Without Starting Over: Expanding What Robots Can Learn in the Real World)

Roberto Martin-Martin · University of Texas at Austin

Georgia Chalvatzakiの紹介を受け、Martin-Martinは、あらゆる将来に備えてロボットを事前学習することはできない以上、重要なのはロボットの「学習ポテンシャル」、すなわち限られた実世界の経験からどれだけ新たな能力を獲得できるかだと主張した。赤ちゃんが物を叩く動作からハンマーで打つ動作へと至る実験を出発点に、事前知識の再利用の仕方が、その後に何を学習できるかを決めることを示した。続いて研究室の取り組みを概観した。安全な実世界RLのための学習済み行動空間(SLAC、モードでインデックス付けされた拡散方策)、人間のデモや修正からの構造の抽出(SafeMimic、損傷シミュレーションのOopsieVerse、Oopsie-Recover)、そしてどのデータで学習しどのデータを収集するかの選択(DataMIL、GUILD)である。最後に、経験ログ、グラウンディングされた人間のフィードバック、LoRAで適応させたVLAによる記憶と継続学習について述べた。

要点
  • 自己教師ありで学習した叩くスキルをファインチューニングすると、ゼロから学習するよりも速くハンマー打ちを習得する。一方、そのスキルを凍結すると最も速く学習するが頭打ちになる。つまり、再利用の形は事前知識そのものと同じくらい重要である。
  • シミュレーションで学習した、タスクに依存せず安全側に偏った潜在行動空間により、モバイルマニピュレータは1時間未満の実世界RLで、安全のための中断をほとんど伴わずに接触の多いタスクを学習できた。
  • 言語でアノテーションした少数の修正をゲート付きのプログラム的なコストに変換することで、凍結したVLAが約35%、新しい状況では約20%改善した。
  • 共学習(co-training)データを、対象方策への予測される効果によって選択する方法は、画像や言語の類似度に基づくヒューリスティクスを上回り、Open X-Embodimentに含まれないロボットにさえ役立つ。
  • オンポリシーRLを伴う逐次的なLoRAアダプタにより、VLAは平均的な忘却をほぼゼロに抑えながら新たなスキルを獲得でき、継続学習の有望な基盤となる。
  • 学習された安全性は形式的な保証ではなく確率的な保証しか与えないため、今後の評価は方策がどれだけ安全かをテストすることに頼ることになる。
2日目の録画 · 33 分YouTube で開く

口頭発表 O5 · 器用な操作の学習、把持、組立

火 10:30 AM · Hilton Austin · 座長:Masha Itkina

3件
口頭発表

EgoScale:多様な一人称視点の人間データによる器用なマニピュレーションのスケーリング(EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data)

Ruijie Zheng · NVIDIA

全著者

Ruijie Zheng1, Dantong Niu1,2, Yuqi Xie1, Jing Wang1, Mengda Xu1, Yunfan Jiang1, Fernando Castañeda1, Fengyuan Hu1, You Liang Tan1, Letian Fu1,2, Trevor Darrell2, Furong Huang3, Yuke Zhu1, Danfei Xu1, Linxi Fan1

1NVIDIA2UC Berkeley3University of Maryland

Ruijie ZhengはEgoScaleを紹介した。これは、SLAMと手の姿勢推定によって行動に変換し、22自由度(22-DoF)のSharpaハンドにリターゲットした大規模な一人称視点の人間動画でGR00T型のVLAを事前学習し、次に整合させた人間とロボットのデータ(同じタスクにおける約4時間の遠隔操作データと、グローブと手首カメラで追跡した50時間の人間データの組)で中間学習を行い、その後新たな器用なタスクで事後学習を行うものである。

要点
  • 人間データによる事前学習と整合させた中間学習を組み合わせると、5つの器用なタスクで最も高い成功率が得られ、ボトルのキャップ外しやシリンジでの移し替えといった最も難しいタスクで意味のある成功率を達成したのはこの組み合わせだけであった。
  • 人間データでの検証損失は、人間データの量に対して対数線形のスケーリング則に従い、実機ロボットの性能と相関する。
  • ワンショット転移が創発する。シャツたたみのような新しいタスクを、1本の遠隔操作軌道と約100件の人間のデモから学習できる。
  • 同じレシピは異なるハンドを持つUnitree G1にも転移し、ベースラインよりも滑らかな動きを示す。
2日目の録画 · 11 分YouTube で開く
口頭発表

OPENDEXGRASP:オープン語彙のタスク指向型の器用な把持(OPENDEXGRASP: Open-vocabulary Task-Oriented Dexterous Grasping)

Jiyao Zhang · Peking University / PrimeBot

全著者

Jiyao Zhang1,2, Junhan Wang1,2, Tianyu Wang1,3, Zeyuan Chen1,3, Anthony Bolton1,2, Yitong Peng1, Hao Dong1,2

1Peking University2PrimeBot3Beijing Institute for General Artificial Intelligence

OpenDexGraspは、自由形式の言語指示からタスク指向の器用な把持を生成する。OpenDex-Scale(VLMでタスクの記述をラベル付けした124万件の合成把持)と、OpenDex-Align(物体インスタンス間で転移させた、人間が実演した約27k件の機能的把持)を組み合わせ、事前学習済みのVLMと3D幾何エンコーダを結合してタスクのアフォーダンスと手の姿勢を同時に予測するモデルを用いる。

要点
  • 幅広い合成データのカバレッジと、より小規模で高品質な人間と整合したデータを組み合わせることで、物理的・機能的な把持品質の両方が向上する。
  • 把持と並行してアフォーダンスを予測することで、言語指示と手が接触すべき場所とが結び付けられる。
  • アブレーションでは事前学習済みのVLMバックボーンを置き換えたときの低下が最も大きく、実機ロボットでの把持は72%の割合で成功する。
  • 残る失敗は、機能的な把持が可能になる前に物体の姿勢を大きく変える必要がある場合である。
2日目の録画 · 9 分YouTube で開く
口頭発表 最優秀論文賞 最終候補

Play2Perfect:精密組立のための器用なプレイ事前学習において何が重要か?(Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?)

Tyler Ga Wei Lum, Kushal Kedia · Stanford University / Cornell University

全著者

Tyler Ga Wei Lum1, Kushal Kedia2, Karen Liu1, Jeannette Bohg1

1Stanford University2Cornell University

Tyler LumとKushal KediaはPlay2Perfectを紹介した。これは多指ハンドをまず「遊び」によってRLで事前学習し(数千のランダムな物体でランダムな6Dの目標姿勢に到達させる)、次にCADで定義した疎な報酬でファインチューニングして、0.5ミリメートルの挿入やテーブルの脚のねじ込みといった、精密で長期にわたる組立を行わせるものである。方策は完全にシミュレーション内で学習され、FoundationPoseによる物体追跡を用いてゼロショットで実機に展開される。

要点
  • 遊びによる事前学習があれば、組立は2から5時間のファインチューニングで高い成功率に達する。一方、ゼロからのRLは24時間後も0%のままであり、密な報酬のRLがそれに追いつくには33倍の時間がかかる。
  • 遊びで事前学習した方策は複数の指で把持し、力による摂動のもとでも80%以上の成功率を保つ。対照的に、密な報酬のRLは脆い戦略を学習して失敗する。
  • 効果的な遊びには、完全な6Dの目標(並進のみではない)、1 cmという厳しい許容誤差、多数の物体、そしてエピソードごとの新たなランダム目標が必要であり、いずれも手内マニピュレーションを重視するものである。
  • 遊びだけでは自由空間での動きには対応できても接触では失敗する。ファインチューニングによって接触の多い探索戦略が学習されるが、小さな物体は遮蔽のため依然として難しい。
2日目の録画 · 11 分YouTube で開く

口頭発表 O6 · 力覚・触覚制御とマニピュレーション計画

火 11:00 AM · Hilton Austin · 座長:Ian Abraham

3件
口頭発表

FACTR 2:市販ロボットアームにおける外力センシングの学習が方策学習を改善する(FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning)

Jason Jingzhou Liu, Steven Oh · Carnegie Mellon University / Waseda University

全著者

Steven Oh1,2, Jason Jingzhou Liu1, Tony Tao1, Philip Han1, Kenneth Shaw1, Satoshi Funabashi2, Ruslan Salakhutdinov1, Deepak Pathak1

1Carnegie Mellon University2Waseda University

Jason LiuとSteven OhはFACTR 2を紹介した。これはNEXTによって低コストのアームに外力センシングを与えるものである。NEXTは、自由空間での関節位置、速度、モーター電流約10分間分のデータで約1分間学習したLSTMであり、自由空間でのトルクを予測する。したがって接触中の残差が外部トルクとなる。この推定値はPiper、YAM、Neroなどのアームでの力覚フィードバック付き遠隔操作に用いられ、さらにFIRSTはこれを使ってデモを自由、接触前、接触の各フェーズに分割し、行動クローニングの学習時に後者2つをアップサンプリングする。

要点
  • Franka上では、NEXTの推定値は接触中に内蔵トルクセンサーの値に追従し、自由運動中はほぼゼロにとどまる。
  • 外部トルクを方策の入力として使うと同時に、接触前と接触のセグメントの再サンプリングにも使うことで、ベルトの組立のような長期タスクで最良の結果が得られた。
  • 接触フェーズをアップサンプリングすると、その部分の検証損失が下がり、位置合わせに失敗したときのリカバリー行動が増える。
  • 自由運動のデータは約10分で十分であり、30から40分に増やしても性能は向上しなかった。
2日目の録画 · 11 分YouTube で開く
口頭発表

PACE:チャンクベースの挿入方策のための時間的役割に基づく触覚条件付け(PACE: Temporal-Role Tactile Conditioning for Chunk-Based Insertion Policies)

Zane (presenting for the authors) · Xiaomi Robot Technology

全著者

Zhiyuan Chen1, Shixiong Xu1, Shuai Chen1, You Yangwei1

1Xiaomi Robot Technology

ビザの遅れで参加できなかった筆頭著者Zhiyuan Chen(Xiaomi Robotics)に代わり、Zaneが発表した。PACEは、チャンクベースの挿入方策において、共有の触覚ストリームに3つの時間的な役割を与える。平滑化した接触状態からTransformerの特徴を変調するフェーズ経路、急な接触の変化に応じてチャンクの最初の行動への残差補正をゲートするイベント経路、そして学習時にのみ用いる未来の触覚を予測する補助ヘッドである。デモはSigma.7の力覚フィードバック付き遠隔操作システムで収集された。

要点
  • PACEは5つの実機挿入タスクで平均90.7%の成功率に達し、最も強い触覚連結型ベースラインの46%を上回った。また、0.1 mmの狭いクリアランスを含むManipulation-Netでは88.7%を達成した。
  • 最も寄与が大きいのはイベント経路であり、これを取り除くと成功率は66.7%に低下する。
  • 遠隔操作中の力覚フィードバックにより、平均ピーク接触力は16.7 Nから10 Nに減少した。
  • この設計はセンサー(力・トルク、関節電流)や、拡散方策などのバックボーンをまたいで転用できる。
2日目の録画 · 7 分YouTube で開く
口頭発表 最優秀論文賞 最終候補

連続行動上の蒸留木探索による長期的な複数物体再配置(Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions)

Kallol Saha · Carnegie Mellon University

全著者

Kallol Saha1, Yining Hong2, Amber Li1, Yejin Choi2, Maxim Likhachev1, David Held1

1Carnegie Mellon University2Stanford University

Kallol SahaはDISCOを紹介した。これは長期にわたる複数物体の再配置のための、AlphaGo型のレシピである。ピック・アンド・プレースの方策が、progressive wideningを用いた連続行動上のMCTS木において行動を辺として提案し、成功と失敗は定期的に方策と価値関数へと蒸留される。これらはGPUシミュレーション上で並列に実行される。最終的な方策はテスト時に探索なしで動作し、棚詰め、積み重ね、テーブルの片付けといったタスクで、sim-to-real転移も含めて評価された。

要点
  • ノードの訪問回数が増えるにつれて子ノードを追加するprogressive wideningにより、連続行動空間上での木探索が扱いやすくなる。
  • DISCOは、ビームサーチ、MPPI、RL、および一様な探索や固定の分岐数を用いたアブレーションを上回る。
  • 蒸留のラウンドごとに方策と価値関数の両方が改善するため、短いホライズンのデータから長期的な推論が学習される。
  • 行動クローニングのみで得た初期方策は、蒸留したDISCOの方策が完遂できる実機の長期タスクで失敗する。
2日目の録画 · 8 分YouTube で開く

口頭発表 O7 · ヒューマノイドのデータ、制御、スキル

火 11:30 AM · Hilton Austin · 座長:Koushil Sreenath

3件
口頭発表 最優秀論文賞 最終候補

GRAIL:世界モデルからのヒューマノイド・ロコマニピュレーションの生成(GRAIL: Generating Humanoid Loco-Manipulation from World Models)

Tianyi Xie · NVIDIA / UCLA

全著者

Tianyi Xie1,2, Haotian Zhang1, Jinhyung Park1, Zi Wang1, Bowen Wen1, Jiefeng Li1, Xueting Li1, Qingwei Ben1, Haoyang Weng1, Yufei Ye1, David Minor1, Tingwu Wang1, Chenfanfu Jiang2, Sanja Fidler1, Jan Kautz1, Linxi Fan1, Yuke Zhu1, Zhengyi Luo1, Umar Iqbal1, Ye Yuan1

1NVIDIA2UCLA

著者らは、ヒューマノイドのロコマニピュレーションのデータを収集するのではなく生成することを提案する。構築した3Dシーンの1枚の画像を出発点に、テキストプロンプトで動画基盤モデルを駆動して人間のデモ(座る、押す、運ぶ、階段を上る、縁石に上がる)を生成する。人間と物体の動きは特権的なシーンの幾何とカメラパラメータを用いて再構成され、身長の合う人間のキャラクターを選ぶことでロボットにリターゲットされ、シーンと地形を考慮した全身トラッカーによって物理的に妥当なものにされる。これらのトラッカーから蒸留し、完全にシミュレーション内で学習した視覚方策が、実機のヒューマノイドにゼロショットで展開される。

要点
  • GRAILは物理的に妥当な動作を35k件以上生成し、公開データセットは講演時点で約25万回ダウンロードされていた。
  • GRAILのデータのみで学習した拾い上げの方策は、実機ロボットにゼロショットで転移し、未知の物体に対して80%の成功率を達成した。
  • 仮想的に数千の階段のバリエーションを生成することで、モーションキャプチャでは現実的に達成できない地形のカバレッジが得られ、階段の方策は未知の屋内・屋外の階段にも汎化した。
  • 動画モデルと姿勢推定器は人間向けに成熟しているため、著者らは依然として人間の動画からリターゲットしているが、両者がロボット向けにファインチューニングされれば、ヒューマノイドの動画を直接生成するようになると見込んでいる。
2日目の録画 · 12 分YouTube で開く
口頭発表 最優秀論文賞

SuperMimic:単一の微分可能な世界モデルによるヒューマノイド全身制御のスケーリング(SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model)

Qiayuan Liao · UC Berkeley

全著者

Qiayuan Liao1, Yiyang Shao1, Junfeng Long1, Kevin Zakka1, Roberto Horowitz1, Pieter Abbeel1, Koushil Sreenath1

1UC Berkeley

SuperMimicは、全モーションで共有されるダイナミクスの微分可能な世界モデルを1つ学習することで、汎用的なヒューマノイドのモーショントラッキングをスケールさせる。世界モデルはシミュレータの遷移データから学習され、トラッキング方策はこのモデルを通じた一次勾配(SHAC方式)とcriticを用いて、単一の交互ループで訓練される。Liaoは世界モデルとトラッカーが外乱に反応するライブデモを示し、1つのモデルを全モーションで償却することでデータが増えてもモデル誤差が横ばいに保たれると主張する。こうして得られた汎用トラッカーは、想像(imagination)の中で訓練されたにもかかわらず、実機のUnitree G1に転移する。

要点
  • Liaoによれば、汎用トラッカーの訓練は1基のGPUで約3時間で済み、SONICの100基超のGPUで1週間と比べてGPU時間を約1000分の1に削減した。ただしデータセットが小さく、GPUも高速であったことは認めている。
  • 想像ロールアウトはシミュレーションより10倍以上高速であり、モデルを通じた一次勾配は同じモデル上のPPOよりはるかに少ないステップ数で済む。
  • 訓練を長く続けることで、約100,000のモーションにわたりトラッキング失敗ゼロを達成した。
  • コードは講演中にオープンソース化された。すでに他の研究者が再実装し、スピードラン、筋駆動ヒューマノイド、参照なしの疎報酬マニピュレーションへと拡張している。
2日目の録画 · 10 分YouTube で開く
口頭発表

RoboNaldo:動作誘導型カリキュラム強化学習による正確・安定・強力なヒューマノイドのサッカーシュート(RoboNaldo: Accurate, Stable and Powerful Humanoid Soccer Shooting via Motion-Guided Curriculum Reinforcement Learning)

Hongyang Li · Archon Robotics / The University of Hong Kong

全著者

Yichao Zhong1, Yidan Lu1, Yuhang Lu1, Tianyang TANG1, Haoguang Mai1, Yixuan Pan2, Tianyu Li2, Li Chen1, Jingbo Wang3, Zhongyu Li3, Peng Lu1, Hongyang Li2,1

1The University of Hong Kong2Archon Robotics3The Chinese University of Hong Kong

RoboNaldoは、モーション誘導型の3段階カリキュラムにより、サッカーのシュートを行う単一の低レベルヒューマノイド方策を訓練する。まず人間のキック参照1つをトラッキングし、次にトラッキングしたインパクト付近にボールを初期化して疎なタスク報酬で正確なシュートを学習し、最後にボール方向にアンカーされた適応的参照とキックのタイミングを決めるヒューリスティックなプランナーによって歩行とシュートを統合する。搭載LiDARが反射性のボールを検出し、胸部カメラがゴール上のAprilTagターゲットを読み取る。システムはUnitree G1を用いて屋内外のフィールドで評価された。

要点
  • トラッキングしたインパクト付近にボールを初期化することで、トラッキング方策がPPOの良い初期点となり、疎報酬下の探索問題が解決される。
  • 実機での接触率は90%を超え、講演では静止ボールのキック条件で100%の成功が報告された。
  • ボールの最高速度は10 m/sを超え、講演者はこれをプロ選手のシュートの約60%と見積もった。
  • sim-to-realギャップが依然として失敗の主因であり、特に屋外フィールドでのキック後の安定性が課題である。
2日目の録画 · 10 分YouTube で開く

ダイヤモンドスポンサー講演 III

火 1:30 PM · Hilton Austin · 座長:Neel Bhatt

3件
スポンサー講演

Geminiによる汎用ロボットの構築(Building general purpose robots with Gemini)

Kanishka Rao · Google DeepMind

Raoは、ロボティクスの中核課題を汎用的な推論と器用な全身制御の統合と位置づけ、フロンティアモデルとロボットモデルの双方からこれに取り組んでいる。Gemini Robotics 2.0(Apolloヒューマノイドの全身制御、器用なハンド、複数ロボットの協調)を振り返り、200以上のタスクで訓練され安全性が向上したGemini Robotics 2.5と、Mercedes-Benz/Apptronikの生産ラインでのキッティング試験導入を発表した。さらにMuJoCo 4とMuJoCo Playground 1.0を発表し、フロンティアGeminiモデルをエージェントとして用い、実ログからのシミュレータ構築、ロールアウトの分析、さらにはヒューマノイドにコーンホールを教えることまで行った事例を紹介した。

要点
  • 200以上の器用なタスクにわたる訓練により、成功率は前モデル比で約30-100%向上し、既習のタスクも改善した。
  • 生産ラインのキッティング試験導入では、96%の自律成功率に達した。
  • フロンティアモデルは現在、real-to-sim-to-realループや自動故障分析を通じてロボットモデル開発を加速しており、Gemini Robotics 2.5の構築にも用いられた。
  • Raoは、フロンティアモデルがロボティクスのより多くの部分を担うようになり、これらのモデルが高速化するにつれてエージェント的な閉ループのロボット制御が実現すると予測する。
2日目の録画 · 11 分YouTube で開く
スポンサー講演

真の長期的行動のための行動とエージェント(Actions and Agents for True Long-Horizon Behavior.)

Alberto Rodriguez · Boston Dynamics

Rodriguezは、HyundaiのSavannah工場における部品シーケンシング作業でのAtlasの初期実運用を報告した。サプライヤーのコンテナから部品を取り出し、両手でバーコードをスキャンし、正しいスロットに順番に挿入し、落とした部品や不良品を廃棄する作業である。システムは、テキストのジョブ記述と工場のタスク指示を読み取る、ファインチューニングされたGemini ER推論モデル(システム2)を中心としたクラウド上の「ジョブハーネス」と、約400時間の遠隔操作データで事後学習されたNVIDIA Thor上の単一のオンボード行動モデル(システム1)で構成される。彼はスキル分解よりも単一の行動モデルを、規模よりもデータ品質を重視すべきだと主張する。

要点
  • 介入を含めたエンドツーエンドの完了率は98.6%、介入率は9.5%で、約20分に1回の介入であった。
  • サイクルタイムはタスクあたり約2分で、経済的価値に必要な1分に1回のペースより約50%遅い。Boston Dynamicsは、Atlasの初の8時間生産シフトを2027年と予測している。
  • 既製のフロンティアVLMで、ファインチューニングなしにタスク完了の確認やスロット単位で正確な誘導を行えるほど信頼性の高いものはなかった。
  • Rodriguezは、シミュレーションでの大規模RLを高品質データへの道筋と見ており、RGBのみの方策から器用な振る舞いが創発する様子を示した。
2日目の録画 · 14 分YouTube で開く
スポンサー講演

フィジカルAIのためのリファレンスプラットフォーム(The Reference Platform for Physical AI)

Sven Parusel · Franka Robotics / Agile Robots

Paruselは、トルクセンシング付き7自由度(7-DoF)アームFranka Research 3と、その1 kHzのFranka Control Interfaceを基盤に、フィジカルAI研究のリファレンスとなるハードウェア・ソフトウェアプラットフォームを目指すFrankaの目標を説明した。双腕システムFR3 Duoと、全方向移動ベースを備えた新しいモバイル版FR3 Duo、さらに多様な遠隔操作インターフェースを紹介した。また、遠隔操作、センサ取得、ラベリング、訓練、推論をカバーするFrankaの最近オープンソース化されたデータパイプラインと、DualBenchベンチマーク論文も取り上げた。

要点
  • 1年間で2,000本を超える論文がFrankaロボットを使用し、CoRL 2024では単腕論文の半数以上がFrankaを用いていた。
  • Paruselは、関節トルクセンシングと、高レート・インターフェースを介した完全なモデルアクセス(ヤコビアン、質量行列)が、接触の多いタスクやHRI研究で使われる理由だとしている。
  • カメラとグリッパーを固定した標準化された双腕構成は、研究室同士が互いの成果を再現し、共通の身体性(エンボディメント)上でデータを共有できるようにすることを意図している。
  • Frankaはデータ収集・訓練パイプラインをオープンソースとして公開し、新しい入力デバイスやラベリングツールの貢献を呼びかけている。
2日目の録画 · 11 分YouTube で開く

スポットライト S4 · 触覚、力覚、接触の多いマニピュレーション

火 2:00 PM · Hilton Austin · 座長:Yunzhu Li

9件
スポットライト

DeTac:視覚ベース触覚センサにおけるテクスチャ信号と力信号のデュアルブランチ分離(DeTac: Dual-branch Decoupling of Texture and Force Signals in Vision-Based Tactile Sensors)

Zhirui Zhang · Peking University / AI2 Robotics(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Zhirui Zhang1,2, Yunkai Tang1,2, Jiahang Li1,2, Fan Fei1,2, Jinnuo Zhang3, Kairan Ding1,2, Jieji Ren3, Yandong Guo2, Boxin Shi1

1Peking University2AI2 Robotics3Shanghai Jiao Tong University

DeTacは、マーカー付き視覚型触覚センサの単一画像からマーカー画像とクリーンなシェーディングを分離するデュアルブランチ生成フレームワークである。拡散ベースのシェーディングブランチと軽量なマーカーブランチをブランチ間損失で結合し、実際のペアデータで訓練する。

要点
  • 並行的なデュアルブランチ分離により、マスク後にインペイントする逐次パイプラインに伴うマスクサイズのジレンマと誤差の蓄積を回避できる。
  • マーカーの干渉を除去することで、マーカーなしのデータで訓練した布地分類器がマーカー付きセンサ画像を正しく分類できるようになった。
2日目の録画 · 3 分YouTube で開く
スポットライト

FingerEye:連続的な視覚・触覚センシングによる器用なマニピュレーションの学習(FingerEye: Learning Dexterous Manipulation with Continuous Vision-Tactile Sensing)

Zhixuan Xu · National University of Singapore

全著者

Zhixuan Xu1, YICHEN LI1,2, Wu Xuanye2,3, Qiu Tianyu2,4, Lin Shao1,2

1National University of Singapore2RoboScience3Huazhong University of Science and Technology4South China University of Technology

FingerEyeは、透明で柔軟なプレートの背後に2台のカメラを配置した指先センサであり、接触前には視覚を、接触後には触覚的な手がかりを提供する。これに、各観測グループを個別にエンコードし、グループごとのアテンションで読み取る方策を組み合わせている。

要点
  • 両眼の指先視点により、単一カメラと比べて成功率が10ポイント向上した。
  • アテンションの診断から、素朴な融合では容易な大域的手がかりに過度に依存することが示され、モダリティごとに経路を分ける動機となった。
2日目の録画 · 3 分YouTube で開く
スポットライト

DAVATaR:空気と水の境界を越えた深度認識型の視覚拡張触覚学習(DAVATaR: Depth-Aware Visually Augmented Tactile Learning Across the Air-Water Interface)

Siqi Shang · UT Austin

全著者

Bowen Jiang1, Siqi Shang1, Rahul Ajay Iyer1, Ashwin Prakash1, Lillian Chin1, Roberto Martín-Martín1

1UT Austin

DAVATaRは、空気と水の境界をまたぐマニピュレーションに取り組む。指先の圧力を流体的に水面上の電子機器へ伝える防水グリッパーを用い、浸水深度センシングと、グレア・遮蔽・屈折に対する視覚的データ拡張をマルチモーダルTransformer方策に組み合わせる。

要点
  • 浸水深度センシングを加えることで、視覚のみでは状態を復元できなかったタスクで成功率が25%から61%に向上した。
  • 視覚が大きく歪む状況、特に水位が変動する条件下では、触覚センシングだけでは不十分である。
2日目の録画 · 3 分YouTube で開く
スポットライト

Visible Touch:視覚運動方策のための接触のレンダリング(Visible Touch: Rendering Contact for Visuomotor Policies)

Metin Alp Dogan · UCLA(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Metin Alp Dogan1, Edward Sun1, Feng Xu1, Daniel Wu1, Allen Peng1, Dennis Hong1, Yuchen Cui1

1UCLA

Visible Touchは、低コストの磁気式触覚センサの読み取り値をカメラ画像上に矢印として重ねて描画する。これにより、既存の画像ベース方策やVLAを、アーキテクチャを変更せずに接触情報込みでファインチューニングできる。

要点
  • このオーバーレイにより、事前学習済みMiniVLAの平均成功率は約51%から79.8%に向上し、複数回の把持を伴う長期タスクで特に大きな改善が見られた。
  • pi-0.5を用いた実タスクでは、複数矢印のオーバーレイが、独立した触覚カメラ視点を入力する方式を上回った。
2日目の録画 · 3 分YouTube で開く
スポットライト

接触の多いタスクでVLAがいつ、なぜ失敗するのか、そしてどう修正するかの解明(Demystifying When and Why VLAs Fail in Contact-Rich Tasks and How to Fix Them)

Carlota Parés Morlans · Stanford University(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Carlota Parés Morlans1, Nils Kuhn1, Y. Isabel Liu1, Alberta Longhini1, Jeannette Bohg1

1Stanford University

著者らは、接触の多いタスクにおけるVLAの失敗を、フローマッチングのノイズスケジュールが接触直前の小さな行動を過小に重み付けすることに起因する精度の失敗と、力の失敗とに分類した。前者はlogit-normalノイズスケジュールへの切り替えで、後者は時間を考慮し接触でゲートされる力の注入で解決する。

要点
  • 事後学習時にbetaスケジュールをlogit-normalに置き換えるだけで済み、追加のパラメータやデータを必要としない手軽な修正である。
  • 5つのタスクにわたる2,500回の実ロールアウトで、提案手法は66%の成功率に達し、最良のベースラインを25ポイント上回った。
2日目の録画 · 3 分YouTube で開く
スポットライト

力に遅すぎることはない:反応的な力注入によるVLA事後学習の高速化(Never Too Late for Force: Accelerating VLA Post-Training with Reactive Force Injection)

Wendi Chen · Shanghai Jiao Tong University / Shanghai Innovation Institute

全著者

Yi Wang1,2, Wendi Chen1,2, Zimo Wen1, Han Xue1, Xueqi Li2,3, Wenye Yu1,2, Zhijie Chen1, Hao Yang1, Jun Lv4, Chuan Wen1, Cewu Lu1,2,4

1Shanghai Jiao Tong University2Shanghai Innovation Institute3Southern University of Science and Technology4Noematrix Ltd.

LIFTは、事後学習中に事前学習済みVLAへ力の認識を付与する。力の記憶を持つ反応的なアクションエキスパートを接ぎ木し、各チャンク内で行動を更新する。このエキスパートは事前学習の知識を保持するよう初期化され、力のデータはオンラインDAggerで収集される。

要点
  • 進行中の挿入と完了した挿入を区別するには、現在の読み取り値だけでなく力の履歴が必要である。
  • 後段でゼロ初期化した力の注入により、VLAの新しい物体、テーブルクロス、照明への視覚的汎化が維持された。
2日目の録画 · 3 分YouTube で開く
スポットライト

多関節物体マニピュレーションのための生成方策からの制約分解インピーダンス制御(Constraint-Decomposed Impedance Control from Generative Policy for Articulated Object Manipulation)

Kyungseo Park · Seoul National University

全著者

Kyungseo Park1, Byeongdo Lim1, Jungbin Lim1, Minseok Choi1, Frank C. Park1

1Seoul National University

関節物体に対して、著者らは把持完了時に生成的方策から複数の軌道をサンプリングし、それらをボディツイストに変換したうえでPCAにより実行可能な運動部分空間を求める。その部分空間に沿っては高いインピーダンスゲインを、それ以外では低いゲインを設定する。

要点
  • 方策サンプリングの多様性を、物体のモデルなしに方向ごとのコンプライアンスへと変換できる。
  • 実機のFrankaでは、制約に反する力積が約72%、ピーク力が約70%減少した。
2日目の録画 · 3 分YouTube で開く
スポットライト

TAM:マニピュレーションにおける頑健な動作転移のためのトルク適応モジュール(TAM: Torque Adaptation Module for Robust Motion Transfer in Manipulation)

Dongwon Son · KAIST

全著者

Dongwon Son1, Florian Shkurti2,3, Jason Lee2,4, Naman Shah2, Beomjoon Kim1, Dieter Fox2,4

1KAIST2Allen Institute for AI3University of Toronto4University of Washington

TAMは、完全にシミュレーションで訓練される軽量モジュールであり、直近の運動履歴から低レベルのトルク指令を補正する。これにより、方策がどのように行動を生成するかにかかわらず、sim-to-realギャップ、ペイロード、ロボット個体差をまたいで方策を転移できる。

要点
  • すべての方策がトルクインターフェースを共有するため、1つのアダプタで箱押し、MPCによるボールバランス、行動クローニング、ペイロード追従のいずれも改善した。
  • シミュレーションのみで訓練した行動クローニング方策の実世界成功率は50%から72%に上昇し、シミュレーション上の成功率にほぼ匹敵した。
2日目の録画 · 2 分YouTube で開く
スポットライト

マニピュレーションのための制約付きサンプリングと強化学習の組み合わせ(Combining Constrained Sampling and Reinforcement Learning for Manipulation)

Marc Toussaint · Technical University Berlin / Robotics Institute Germany / Fraunhofer HHI

全著者

Marc Toussaint1,2,3, Cornelius V. Braun1, Armand Jordana4, Sayantan Auddy1, Eckart Cobo-Briesewitz1, Denis Shcherba1,3, Tilman Burghoff1, Justin Carpentier5,6

1Technical University Berlin2Robotics Institute Germany3Fraunhofer HHI4LAAS-CNRS5Inria6PSL Research University

Toussaintは、RLの探索問題を制約付きサンプリングへ移すことを提案する。物理的に実現可能な状態(接触、摩擦円錐、静的安定性)を第一原理に基づく制約多様体からサンプリングし、ゴール条件付きマニピュレーション方策のリセット分布およびカリキュラムとして用いる。

要点
  • 制約サンプリングによるリセットにより、素朴なリセットでは学習が停滞する上下逆さのハンドでのインハンド立方体再配向をRLで学習できた。
  • モンテカルロ法や多様体サンプリングの進歩は、より良いRL探索に直接転用できるはずである。
2日目の録画 · 3 分YouTube で開く

スポットライト S5 · 変形物体のマニピュレーション、幾何、形態

火 2:30 PM · Hilton Austin · 座長:Rudi Lioutikov

9件
スポットライト

変形物体シミュレーションのための物理誘導型残差ダイナミクスの学習(Learning Physics-Guided Residual Dynamics for Deformable Object Simulation)

Shivansh Patel · UIUC(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Shivansh Patel1, Kaifeng Zhang2, Sanjay Pokkali1, Svetlana Lazebnik1, Yunzhu Li2

1UIUC2Columbia University

PGRDは、最適化可能なばね質点シミュレータと残差補正を予測する学習済みネットワークを組み合わせ、ロープや、剛体の柄と柔らかい羽を持つはたきのような変形物体をモデル化する。MPPIと組み合わせてロープの経路変更に用いられ、ゴールは言語から画像モデルを介して生成される。

要点
  • このハイブリッドは、不均質な物体の柄を剛体に保ちながら羽を変形させることができたが、純粋なばね質点モデルや学習ベースのベースラインではできなかった。
  • 自然言語からゴール画像を生成することで、変形物体のゴールを手作業で指定する必要がなくなる。
2日目の録画 · 4 分YouTube で開く
スポットライト

WireCraft:産業用DLOマニピュレーションのためのシミュレーションベンチマーク(WireCraft: A Simulation Benchmark for Industrial DLO Manipulation)

Chongyu Zhu · University of Toronto

全著者

Chongyu Zhu1, Ramy ElMallah1, Hyegang Kim1, Zachary Tang1, Jiachen Rao1, Artem Arutyunov1, Seungyeon Ha2, Chi-Guhn Lee1

1University of Toronto2CREFLE Inc.

WireCraftは、Isaacベースの産業用線状柔軟物体(DLO)マニピュレーションのベンチマークであり、コネクタ挿入、クリップへの配線、チャネルへの収納の各タスクを備え、ワイヤモデル、コネクタの種類、ランダム化された形状を設定できる。

要点
  • 特権状態を用いる方策は確実に挿入できるが、視覚ベースのRL、模倣学習、VLA方策では大きく性能が低下し、クリアランスの小さい挿入は未解決の課題である。
  • 実デモンストレーションにシミュレーションデータを混ぜることで、実機での挿入成功率が15%から80%に向上した。
2日目の録画 · 3 分YouTube で開く
スポットライト

推論時のSimulator-in-the-Loop改良による頑健な布マニピュレーションの実現(Enabling Robust Cloth Manipulation via Inference-Time Simulator-in-the-Loop Refinement)

Xin Liu · National University of Singapore / Shanghai Jiao Tong University(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Xin Liu1,2, Yulin Li1, Ziming Li1, Pengyu Jing1, Zhenhao Huang1, Bingyang Zhou1, Ziqiu Zeng1, Siyuan Luo1, Chenkun Qi2, Fan Shi1

1National University of Singapore2Shanghai Jiao Tong University

著者らは、布シミュレータFLASHを推論時の順モデルとして用いる。real-to-simネットワークが1枚のRGB画像から布のメッシュを復元し、各行動の実行前にMPPIが256本の並列ロールアウトで蒸留済み方策の計画を洗練する。

要点
  • システム全体での布たたみの成功率は単腕で90%、双腕で80%であり、洗練なしの約10-30%を大きく上回った。
  • シミュレータの選択が重要であった。統制された比較でFLASHは95-100%成功したのに対し、Isaac SimとNewtonは60%以下にとどまった。
2日目の録画 · 3 分YouTube で開く
スポットライト

しわのない頑健性:認証付き変形物体マニピュレーションのための並列シミュレーションと頑健MPC(Robustness without Wrinkles: Parallel Simulation and Robust MPC for Certified Deformable Manipulation)

Jeffrey Fang · Georgia Institute of Technology

全著者

Wei-Chen Li1, Jeffrey Fang1, Sasanka Polisetti1, Yuexi Song1, Glen Chou1

1Georgia Institute of Technology

CORD-SLSは、接触を平滑化したGPU並列の微分可能な変形物体シミュレータと、リアルタイムのロバスト出力フィードバックMPCを組み合わせ、コンフォーマル予測でreal-to-sim誤差を上界づけることで、保証付きのロープおよび布のマニピュレーションを実現する。

要点
  • 接触の平滑化により得られる勾配によって、解析的方策勾配もPPOより少ないステップ数で収束する。
  • 実機では、ダイナミクス誤差と計測誤差があるにもかかわらず、ロバストなチューブにより障害物との衝突はゼロであった。
2日目の録画 · 3 分YouTube で開く
スポットライト

深度破損下の3Dマニピュレーション方策のためのノイズ不変な空間エンコーディング(Noise-Invariant Spatial Encoding for 3D Manipulation Policies under Depth Corruption)

Zhiyuan Yang · A*STAR SIMTech / NTU(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Zhiyuan Yang1,2, Jiaju He1,2, Ruiteng Zhao1,3, Anqi Cheng2, Haiyue Zhu1, Kezhi Mao2

1A*STAR SIMTech2NTU3NUS

NISEは、ノイズを含む深度から3Dマニピュレーション方策のための空間特徴を直接学習する。どの形状がカメラ間で一貫しているかに関するクロスビュー教師信号と、不確かな点の位置の重みを下げるガウス周辺化3Dアテンションを用いる。

要点
  • 深度ノイズが飽和した条件下で、NISEは2つのシミュレーションベンチマークにわたり最強のベースラインを33-40ポイント上回った。
  • 実際の透明・反射物体では、ベースラインの成功数をおおむね倍増させた。例えば試験管への注入タスクでは30回中16回対6回であった。
2日目の録画 · 3 分YouTube で開く
スポットライト

SERF:長期的なモバイルマニピュレーションのための時空間的な環境・ロボット特徴マップ(SERF: Spatiotemporal Environment and Robot Feature Map for Long-Horizon Mobile Manipulation)

Sunghwan Kim · UC San Diego

全著者

Sunghwan Kim1, Byeonghyun Pak2, Kehan Long1, Yulun Tian3, Nikolay Atanasov1

1UC San Diego2Agency for Defense Development3University of Michigan

SERFは、VLAによるモバイルマニピュレーション方策を、環境とロボット本体の双方を表すニューラル点の時空間マップで条件付ける。マップは物体単位の剛体トラッキングと順運動学によりオンラインで更新され、複数フレームにわたってトークン化される。

要点
  • 画像のみのpi-0.5方策と比べ、マップで条件付けた方策はサブゴールへより直接的に到達し、より多くのサブゴールを完了した。
  • 明示的な3Dマップは、画像のみの基盤モデルにはない、文脈を蓄積する仕組みを方策に与える。
2日目の録画 · 3 分YouTube で開く
スポットライト

オープンワールド・モバイルマニピュレーションのための多関節3Dシーングラフ(Articulated 3D Scene Graphs for Open-World Mobile Manipulation)

Martin Büchner · University of Freiburg(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Martin Büchner1, Adrian Röfer1, Tim Engelbracht2, Tim Welschehold1, Zuria Bauer2, Hermann Blum2,3, Marc Pollefeys2, Abhinav Valada1

1University of Freiburg2ETH Zurich3University of Bonn

MoMa-SGは、RGB-Dのインタラクション動画から意味・運動学的な3Dシーングラフを構築する。インタラクションをセグメント化し、追跡した点から関節運動をツイストとして推定し、それらを容器内で発見された物品も含むオープン語彙の物体に結び付ける。

要点
  • 正則化された単一のツイストモデルで、直動関節と回転関節の両方をロバストに推定できる。
  • このグラフにより、Toyota HSRと四脚ロボット上で、言語指示から冷蔵庫を開けて牛乳を取り出すといった長期タスクが可能になった。
2日目の録画 · 3 分YouTube で開く
スポットライト

RAM:形態を横断した到達可能性(RAM: Reachability Across Morphologies)

Tim Walter · Technical University of Munich

全著者

Tim Walter1, Xinyu Chen2,3, Jonathan Külz1, Matthias Althoff1

1Technical University of Munich2German Electron Synchrotron3University of Hamburg

RAMは、形態を条件とする陰的ニューラルモデルであり、自己衝突を考慮したうえで姿勢が到達可能かどうかを予測する。30,000の形態にわたる300億サンプルで訓練されている。

要点
  • RAMは未知の形態に対してバランス精度84%を達成し、学習ベースのIKを15ポイント上回りつつ、500倍以上高速に動作した。
  • 微分可能であるため、同等の設計を得ながら形態最適化を1桁以上高速化できる。
2日目の録画 · 3 分YouTube で開く
スポットライト

身体を形づくる:マルチエンボディメント・ロボット設計のための価値勾配(Shape Your Body: Value Gradients for Multi-Embodiment Robot Design)

Nico Bohlinger · TU Darmstadt

全著者

Nico Bohlinger1, Jan Peters1,2,3,4

1TU Darmstadt2Robotics Institute Germany3DFKI4hessian.AI

著者らは、強い身体性ランダム化のもとで50種の脚式ロボットにわたる単一の汎用歩行方策とcriticを訓練し、その後criticを固定して逆伝播することで設計パラメータを最適化する。

要点
  • 一度の訓練で、設計ごとに新たな協調設計RLを実行する必要がなくなり、数千の設計を数秒で最適化できる。
  • 最適化された設計はしばしばメーカーのオリジナルを上回り、価値勾配はアクチュエータ設定など、どのパラメータが性能を制限しているかを示す。
2日目の録画 · 3 分YouTube で開く

基調講演 II

火 3:30 PM · Hilton Austin · 座長:Ani Majumdar

1件
基調講演

工場における学習(Learning in the factories)

Russ Tedrake · MIT / Walden Robotics

Ani Majumdarの紹介で登壇したTedrakeは、Walden Robotics(2026年1月に設立されたToyota Research Instituteからのスピンアウト)の創業がロボティクスに対する見方をどう変えたかを語り、技術はすでに準備が整っており、次のハードルは汎用ロボットを製品にすることだと主張した。厳格な稼働率と安全要件のもとでToyotaの工場にカムシャフトを搬入するWaldenの最初の実運用について、遠隔アシスタントによるHG-DAGGER方式の共有自律と、毎週の無線(OTA)モデル更新を用いた経緯を紹介した。続いて、現場の実運用データこそ最も価値のあるデータだと主張し、より強力な事前学習モデルほど収集される介入データは少ないが、そこからの改善幅は大きいという実験を示した。最後に、少人数で多数のロボットを監督するための実行時故障監視、トヨタ生産方式からの教訓(自働化、ラインの停止、なぜなぜ5回)、そしてToyotaとのロボットの量産について述べた。

要点
  • 人間の遠隔支援とAIを合わせると100%近い成功率に達するため、Waldenのカムシャフト実運用では一度も生産ラインを止めていない。
  • 最近の大規模モデル訓練の後、平均介入間隔は約340秒に伸びた。Tedrakeは、これにより3人の遠隔アシスタントで50台のロボットを監督できると見積もっている。
  • 新タスクでの共有自律によるファインチューニングでは、最も強いベースモデルが得た介入データは最も少なかった(最も弱いモデルの約2時間に対し約1.36時間)が、改善幅は最大であった。つまり、強いベースモデルほど実運用データの価値が高まる。
  • モデルが改善するにつれて介入の性質が変わるため、弱いモデルには自律率が、強いモデルには平均介入間隔が適した指標である。
  • 介入データだけで訓練すると根本原因を見逃す。Tedrakeは、失敗後のトヨタ流の事後分析と的を絞ったデータ収集を提唱する。
  • 彼は現在のボトルネックはAIではなくロボットの大規模製造にあると見ており、ロボットにロボットを作らせることと、量産に向けたToyotaとの提携によってこれに取り組んでいる。
2日目の録画 · 59 分YouTube で開く

ダイヤモンドスポンサー講演 IV

火 4:30 PM · Hilton Austin · 座長:Dhruv Shah

3件
スポンサー講演

家庭向け自律型ヒューマノイドの構築(Building an Autonomous Humanoid for the Home)

Jonathan Tompson · Meta Robotics Studio (Reality Labs)

Meta Robotics Studioのモデリングリードを務めるTompsonは、有用(家庭内タスクを自律的にこなす)かつ楽しい(安全で親しみやすく、コミュニケーションが取れる)家庭用ヒューマノイドを、アクチュエータからフロンティアモデルまでフルスタックで構築するというチームの目標を説明した。ハードウェアは示さずに、モデリング手法の概要を述べた。Ariaグラスによる一人称視点の人間データ、UMI方式のデータ、一部のロボット遠隔操作データで訓練し、DAGGERで改良する汎用の器用な基盤モデルである。彼は、Metaの既存資産(QuestのSLAMとハンドトラッキング、SAM 3やSAM 3Dなどの視覚モデル、FEMベースのシミュレータ、フロンティアモデルMuse、コンシューマ向けハードウェアの経験)が優位性をもたらすと主張する。

要点
  • Metaは、QuestヘッドセットのSLAMとハンドトラッキングの基盤をそのままロボットに再利用している。
  • Tompsonは現在、布、スポンジ、精密な剛体接触のFEMシミュレーションを含むシミュレーションが、汎用ロボティクスに不可欠であると強く確信している。
  • 明示的な視覚モデルは、データのフィルタリング、品質保証、状態推定のためにエージェントが呼び出すツールとして重要性を増している。
  • Metaはロボティクスデータを自社のフロンティアモデルに投入し、ロボットタスク向けのエージェント的なツール呼び出しを改善するためにRLによる事後学習を行っている。
2日目の録画 · 11 分YouTube で開く
スポンサー講演

ロボット知能のスケーリング:人間の経験から自己改善するロボットへ(Scaling Robot Intelligence: From Human Experience to Self-Improving Robots)

Yongjian Shen · AGIBOT

Shenは、実運用に根差したAGIBOTのフィジカルAIエコシステムを紹介した。3年間で20,000台超のロボットを生産し、タブレット工場での実運用や広州地下鉄での100台超の導入を含む。オープンなAgiBot Worldデータセット(100万超の軌道を含み、新たなリリースには推論のアノテーションが付く)、タスク推論・将来状態予測・行動生成を組み合わせ、遠隔操作と一人称視点の人間データで訓練されたAGIBOTの最新の世界推論行動モデル、96台のロボットにわたるフリート単位の集合的経験学習、そして実運用の経験を再利用可能なメモリに変えるGenie Masterを取り上げた。最後に、その週に4つの新トラックが追加され、シミュレーション資産の実世界検証も行われたコミュニティ構築型のマニピュレーションベンチマークを紹介した。講演中、いくつかのデモ動画が再生できなかった。

要点
  • 集合的経験学習は96台の実ロボット上で同時に実行され、AGIBOTはこの規模での初の実証だと考えている。
  • 5日間のコンビニエンスストア品出し実験で、Genie Masterはワークフローの成功率を28.6%から85.7%に引き上げた。
  • ベンチマークのシミュレーション資産はsim-to-realギャップを測定できるよう実世界に合わせて調整されており、約20の機関が貢献し、190を超えるチームが利用している。
2日目の録画 · 11 分YouTube で開く
スポンサー講演

Teslaにおけるロボティクス基盤モデルの構築(Building Foundational Models for Robotics at Tesla)

Patrick Cho · Tesla

Choは、Teslaが学習した世界モデルを用いてロバストな方策を構築する方法を、まずCybercabロボタクシー、次にOptimusについて説明した。Teslaは世界モデルを、安全介入後の反実仮想の評価、収集したシナリオ上での新方策の閉ループ評価、そして方策の訓練に用いている。方策の訓練には、因果的で、行動条件付きで、マルチカメラ間で一貫し、低遅延で、物理的に正確なモデルが求められる。彼は生成された稀なシナリオ(落下する枝、ゾウ、水族館の中を走行する場面)や、関節レベルの行動で条件付けたOptimusの歩行とマニピュレーションのロールアウトを正解データと比較して示した。

要点
  • 世界モデルを評価だけでなく訓練に用いると、方策が物理的な不正確さを悪用するため、要求水準が格段に上がる。
  • ロボタクシーの介入は検証に使えないほど稀になっているため、未知のテールシナリオを生成する必要がある。
  • Optimusでロボット自身の物理をモデル化するには対象の身体性からのデータが必要であり、TeslaはこれがOptimusの生産拡大の動機になっているとしている。
  • 世界モデルは社内でゼロから訓練されており、車やロボットの実際の行動で条件付けられた汎用的な動画生成器のように機能する。
2日目の録画 · 11 分YouTube で開く

3日目 · 11月11日(水)

スポットライト S6 · 最適化、エージェント型計画、評価

水 8:30 AM · Hilton Austin · 座長:Negar Mehr

8件
スポットライト

RoboKit:ロボット学習のための並列微分可能最適化の高速化(RoboKit: Accelerating Parallel Differentiable Optimization for Robot Learning)

Jianglong Ye · UC San Diego

全著者

Jianglong Ye1, Xuanbin Peng1, Conor Mc Gartoll1, Changwei Jing1, Lai Wei1, Jiali Chen1, Xueyan Zou1, Xiaolong Wang1

1UC San Diego

著者らは、解析的ヤコビアンと複数の最適化手法を備えた、バッチ化されたカーネルレベルの最適化ツールキットRoboKitを発表した。IK、動作計画、リターゲティング、把持、シミュレーションベースのMPCをカバーする。また、最適化と学習ベースのソルバーを比較し、ニューラル手法が役立つ場面を示した。

要点
  • RoboKitは、既存フレームワークと比べてIKが約10倍、物理リターゲティングが2倍、レンダリングベースのキャリブレーションが16倍高速であり、2,000件のIK問題を約70 msで解くと報告している。
  • IKや動作計画のような良設定問題では、最適化がすでに良好な性能を示し、学習ベースの手法は同等にとどまる。
  • 学習が有効なのは、物理が重要な場合(シミュレーションで訓練した把持)、入力が部分的な点群である場合、そして速度が重要な場合(学習ベースの動作計画は数百倍高速)である。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

軌道拡散のための制御に適した不確実性(Control-Ready Uncertainty for Trajectory Diffusion)

Zhiwei Xue · NUS(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Zhiwei Xue1, Kam Jia Yue1, Jinhang Qiu1, Yifeng Cheng1, Ege Gursoy2, Jiaming Wang1, Vincent bonnet2, Harold Soh1

1NUS2LAAS-CNRS

著者らはSCOPEを提案する。これは拡散モデルのスコアの曲率を読み取り、高コストなモンテカルロサンプリングなしに軌道の不確実性チューブを生成する手法である。これらのチューブは、より安全なナビゲーションとマニピュレーションのために、MPPIの方策事前分布や人間の動きの予測として用いられる。

要点
  • スコアの曲率が鋭ければ軌道分布は狭く(細いチューブ)、スコアが平坦なら広くなるため、不確実性を単一の学習モジュールから得られる。
  • 方策事前分布として用いると狭い通路でのMPPIの衝突が減り、予測として用いるとロボットが歩行者に道を譲るようになる。
  • 人間の手が侵入する実機のピック・アンド・プレースでは、SCOPEを事前分布と予測の両方に用いることで、ロボットが早めに退避してタスクを完了できた。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

事前分布に基づく自由エネルギー最小化による創発的制御(Emergent Control via Prior-Based Free Energy Minimization)

Manish Kolachalam(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Manish Kolachalam, Rani Malhotra

著者らは自由エネルギー原理に従い、制御を事前(選好)状態からの二乗偏差の最小化として定式化し、モデルベース(Mountain Car、高速道路、ゴール到達)とモデルフリー(Walker)の変種を報酬ベースのエージェントと比較評価した。

要点
  • 自由エネルギー目的関数は、PPOに匹敵する運転挙動と、SACより優れたWalkerの長期安定性を達成するが、報酬は低い。
  • 報酬シェーピングと異なりタスク構造に依存せず、シェーピングなしや誤ったシェーピングの報酬では失敗した逆Mountain Carタスクで成功した。
  • Mountain Carとゴール到達では、シェーピングなしのRLより密な最適化ランドスケープとノイズへの高い頑健性をもたらすが、Walkerではそうならない。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

GaP:変動のある自動化タスクのためのGraph-as-Policy型マルチエージェント自己学習ハーネス(GaP: A Graph-as-Policy Multi-Agent Self-Learning Harness For Variational Automation Tasks)

Shuangyu Xie · UC Berkeley

全著者

Kaiyuan Chen1, Shuangyu Xie1, Letian Fu1, Justin Yu1, William Pacini1, Sandeep Bajamahal1, Hudson Kim1, Jaimyn Drake1, Daehwa Kim1, Haoru Xue1, Jonathan Francis2, Christian Juette2, Peter Schaldenbrand2, Muhammet Yunus Seker2, Ruwan Wickramarachchi2, Uksang Yoo1, Guanzhi Wang3, Adithyavairavan Murali3, Balakumar Sundaralingam3, S. Shankar Sastry1, Yuke Zhu3, Linxi Fan3, Spencer Huang3, Ken Goldberg1

1UC Berkeley2Bosch3NVIDIA

GaPは、ロボットプログラムを計算グラフとして構造化し、そのサブグラフをコーディングエージェントが記述・テスト・修復する仕組みであり、変動のある自動化タスクを対象とする。エージェントハーネスはシミュレーション内で自己学習し、スマートフォンの動画からreal-to-sim環境を構築できる。

要点
  • コードをグラフとして構造化することで、エージェントが書いた方策の解釈可能性が保たれ、エージェントをループに入れずにロボット上で実行できる。
  • シミュレーションでの自己学習により、平行グリッパーのみで物体を調査・選択・反転・確認するといった複合的な戦略が生まれた。
  • シミュレーションの物理が現実と食い違った場合、GaPは実世界の動画を用いてシミュレーションとグラフの両方を更新した(例:左グリッパーでバーを安定させる)。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

遊びを通じたエージェント型ロボット学習(Playful Agentic Robot Learning)

Junyi Zhang, Jiaxin Ge · UC Berkeley

全著者

Junyi Zhang1, Jiaxin Ge1, Hanjun Yoo1, Letian Fu1, Zihan Yang2, Yaowei Liu2, Raj Saravanan1, Shaofeng Yin2, Justin Yu1, Dantong Niu1, Zirui Wang1, Roei Herzig1, Ken Goldberg1, Yutong Bai1, David M. Chan1, Ion Stoica1, Angjoo Kanazawa1, Jiahui Lei1, Haiwen Feng1,2, Trevor Darrell1

1UC Berkeley2Impossible Research

著者らは、身体を持つコーディングエージェントのチームに、シミュレーション内での自発的な遊びを通じて練習させる。エージェントは学習可能なタスクを提案し、制御コードを書いてデバッグし、成功したルーチンを固定されたスキルライブラリに保存して、後から外部で指定されるタスクに利用する。

要点
  • 遊びにより、ホールドアウトしたLIBERO-Proタスクでの成功率が、遊びなしのコードエージェントと比べて20.6ポイント、2つ目のベンチマークでは17ポイント向上した。
  • 遊びから得られたライブラリは別のエージェントにも転用でき、別のベンチマークで8.9ポイント上乗せした。
  • 把持選択や引き方向のヘルパーなど、シミュレーションでの遊びで学んだスキルは、実世界での遊びやファインチューニングなしに、2つの立方体を入れ替えるといった実機タスクへと組み合わされた。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

Meta-Ctrl:構文的制約と意味的制約の分離による保証付き計画生成(Meta-Ctrl: Guaranteed Plan Generation by Decoupling Syntactic and Semantic Constraints)

Gwen Yidou-Weng, Edward Sun · UCLA

全著者

Gwen Yidou-Weng1, Edward Sun1, Tianyi Ma2, Metin Alp Dogan1, Benjie Wang1, Allen Peng1, Guy Van den Broeck1, Yuchen Cui1

1UCLA2Michigan State University

Meta-Ctrlは、LLMが生成するロボットの計画が、前提条件とゴール到達可能性の両方を含む計画全体のルールを満たすことを保証する制約付きデコーディング手法である。部分的な計画がまだゴールに到達しうる確率を1回の後退パスで計算し、行動レベルのメタトークンごとに世界を追跡しつつ、構文は別途検査する。

要点
  • ステップごとのマスクは不正な行動を検出できるが、停滞したりゴールに到達しなかったりする計画は防げないため、ゴールへの先読みが必要である。
  • 各行動を1つのメタトークンとして扱い、構文と世界状態を分離することで、状態爆発(トークンレベルの手法では約3.5億状態、100 TB超)を回避できる。
  • VirtualHomeでは、Llama 3Bの成功率が20%から90%に上昇し、実機での計画は20/20回で有効であった。誘導なしのモデルでは約2回であった。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

対話型ロボット計画における意図の曖昧性解消のためのベイズ能動学習(Bayesian Active Learning for Intent Disambiguation in Interactive Robot Planning)

Huao Li · MIT

全著者

Huao Li1, Carson Sobolewski1, Augustinos D Saravanos1, Yew Teck Tan2, John Karigiannis2, Chuchu Fan1

1MIT2GE Vernova

著者らは、時相論理(STL)を意図の明確化と計画とを結ぶ共通表現として用いる。タスク仕様に対するベイズ的信念を保持し、能動学習によって情報量の多い確認質問を選択したうえで、推定したSTLを形式的プランナーに渡す。

要点
  • LLMだけに明確化を任せると、環境の文脈を見落としうる表面的な質問しか生まれない。
  • タスク仕様の学習済み潜在空間からサンプリングすることで、LLMが見落としがちな意図を探索しやすくなる。
  • 四脚ロボットによる工場点検シナリオで、このフレームワークはより少ない質問でタスク成功率を向上させた。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

ATOM-Bench:マニピュレーション方策における原子的スキルと構成的汎化のための実世界ベンチマーク(ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies)

Zenan Wu · BAAI / Peking University(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Zenan Wu1,2, Bingqing Wei1,2, Lu Liu1, Zheqi He1, Wang Xi1, liujiakang1, lizehui1,2, Guocai Yao1, Jing-Shu Zheng1, Xi Yang1, Yongtao Wang2

1BAAI2Peking University

ATOM-Benchは、方策を原子的な運動スキルと指示スキルのみでファインチューニングし、ホールドアウトした合成タスクでそれらのスキルを組み合わせ直せるかを検証する実世界ベンチマークである。タスク完了、部分的な進捗、原子的能力、診断スコアを報告する。

要点
  • このベンチマークは、Frankaともう1つのロボットプラットフォームにわたり、6種類の運動アトムと7種類の指示アトムを定義している。
  • 5つの方策を通じて、単純な指示のグラウンディングは最も容易である一方、精密な運動制御、数え上げ、合成的汎化は依然として難しい。
  • 個々のアトムをすべて成功させる方策でも、それらを1つのタスク内で組み合わせる必要がある場合には失敗しうる。
3日目午前の録画 · 3 分YouTube で開く

スポットライト S7 · ヒューマノイドの歩行と全身制御

水 9:00 AM · Hilton Austin · 座長:Roberto Martín-Martín

9件
スポットライト

Kamino:運動学的ループを含む剛体マルチボディ物理のGPUベースシミュレーション(Kamino: GPU-based Simulation of Rigid Multi-Body Physics with Kinematic Loops)

Vassilios Tsounis · Disney Research

全著者

Vassilios Tsounis1, Guirec Maloisel1, Christian Schumacher1, Ruben Grandia1, Agon Serifi1, David Müller1, Chris Amevor2, Tobias Widmer2, Moritz Bächer1

1Disney Research2NVIDIA

Kaminoは、NVIDIAのNewtonフレームワークに含まれるGPUベースの物理ソルバーであり、運動学的ループを持つ剛体多体系の大規模並列シミュレーションを行う。Disneyの複雑なオーディオアニマトロニクスのフィギュアが動機となっている。講演中、発表者のスライドと動画の同期がずれた。

要点
  • Kaminoは制約付き最大座標定式化を用いており、運動学的ループ、多点接触の連成、大きな質量比を扱いつつ、大きな時間ステップでも安定である。
  • 数千の異種の世界を同時にシミュレートできるため、単一のRL方策で脚の本数が異なるantの変種を制御できる。
  • Newtonには6つの運動学的ループを持つ公開デモ用の二足歩行ロボットが同梱されており、Kaminoは解析的なトイ問題でXPBDおよびMJWarpと比較検証された。
3日目午前の録画 · 4 分YouTube で開く
スポットライト

PHUMA:物理的に信頼性の高いヒューマノイド歩行データセット(PHUMA: Physically Reliable Humanoid Locomotion Dataset)

Kyungmin Lee · KAIST

全著者

Kyungmin Lee1, Sibeen Kim1, Youngdo Lee2,3, Minho Park1, Hyunseung Kim1,2, Dongyoon Hwang1, Donghu Kim3, Hojoon Lee3, Jaegul Choo1

1KAIST2KRAFTON3Holiday Robotics

PHUMAは、モーションキャプチャとインターネット動画から構築された73時間のヒューマノイド歩行データセットである。物理的に不正な動きは除外され、残りは物理を考慮した正則化とともにG1とH1にリターゲティングされる。

要点
  • 著者らは、物理的な信頼性はデータセットの規模と同じくらい重要だと主張する。小規模でクリーンなデータセット(LAFAN)も、大規模でノイズの多いデータセット(Humanoid-X)も、いずれも劣る。
  • リターゲティングでは、関節限界の違反、浮遊、貫通、足の滑りにペナルティを課す。
  • PHUMAで訓練したトラッカーは未知の動きで最も高い成功率を示し、ハードウェアへゼロショットで転移し、動画データを追加するほど性能が向上した。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

LadderMan:知覚に基づくヒューマノイドのはしご登りの学習(LadderMan: Learning Humanoid Perceptive Ladder Climbing)

Siheng Zhao · Amazon FAR / USC(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Siheng Zhao1,2, Yuanhang Zhang1, Ziqi Lu1, Pieter Abbeel1,3, Rocky Duan1, Koushil Sreenath1,3, Yue Wang2, Karen Liu1,4, Guanya Shi1,5

1Amazon FAR2USC3UC Berkeley4Stanford University5Carnegie Mellon University

LadderManは、ヒューマノイドが知覚を用いて多様なはしごを登り、はしごの上でマニピュレーションを行えるようにする。単一の参照モーションからハイブリッドなモーショントラッキングで訓練したエキスパート方策を、深度ベースの単一の視覚運動方策に蒸留する。

要点
  • 上半身のトラッキングを緩和し、はしご中心の接触報酬としがみつき報酬を用いることで、大規模なモーションデータセットが不要になる。
  • 深度基盤モデルにより、大掛かりな深度ランダム化や手動調整なしにsim-to-realの深度ギャップが縮まる。
  • 下半身の安定化と上半身のマニピュレーションを分離するデュアルエージェント構成により、はしごの上での電球交換や箱の受け渡しといったタスクが可能になる。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

TactileStep:ヒューマノイド歩行における足と地形の相互作用を調整するための足裏触覚学習(TactileStep: Sole Tactile Learning for Regulating Foot--Terrain Interaction in Humanoid Locomotion)

Zizhuo Wang · Tsinghua University(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Zizhuo Wang1, Ming-Ju Lee1, Shaoting Zhu1, Haozhe Lou1, Hang Zhao1, Yiming Li1

1Tsinghua University

TactileStepは、ヒューマノイドの歩行に足裏の圧力センシングを加える。インソールの読み取り値を法線力、接触面積、圧力中心に圧縮し、Unitree G1上で接地、着地時のピーク、立脚支持を調整するフェーズ別の報酬を用いる。

要点
  • 3つのコンパクトな触覚特徴はセンサ配置に依存しないため、同じ特徴をシミュレーションでもハードウェアでも使える。
  • ベースラインと比べ、TactileStepはより柔らかく静かに着地し、特に階段において、立脚中に足裏のより広い部分を接地させ続ける。
  • 同じ報酬で触覚入力なしに訓練した変種では利点の多くが失われたことから、センシングそのものが重要であることがわかる。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

OpenHLM:全身ヒューマノイド・ロコマニピュレーションのための経験的レシピ(OpenHLM: An Empirical Recipe for Whole-Body Humanoid Loco-Manipulation)

Haodong Zhu · Tsinghua University

全著者

Yingdong Hu1,2,3, Haodong Zhu1, Boyuan Zheng1,2, Yihang Hu1,2, Tong Zhang1,2,3, Zunhao Chen1, Junming Zhao1, Ruiqian Nai1, Yang Gao1,2,3

1Tsinghua University2Shanghai Qi Zhi Institute3Spirit.AI

OpenHLMは、全身ヒューマノイドVLAを機能させる要因についての実証研究である。pi-0で初期化した高レベル方策とSONIC低レベルトラッカーを用い、遠隔操作インターフェース、VLAの設計、より安価なデータソースを検討している。

要点
  • 全身の遠隔操作により足を使えるようになり、関節空間でのリターゲティングは平均タスク進捗88%に達した。SMPLベースのターゲットでは75%であった。
  • 相対的な行動ターゲットの使用と身体状態の知覚の除外を同時に行うと、壊滅的な失敗が生じた。
  • 静止状態での遠隔操作データと人間(UMI方式)データを追加すると、新しい物体や指示での進捗が36%から84%に向上し、完全なレシピでは半分未満のデモンストレーション時間で長期の果物タスクにおいて87.5%に達した。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

疎なオフラインからオンラインへのRLによるSMPCデモンストレーションからのロコマニピュレーション学習(Learning Loco-Manipulation From SMPC Demonstrations With Sparse Offline-to-Online RL)

Martin Schuck · RAI Institute / TU Munich

全著者

Martin Schuck1,2, Maks Sorokin1, Simone Manni1,3, Duy Ta1, Angela P. Schoellig2, Marco Hutter1,3, Simon Le Cleac'h1, Jan Brüdigam1

1RAI Institute2TU Munich3ETH Zurich

著者らは、シミュレーション内でGPUによるサンプリングベースMPCをスケールさせ、ロコマニピュレーションのデモンストレーションからなる大規模なオフラインデータセットを構築する。その後、オフラインからオンラインへのRL(FastTD3)を用いて疎報酬で訓練し、手作業による密な報酬シェーピングを回避する。

要点
  • サンプリングベースMPCは訓練を必要とせず、シミュレーション内で数分のうちに良好な挙動まで反復改善できるため、安価なエキスパートとなる。
  • 疎報酬のみで訓練した方策は、アーム付きのSpotへゼロショットで転移し、箱押しやタイヤ転がしもこなした。
  • 同じパイプラインはUnitree G1でも機能し、クロスエンボディメントへの適用可能性を示した。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

CMP:能力多様体射影によるロコマニピュレーションのための頑健な全身トラッキング(CMP: Robust Whole-Body Tracking for Loco-Manipulation via Competence Manifold Projection)

Ziyang Cheng · Tsinghua University(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Ziyang Cheng1, Haoyu Wei1, Hang Yin1, Xiuwei Xu1, Bingyao Yu1, Jie Zhou1, Jiwen Lu1

1Tsinghua University

Competence Manifold Projectionは、実行不可能または分布外の指令を、方策が真に習得している行動へ射影することで、全身トラッカーをそうした指令に対してロバストにする。MDPを単一ステップの安全性テストに帰着させ、GAE方式の能力推定を用い、同型な潜在空間において1回のノルム検査で補正を行う。

要点
  • 壊滅的に失敗する代わりに、ロボットは最善を尽くす。例えば、箱がない場合は段差を上る動作を前に踏み出す動作に変え、椅子がないのに座るよう指示されるとしゃがむ。
  • OOD指令下での実世界における生存率(転倒しなかった割合)は0%から87%に上昇し、追加の遅延やトラッキング誤差はごくわずかであった。
  • この安全性は分布内の俊敏性を損なわず、ジンバルのようなエンドエフェクタの保持や空中での物体キャッチも引き続き可能である。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

ResSafe:ヒューマノイドのための残差強化学習による安全フィルタリングの学習(ResSafe: Learning Safety Filtering with Residual Reinforcement Learning for Humanoids)

Gechen Qu · UC Berkeley

全著者

Gechen Qu1, Tong Zhang1, Bike Zhang1, Yen-Jen Wang1, Koushil Sreenath1, Claire Tomlin1, Jason Jangho Choi2

1UC Berkeley2UCLA

ResSafeは、性能のみを目的としたヒューマノイド方策を固定し、安全のための補正を加える残差RL方策を訓練する。報酬は単純に、生存している各ステップごとに+1で、補正に小さなペナルティを課すものである。

要点
  • 安全性と性能を分離することで、両方の目的で単一の方策を訓練するよりも良いトレードオフが得られた。
  • cart-poleでは、学習した残差は識別超平面に基づく最小限の安全フィルタとよく一致し、マージンはやや大きかった。
  • ランダムなペイロードを持つG1では、ResSafeはベースラインよりはるかに転倒が少なく、未知の参照方策にも汎化した。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

全身視覚・言語・行動モデルによる雑然とした環境でのヒューマノイドナビゲーション(Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model)

Yuxin Chen · UC Berkeley / NVIDIA

全著者

Anqi Li1,2, Yuxin Chen1,3, Zhaobo Li1, Zhuo Cao1,4, Junli Ren1,5, Masayoshi Tomizuka1, Dhruv Shah6

1UC Berkeley2Peking University3NVIDIA4Tsinghua University5The University of Hong Kong6Princeton University

著者らは、雑然とした屋内環境を通り抜けるヒューマノイドのナビゲーションのための、3システム構成の全身VLAを提示する。ナビゲーション基盤モデル、リアルタイムチャンキングを備えた拡散Transformerのアクションエキスパート、RLによる低レベルトラッカーを、言語付きの64,000本超のシミュレーション軌道で訓練する。

要点
  • 平面2Dの行動空間では、腕・胴体・歩容の協調を必要とする3D障害物の間のナビゲーションが制限される。
  • 訓練データは完全にシミュレーション由来であり、上半身の回避にはポテンシャル場を、下半身には足運びのリターゲティングを用いる。
  • このモデルは2Dおよび3Dナビゲーションのベンチマークで最先端の結果を報告しており、リモート推論により実機のUnitree G1上で動作する。
3日目午前の録画 · 3 分YouTube で開く

スポットライト S8 · 知覚、ナビゲーション、自律システム

水 9:30 AM · Hilton Austin · 座長:Hang Zhao

9件
スポットライト

VisionSIM:理想化されたセンサを超えて — ロボット知覚のためのマルチモーダルシミュレータ(VisionSIM: Beyond Idealized Sensors — A Multi-Modal Simulator for Robot Perception)

Sacha Jungerman · UW–Madison

全著者

Sacha Jungerman1, Kaustubh Sadekar2, Avery Gump1, Sriram Narayanan3, Shantanu Gupta1, Bhuyashi Deka1, Srinivasa Narasimhan3, Atul Ingle2, Mohit Gupta1

1UW–Madison2Portland State University3Carnegie Mellon University

VisionSIMは、センサのリアリズムを最重要の関心事として扱う、物理に基づくマルチセンサシミュレータである。カメラ、イベント、SPAD、ToF(time-of-flight)、熱センサを、生の計測値と設定可能なパラメータでモデル化する。

要点
  • 既存のシミュレータは、少数のモダリティを高忠実度で扱うか、多数のモダリティを理想化されたモデルで扱うかのいずれかであり、VisionSIMはこのトレードオフの限界を押し広げることを目指している。
  • 環境光による劣化、ブラー、ToFの位相折り返し、履歴に依存する熱的効果といった失敗モードが、センサの物理から自然に現れる。
  • 著者らは、正解アノテーション付きの大規模な同期マルチモーダル屋内データセットを公開している。
3日目午前の録画 · 4 分YouTube で開く
スポットライト

MosaicIMU:汎化可能なニューラル慣性オドメトリのためのキャリア別エキスパートの合成(MosaicIMU: Composing Carrier Experts for Generalizable Neural Inertial Odometry)

Junye Zou · Tsinghua University(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Junye Zou1, Huiyi Yan2, Xinning Xu3, Xiaolei Li4, Pengkun Zhou1, Jinhui Zhang5, Ziyang Meng1

1Tsinghua University2Xi'an Jiaotong University3Beijing University of Chemical Technology4Beijing Information Science and Technology University5Beijing Institute of Technology

MosaicIMUは、異種プラットフォームにわたるニューラル慣性オドメトリのための、キャリア条件付きMixture-of-Expertsである。予測した速度を履歴を考慮したEKFで融合し、オフライン適応のための軽量な残差ブランチと、オンライン適応のためのルーターベースのサンプル選択という2つの適応モードを備える。

要点
  • キャリアごとの固定ヘッドはキャリアの識別を硬直的に扱うのに対し、サンプルごとにエキスパートの特徴を組み合わせる方が転移性能が高い。
  • 事前学習済みMosaicIMUは、キャリア全体で平均ATEとRTEをそれぞれ40%と34%削減した。
  • Jetson Orin上で動作するキャンパス車両でのオンライン適応では、軌道誤差が42.60 mから7.60 mに減少した。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

Anchor3R:長期的な視覚マッピングのための一時的アンカーを用いたストリーミング3D再構成(Anchor3R: Streaming 3D Reconstruction with Transient Anchors for Long-Horizon Visual Mapping)

Peilin Tao · Institute of Automation, Chinese Academy of Sciences / University of Chinese Academy of Sciences / Horizon Robotics

全著者

Peilin Tao1,2,3, Chong Cheng3,4, yuansen du3, Caiwei Song3, Zhengqing Chen3, Xiaoyang Guo3, Wei Yin3, Weiqiang Ren3, Qian Zhang3, Hainan Cui1,2, Shuhan Shen1,2

1Institute of Automation, Chinese Academy of Sciences2University of Chinese Academy of Sciences3Horizon Robotics4HKUST (Guangzhou)

Anchor3Rは、現在のフレームを固定の参照ではなく一時的なアンカーとして扱うことで、長期にわたるストリーミング3D再構成を行う。有界なウィンドウ内で相対姿勢を予測し、オンラインのモーション平均化とループクロージャを組み合わせる。

要点
  • 48フレームのクリップのみで訓練されているにもかかわらず、約12,000枚の画像、3 km近くに及ぶルートを再構成する。
  • アンカーが移動したときに姿勢クエリを再構築することで、古い座標の仮定が伝播するのを防ぎ、訓練と推論の一貫性を保つ。
  • 固定サイズのウィンドウによりGPUメモリの使用量が抑えられ、チャンクのリセットやチャンク間の位置合わせが不要になる。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

SidewalkBench:都市の歩道における視覚ナビゲーションのベンチマーク(SidewalkBench: Benchmarking Visual Navigation on Urban Sidewalks)

Zhizheng Liu · UCLA

全著者

Zhizheng Liu1, Honglin He1, Vivek Alumootil1, Akshat Pandya2, Brad Squicciarini2, Wayne Wu1, Bolei Zhou1,2

1UCLA2Coco Robotics

SidewalkBenchは、都市の歩道におけるカメラのみの視覚ナビゲーションのための、GPUシミュレーションベースのベンチマークである。手続き的に生成したシーンと実スキャンのシーンを、イベントで発火する歩行者の振る舞いと組み合わせ、単体テスト、歩行者への反応、長期の各シナリオを評価する。

要点
  • 評価した9つのモデルのうち、歩道データで訓練したモデルは汎用ナビゲーションモデルを大きく上回り、データを増やすとさらに改善する。
  • 横断歩道や停止のジェスチャーなどの歩行者とのインタラクションは、ほぼすべてのモデルにとって大きな弱点である。
  • 最良のモデルでさえ、長期ルートで100 mあたり平均0.68回の失敗を起こす。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

視覚言語ナビゲーションにおける領域到達からインスタンスレベルのグラウンディングへ(From Region Arrival to Instance-Level Grounding in Vision-and-Language Navigation)

Xiangyu Shi · Adelaide University(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Xiangyu Shi1, Ruoxi Yang2, Wei Tao2, Jiwen Zhang3, Yanyuan Qiao4, Qi Wu1

1Adelaide University2Ruyi Dynamics3Fudan University4EPFL

著者らは、視覚言語ナビゲーションにおける「最後の3メートルのグラウンディングギャップ」を指摘する。エージェントは半径内に入れば成功とみなされるが、目標の方を向いていない、あるいは目標が見えていないという問題である。インスタンスレベルの評価指標、新しいデータセット、そしてプラグアンドプレイの洗練モジュールREALMを提案する。

要点
  • 真の成功とは、目標物体の近くで停止し、その方を向き、それが見えていることを要件とすべきである。
  • REALMは一人称視点のRGBと指示文のみを用い、可視性を考慮した停止を行い、OWLv2で目標をグラウンディングする。バックボーンの変更は不要である。
  • UniNaVidに続く形で実機ロボット上で、またナビゲーションと把持を組み合わせたタスクでUnitree G1上で実証された。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

OSCAR:適応的ロボットナビゲーションのための障害物生存曲線(OSCAR: Obstacle Survival Curves for Adaptive Robot Navigation)

Hshmat Sahak · University of Toronto(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Hshmat Sahak1, Aoran Jiao1, Nicholas Rhinehart1, Timothy Barfoot1

1University of Toronto

OSCARは、ルートネットワーク上で障害物がどのくらい残り続けるかについて、クラスごとの生存関数を学習する。それを用いて遭遇ごとに待機の許容時間の閾値を設定し、待つか迂回するかを判断する。各障害物の分類にはVLMを用いる。

要点
  • 常に待つ、常に迂回する、人の場合だけ待つといった固定ルールは、特定の環境で障害物が実際にどのくらい残るかを無視しているため、時間を浪費する。
  • 迂回すると右側打ち切りの観測が生じるが、生存モデルはこれを自然に扱える。
  • シミュレーションにおいて、OSCARは経験とともに改善し、真の生存関数を持つオラクルに迫り、ヒューリスティックなベースラインを上回る。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

TRIAD Planner:自動運転のための3階層の頑健な模倣学習(TRIAD Planner : Three-Level Robust Imitation Learning for Autonomous Driving)

Jiyun Kim · KAIST

全著者

Jiyun Kim1, Ahmad Mouri Zadeh Khaki1, Kyunghwan Choi1

1KAIST

TRIADは、Transformerベースの運転プランナーにおける分布シフトに3つのレベルで対処する。自車状態への過剰なアテンションを抑制し、オフラインでVLMから導出したエージェント優先度のガイダンスを加え、軌道選択時にCVaRに基づくテールリスクの重み付けを用いる。

要点
  • 模倣学習によるプランナーは自車状態の特徴に近道しがちであり、例えばエキスパートが歩行者のために停止した場面で加速してしまう。
  • 訓練時にのみ用いるVLMの優先度重みにより、横断中の歩行者など関連するエージェントへアテンションが向けられる。
  • 推論時間を増やすことなく、閉ループのnuPlanでの性能が向上する。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

運用制約下のUAV-UGVチームのための、マスク付き誤差有界ニューロシンボリック拡散による協調計画(Collaborative Planning for UAV-UGV Teams under Operational Constraints via Masked Error-bounded Neuro-Symbolic Diffusion)

Zihao Deng · UMass Amherst(録画で発表者名が言及されていないため、筆頭著者を表示)

全著者

Zihao Deng1, Qianhuang Li1, Maggie Wigness2, John G. Rogers III2, Donghyun Kim1, Hao Zhang1

1UMass Amherst2DEVCOM Army Research Laboratory

著者らは、UGVが移動式の充電ステーションとして機能するUAV-UGVチームの共同行動を、マスク付きのニューロシンボリック拡散モデルで計画する。論理から導かれる許容性により、サンプリング中にエネルギー、走行可能性、充電の各制約を強制する。

要点
  • 異種グラフの文脈上の一階論理ルールにより、厳格な運用制約を拡散サンプリングの内部で強制できる。
  • 誤差有界な推論スケジューリングは、予測エントロピーを最小化することで次にアンマスクする位置を選び、計画の最適性を向上させる。
  • この手法は、ROSによる都市シミュレーションと、Crazyflie UAVおよびLIMO UGVを用いた複合現実環境で検証された。
3日目午前の録画 · 3 分YouTube で開く
スポットライト

SCoCaT:宇宙機ドッキングのための成功条件付き制約付き強化学習(SCoCaT: Success Conditioned Constrained Reinforcement Learning for Spacecraft Docking)

Aman Arora · University of Luxembourg

全著者

Aman Arora1, Ricard M Castan1, Matteo El-Hariry1, Miguel Olivares-Mendez1

1University of Luxembourg

SCoCaTは、宇宙機のドッキングのようなゴール到達タスクにおいて、終了ベースの制約付きRL(CaT)で生じる、エージェントが違反を避けるためにゴール付近でホバリングし続けるという失敗モードを解決する。早期終了を越えてリターンをブートストラップする成功criticを追加する。

要点
  • 著者らは係数kappaを導出し、確率的な終了がゴール付近の価値をどのように縮小させ、ホバリング挙動を引き起こすかを説明する。
  • PPO内で成功criticと減衰させたCaTストリームのアドバンテージを足し合わせることで、制約違反なしにゴール到達が回復する。
  • この手法はフローティングプラットフォーム上でタスク完了を250倍に増加させ、スラスタを備えた実機テストベッドへゼロショットで転移した。
3日目午前の録画 · 3 分YouTube で開く

基調講演 III

水 3:00 PM · Bass Hall · 座長:Yuke Zhu & Peter Stone

1件
基調講演

Atlas:生成と再構成のための統一世界モデル(Atlas: A Unified World Model for Generation and Reconstruction)

Fei-Fei Li · Stanford University / World Labs

かつての博士課程の教え子であるYuke Zhuの紹介を受けて、Fei-Fei Liは、ロボティクスの中核的なニーズ(世界の表現、行動の結果の予測、データのシミュレーション)は世界モデリングの問題に対応すると主張した。彼女はWorld LabsのAtlasを紹介した。これはゼロから訓練されたマルチモーダルな自己回帰型拡散Transformerであり、テキスト、画像、動画、深度、グレーボックスを入力として受け取り、カメラ条件付きのフレームを出力する。Atlasは密な再構成、少数視点からの疎な再構成、純粋な生成を1つのモデルでカバーしており、地上から撮影した2枚、8枚、33枚の写真からStanfordのMain Quadを再構成する例で示された。第三者によるカメラ制御生成での高い評価結果、深度およびGaussian Splatting再構成の結果、リアルタイムで15 fpsで動作する蒸留版、そしてロボットのsim-to-realへの初期の応用例を示した。予定されていたプロモーション動画の初公開はAVトラブルにより失敗し、終盤に長い中断が生じた。

要点
  • LiはAtlasの中核的なアイデアを「viewpoint is all you need」と表現する。強力なカメラ条件付けのもとで次の視点を予測するもので、次トークン予測に類似している。
  • 1つのモデルが、密な再構成から疎な再構成、テキストのみからの生成までの全範囲をカバーする。
  • 約50万件の人間による判定を含む第三者ベンチマークで、Atlasはカメラ制御生成において明確な差をつけて1位となった。
  • Atlasは7つのデータセットにわたる深度予測で専門モデルを上回り、Gaussian Splatting再構成誤差でも競争力があった。
  • 蒸留されたリアルタイム版は15 fpsで動作し、World LabsはAtlasの世界をナビゲーションおよびマニピュレーションロボットの訓練に用い、ゼロショットでの実世界への実運用を検証している。
Fei-Fei Li on stage49:10 – 1:16:22
3日目午後の録画 · 27 分 · YouTube で再生

対談

水 3:00 PM · Bass Hall · 座長:Yuke Zhu & Peter Stone

1件
対談

対談:Fei-Fei Li & Lisa Su(Fireside Chat: Fei-Fei Li & Lisa Su)

Fei-Fei Li (Stanford University / World Labs), Lisa Su (AMD), Peter Stone (UT Austin / Sony AI; moderator)

Peter Stoneが司会を務め、Lisa Su(AMD会長兼CEO)とFei-Fei Liが対談した。AMDによるWorld Labsの買収手続きが進行中であることと、LiがAMDのチーフサイエンティストに就任予定であることが背景にある。Suは、フィジカルAIとロボティクスを数千億ドル規模の機会と表現し、ハードウェアとソフトウェアの協調設計と、クラウドからエッジまであらゆる規模の計算資源が必要だと述べた。Liは、AIとは計算であると主張し、公的セクターに十分な資源を配分していないことを現在の最大の失策の1つと呼んだ。SuはAMDとして学術研究に計算資源を提供することを約束した。聴衆からの質問に答え、AMDがロボティクスチームを持つかどうか、博士号は今でも取る価値があるか、省電力なAIと脳の20ワットとの比較、学生へのアドバイスについて議論した。

要点
  • Suは、あらゆる応用で勝つ単一のモデルは現れないと見ている。フロンティアLLMは、より安価で電力効率が高く低遅延な専門モデルによって補完されるだろう。
  • Liは、ロボティクスが訓練とエッジの両面で計算を次のレベルへ押し上げると考えている。
  • Liは、ブルースカイ研究、人材育成、AIの独立した評価にとって公的セクターの計算資源が不可欠であるとし(NAIRRの取り組みを例に挙げて)、その整備を求めた。
  • Suは、AMDにはすでにロボティクスとフィジカルAIの研究活動があり、Liのもとで投資を大幅に拡大する計画だと述べた。
  • 両者とも、好奇心に突き動かされる人にとって博士号は価値があると述べた。Liは、脳の効率は数十億年の進化を反映したものであり、訓練コストと混同すべきではないと指摘した。
  • 最後のアドバイスは、好奇心、誠実さ、恐れを知らないことといった普遍的な価値を持ち続けること(Li)と、最も難しい問題に向かって走ること(Su)であった。
Fei-Fei Li on stage1:16:22 – 1:50:52
3日目午後の録画 · 35 分 · YouTube で再生

パネルディベート

水 4:00 PM · Bass Hall · 座長:Vincent Vanhoucke

1件
パネル

ディベート:「行動クローニングによる事前学習とドメイン内ファインチューニングという現在のレシピは、商業的に実用可能な汎用ロボットにつながる」(Debate: "The current recipe of behavior cloning pre-training and in-domain fine-tuning will lead to commercially viable generalist robots")

Vincent Vanhoucke (Waymo), Chelsea Finn (Stanford University / Physical Intelligence), Pulkit Agrawal (MIT / Eka Robotics), Marc Toussaint (Technical University Berlin), Leslie Kaelbling (MIT), Edward Johns (Imperial College London / Machenta), Yonatan Bisk (Carnegie Mellon University)

Vincent Vanhouckeが司会を務め、「行動クローニングによる事前学習とドメイン内ファインチューニングという現在のレシピは、商業的に成立する汎用ロボットにつながる」という論題について正式なディベートが行われた。彼は「汎用」を、明確に規定されたドメイン内でエンドユーザーがゼロショットで別タスクに切り替えられること、「商業的に成立する」を顧客からの収益で利益が出ることと定義した。Chelsea Finn、Pulkit Agrawal、Marc Toussaintは賛成側に立ち、大規模なドメイン内データ、信頼性に向けた最適化、ピック・アンド・プレースのように狭いが収益性の高いドメインを根拠に挙げた。Leslie Kaelbling、Edward Johns、Yonatan Biskは反対側に立ち、人間のデモンストレーションで状態空間をカバーするコスト、異種混在のアーキテクチャ、模倣を超えた推論の必要性を指摘した。ディベート前後の聴衆投票では会場は反対寄りであり、意見の変化はほとんどなかった。

要点
  • Finnは、信頼性こそが商業的価値の鍵であり、それは大規模なドメイン内データと成功に向けて最適化された事後学習から生まれると主張する。LLMが有用になったのもこの方法による。
  • Kaelblingは、物理的タスクは言語と異なり学習可能なように設計されたものではないため、BCは「爆発的な汎化」を示していないと主張し、また学習されたモデルは方策よりも分解しやすいと述べる。
  • Johnsは、タスク固有のデータ収集に人を雇うことはほとんどのタスクで採算が合わない(洗濯物たたみは例外)と主張し、有望な道としてシミュレーションを挙げる。
  • Agrawalは、システム2の計画はLLMによってほぼ解決されており、ボトルネックはシステム1の接触の多い制御であって、適切な指標は精度ではなくスループット(速度×信頼性)だと主張する。
  • Toussaintは、最良の科学ではないにせよ、狭い商業ドメインならデータでカバーできると主張する。一方Biskは、模倣だけでは安全性が重要な実運用に必要な、未知の状況についての推論は生まれないと主張する。
  • ディベートの多くは、シミュレーションやRLによるファインチューニングが「現在のレシピ」に含まれるかどうかといった定義をめぐって展開された。
Vincent Vanhoucke on stage1:52:41 – 2:40:50
3日目午後の録画 · 48 分 · YouTube で再生

閉会、表彰、お別れの挨拶

水 5:00 PM · Bass Hall

2件
閉会

音楽の幕間:ロボットが指揮する弦楽四重奏(Musical Interlude: Robot-Conducted String Quartet)

Peter Stone · UT Austin

ジェネラルチェアのPeter Stoneが、チェロのShu Scott、ヴィオラのAlan Chen、ヴァイオリンのMary Brownという、いずれもUT Austinにゆかりのあるメンバーとの弦楽四重奏でヴァイオリンを演奏した。ドヴォルザークの弦楽四重奏曲「アメリカ」の終楽章と、Turtle Island String Quartetの「Spider Dreams」を演奏した。ロボットが指揮をする予定であったが、技術的な不具合により登場しなかった。その後Yuke ZhuがStoneに謝意を述べ、表彰について予告した。

要点
  • 予定されていたロボット指揮者は技術的な不具合により登場せず、Stoneはこれをこの日のもう1つのAVトラブルだと冗談を言った。
  • この幕間は、トップ研究者が他の分野でも秀でうることを示すものとして位置づけられた。
  • 幕間はそのまま閉会式と最優秀論文賞の発表へとつながった。
Peter Stone on stage2:40:52 – 2:57:37
3日目午後の録画 · 17 分 · YouTube で再生
閉会

閉会の挨拶・表彰式・お別れ(Closing Remarks, Awards & Farewell)

Yuke Zhu (UT Austin / NVIDIA), Georgia Chalvatzaki (TU Darmstadt), Katerina Fragkiadaki (Carnegie Mellon University), Vincent Vanhoucke (Waymo), Ken Goldberg (UC Berkeley), Peter Stone (UT Austin / Sony AI)

ジェネラルチェアのYuke Zhuは、組織委員会、査読者、Robot Learning Foundation、約75名のボランティア、スポンサーに謝意を述べ、今年の会議の規模がおよそ3倍になったことに触れた。表彰委員長のKaterina Fragkiadakiは、委員会が21本の口頭発表論文すべてを読み、6本の最終候補(SuperMimic、Play2Perfect、GRAIL、RoboTTT、What Are We Actually Benchmarking in Robot Manipulation?、および蒸留木探索による再配置の論文)を選び、2本の受賞論文を決定したと説明した。最優秀学生論文賞はRoboTTTに、最優秀論文賞はSuperMimicに贈られた。Vincent Vanhouckeは、通年で投稿を受け付けるTransactions on Robot Learningの創設と、来年から始まるTest of Time賞を発表した。Ken Goldbergはロボティクスにおける「収益の危機」について考察し、CoRL 2027のパリ開催を発表した。

要点
  • 最優秀学生論文賞:RoboTTT: Context Scaling for Robot Policies。
  • 最優秀論文賞:SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model。
  • 賞は、重要性と長期的なインパクト、独創性、技術的な健全性、明快さ、再現性と公開性に基づいて審査された。
  • 新設のTransactions on Robot Learningは通年で投稿を受け付け、優れた論文はCoRLで発表される。また2017年以降の論文を対象とするTest of Time賞が来年から始まる。
  • Goldbergは、この分野が収益を得るためには今こそ信頼性、スループット、解釈可能性を実現しなければならないと主張し、CoRL 2027のパリ開催を発表した。
Yuke Zhu on stage3:00:53 – 3:26:37
3日目午後の録画 · 26 分 · YouTube で再生