Die Conference on Robot Learning (CoRL) 2026 (Austin, Texas, 9.–12. November) hat ihr gesamtes Hauptprogramm in vier langen Aufzeichnungen gestreamt. Hier sind sie in einzelne Beiträge aufgeteilt: Keynotes, Vorträge, Spotlights, Sponsorenvorträge und die Podiumsdebatte. Jeder Eintrag hat eine kurze Zusammenfassung, Kernaussagen und einen Player, der genau diesen Beitrag abspielt.
Die Zusammenfassungen beruhen auf den Untertiteln des Streams und den Abstracts der Paper. Jedes Paper ist, sofern vorhanden, mit arXiv und seiner Projektseite sowie mit OpenReview verlinkt. Titel sind übersetzt, mit dem englischen Original in Klammern; Namen und Affiliationen bleiben auf Englisch.
Hinweis: Diese Seite wurde mit Claude Opus 5.5 erstellt und nicht vollständig geprüft; sie kann Fehler enthalten. Auch die deutsche Übersetzung wurde mit KI erstellt. Details bitte in der Originalaufzeichnung oder im Paper prüfen. Alle Vorträge, Paper, Folien und Aufzeichnungen gehören ihren Autoren und der CoRL 2026.
Konferenzüberblick
Die CoRL 2026 hat sich verdreifacht und sich weitgehend auf ihre Zutaten geeinigt (große vortrainierte Policies, Videos von Menschen, Weltmodelle, Frontier-Modelle als Planer), während offen darüber gestritten wurde, ob dieses Rezept Roboter hervorbringt, für die jemand bezahlen wird.
Einreichungen
2,094
gegenüber ~700 im Jahr 2025, laut den Program Chairs; 687 angenommen
Annahmequote
32.8%
etwa wie in den Vorjahren; Vorträge ~3% der angenommenen Paper, 72 Spotlights
Teilnehmende
~4,800
etwa doppelt so viele wie 2025, laut den General Chairs
Reviewer
2,400+
plus 23 Senior Area Chairs, eine in diesem Jahr neue Ebene
angenommene Late-Breaking-Ergebnisse
39 von 89
neue Tracks zu agentischer Robotik und Real-to-Sim-to-Real
Desk Rejections wegen halluzinierter Zitate
~12
das erste Mal, dass die CoRL danach prüfte
Die zehnte CoRL verzeichnete 2,094 Einreichungen, etwa dreimal so viele wie die rund 700 im Jahr 2025, und rund 4,800 Teilnehmende an drei Veranstaltungsorten in Austin. Die Program Chairs hielten die Annahmequote von 32.8% und das einspurige Programm bei, indem sie eine reine Poster-Stufe und 3-minütige Spotlights einführten. Die häufigsten Schlagwörter der Einreichungen waren Manipulation, Imitationslernen, Repräsentationen für Wahrnehmung und Steuerung, RL und Robotik-Foundation-Models, und die angenommenen Paper folgten dieser Verteilung sehr genau. Ein neuer Late-Breaking-Track zu agentischer Robotik und Real-to-Sim-to-Real reagierte auf Frontier-Modelle, die erst wenige Monate zuvor erschienen waren.
Auf der Bühne war das technische Bild klarer als das strategische. Physical Intelligence, NVIDIA, Google DeepMind und viele akademische Labore präsentierten denselben Stack: eine große, per BC vortrainierte Policy, egozentrische Daten von Menschen für die Skalierung, Weltmodelle für Daten und Evaluation und darüber ein Frontier-Modell für die Planung. Strittig war, ob dieser Stack einen zuverlässigen, profitablen Einsatz erreicht. Umfragen vor und nach der abschließenden Debatte zu dieser Frage fielen gegen die These aus und veränderten sich kaum. Ken Goldberg (UC Berkeley) beschrieb das Feld als in einer „Umsatzkrise“ befindlich, in der es nun Zuverlässigkeit, Durchsatz und Interpretierbarkeit liefern muss.
Ganzen Überblick lesenGanzen Überblick ausblenden
Themen
Frontier-Modelle oben, schnelle Policies darunter
Die meisten Systeme setzen einen langsamen Reasoner über einen schnellen gelernten Controller. Hang Zhao (Tsinghua University / Galaxea AI) berichtete, dass Frontier-Modelle, die unter echtem Zeitdruck als schrittweise Policies eingesetzt wurden, auf RoboCasa auf 15-20% Erfolg fielen, und argumentierte, dass die meisten Fehler an den Übergaben zwischen den Ebenen entstehen. Boston Dynamics erklärte, kein Standard-VLM sei ohne Fine-Tuning zuverlässig genug, um den Abschluss einer Aufgabe zu prüfen. In der Debatte sagte Vincent Vanhoucke (Waymo), Allzweckmodelle schlügen die Robotermodelle der Konferenz bei einigen Robotik-Benchmarks; Pulkit Agrawal (MIT / Eka Robotics) entgegnete, dass diesen Modellen kontaktreiche System-1-Daten noch fehlen.
Weltmodelle als Policies, Simulatoren und Evaluatoren
DreamZero und GR00T 2 entrauschen Video und Aktionen gemeinsam. Die Autoren von DreamZero stellten fest, dass Fehler überwiegend in der Videogenerierung entstehen, bessere Video-Backbones also bessere Aktionen bedeuten sollten. SuperMimic gewann den Best Paper Award, indem es einen humanoiden Tracker über ein einziges gelerntes, differenzierbares Dynamikmodell in etwa drei GPU-Stunden trainierte. Tesla warnte, dass das Training innerhalb eines Weltmodells, statt es nur zur Evaluation zu nutzen, Policies erlaubt, dessen physikalische Fehler auszunutzen. Ein weiteres Spotlight zeigte, dass Weltmodelle vergiftet werden können.
Daten von Menschen sind die wichtigste Skalierungsquelle, brauchen aber eine Brücke
EgoScale zeigte, dass der Validierungsverlust auf Daten von Menschen einem log-linearen Skalierungsgesetz folgt, das den Erfolg auf echten Robotern widerspiegelt. Zudem zeigte sich, dass die schwierigsten geschickten Aufgaben eine abgestimmte Mid-Training-Phase benötigten (etwa 4 Stunden Teleoperation, kombiniert mit 50 Stunden passender Daten von Menschen). Ego2Robot stellte fest, dass die Genauigkeit der Handpose seine Zugewinne bei präzisen Aufgaben begrenzt.
Mehrere Paper führten Fehler von VLAs bei kontaktreichen Aufgaben auf fehlende Kraftsignale oder auf Flow-Matching-Rauschpläne zurück, die kleine Aktionen nahe dem Kontakt untergewichten. Die Lösungen sind günstig: gelernte Drehmomentschätzungen für handelsübliche Arme, auf Bilder gezeichnete taktile Pfeile und Kraft-Experten, die spät im Post-Training hinzugefügt werden. Wolfram Burgard (University of Technology Nuremberg) und Sharpa argumentierten beide, dass Robotik-Foundation-Models Kraft und Tastsinn brauchen.
RL wurde meist auf einen vortrainierten Generalisten aufgesetzt, nicht als dessen Ersatz. RL Token betreibt einen kleinen Actor-Critic auf komprimierten VLA-Embeddings, um den schwierigsten Schritt einer Aufgabe innerhalb weniger Stunden zu beheben; seine Episoden beim Einstecken von Ethernet-Kabeln waren schneller als die eines erfahrenen Teleoperators. π0.7 konditioniert dagegen auf Qualitätsmetadaten, sodass es aus Daten gemischter Qualität lernen kann, und Play2Perfect zeigt, dass RL-Play-Pretraining in der Simulation Montageaufgaben mit spärlicher Belohnung erlernbar macht.
Ein Best-Paper-Finalist zeigte, dass eine DINO-plus-MLP-Policy die besten berichteten LIBERO-Werte nahezu erreicht und dass nur wenige berichtete Verbesserungen statistisch signifikant sind. RoboColosseum schätzte, dass 400-500 Vergleiche pro signifikanter Schlussfolgerung nötig sind. LIBERO-CF stellte fest, dass VLAs Sprache oft ignorieren, wenn sie Objekte aus Trainingsaufgaben sehen.
Vorträge aus der Industrie berichteten Betriebskennzahlen. Atlas beim Sequenzieren von Teilen bei Hyundai: 98.6% Abschlussrate bei einer Eingriffsrate von 9.5%, doch die Taktzeit ist etwa 50% zu langsam, um sich zu rechnen. Waldens Nockenwellenzelle bei Toyota hat die Linie noch nie angehalten. Gemini Robotics 2.5 meldete 96% autonomes Kitting. Die Debatte war gespalten in der Frage, ob es sich außerhalb von Aufgaben wie Wäschefalten je rechnen kann, Menschen für das Sammeln domänenspezifischer Daten zu bezahlen.
Seoul nahm 263 Paper an, laut den Chairs von 2026 aus rund 700 Einreichungen, und eine inoffizielle Zählung ergab 2,441 Teilnehmende vor Ort. Austin erhielt 2,094 Einreichungen und hatte etwa 4,800 Teilnehmende; um das zu bewältigen, kamen eine reine Poster-Stufe, Senior Area Chairs, eine erste Ablehnungsrunde vor dem Rebuttal und eine Prüfung der Zitate hinzu.
Die Preise wanderten von Aufgabenergebnissen zur Lernmaschinerie
2025 gingen die Best Paper Awards an eine einheitliche Positions-/Kraftregelung für Loko-Manipulation mit Laufrobotern und an Fabricas zweiarmige Montage, π0.5 und DexUMI waren Finalisten. Die Gewinner 2026 waren ein gelerntes Weltmodell zum Training humanoider Steuerung (SuperMimic) und Kontextskalierung (RoboTTT).
Modellveröffentlichungen werden jetzt in Fabriken gemessen
Google DeepMind kündigte Gemini Robotics 1.5 rund um die CoRL 2025 an. In Austin kam Gemini Robotics 2.5 mit einem Kitting-Pilotprojekt an einer Produktionslinie. Physical Intelligence ging von π0.5 zu π0.7 über. Das Sonderpanel 2025 diskutierte humanoides Lernen; das von 2026 debattierte über die kommerzielle Tragfähigkeit.
Von VLAs und Real2Sim zu Agenten und Weltmodellen
Eine Übersicht von 2025 nannte VLAs, Real2Sim2Real und taktile Sensorik als Hauptthemen der CoRL. Alle drei setzten sich 2026 fort, und Real2Sim2Real erhielt einen eigenen Late-Breaking-Track. Neu sind der Track zu agentischer Robotik und Welt-Aktions-Modelle, die gemeinsam auf Video und Aktionen trainiert werden; beides waren 2025 keine Themen.
Ausblick auf 2027
Die Evaluationsnormen werden in Paris strenger
Prognose: Mehr Paper werden Konfidenzintervalle angeben und zurückgehaltene oder nach der Veröffentlichung erstellte Testsets verwenden, und Reviewer werden Verbesserungen auf LIBERO und SimplerEnv hinterfragen. Belege: ein Best-Paper-Finalist genau zu diesem Thema, das kostenlose Evaluationsangebot von RoboColosseum und Forderungen in Keynotes nach Metriken mit Zeitlimit und Eingriffen pro Stunde.
Schnittstellen zwischen Ebenen werden zum Forschungsgegenstand
Prognose: Die Arbeit wird sich darauf verlagern, was zwischen System 1 und System 2 ausgetauscht wird: Fehlersignale nach oben, Kraft- oder Kontaktabsicht nach unten. Belege: Zhaos Analyse der Übergabefehler, Agrawals These, dass System 1 der Engpass ist, und agentische Harnesses bei NVIDIA und Boston Dynamics.
Weltmodelle werden daran gemessen, ob man in ihnen trainieren kann
Prognose: Paper zu Weltmodellen werden zeigen müssen, dass darin trainierte Policies keine Fehler ausnutzen und dass der im Modell vorhergesagte Erfolg dem realen Erfolg entspricht, nicht nur, dass das Video richtig aussieht. Belege: Teslas Warnung, der von MemWorld weiterhin unterschätzte Erfolg und der Vergiftungsangriff.
Durchsatz ersetzt die Erfolgsrate bei Einsatzversprechen
Prognose: Industrievorträge 2027 werden mit Taktzeit, mittlerer Zeit zwischen Eingriffen und Zahl der Roboter pro Fernbediener beginnen. Boston Dynamics prognostizierte die erste 8-Stunden-Schicht von Atlas für 2027, und Goldberg beschrieb die Herausforderung des Jahres als eine des Umsatzes. Ob BC-Pretraining plus domänenspezifische Daten diese Hürde nimmt, wird umstritten bleiben.
Kernaussagen
Das Feld hat sich weitgehend auf einen Stack geeinigt; die offene Frage betrifft die Wirtschaftlichkeit, nicht die Architektur.
Frontier-Modelle helfen als Planer, scheiterten aber als direkte schrittweise Controller unter echtem Zeitdruck.
Egozentrische Daten von Menschen skalieren, doch präzise Geschicklichkeit erforderte weiterhin ein abgestimmtes Mid-Training mit Roboter- und Menschendaten.
Kraft und Tastsinn lassen sich bestehenden VLAs günstig hinzufügen und beheben damit bestimmte Kontaktfehler.
Das meiste RL zielt heute auf den Engpassschritt eines vortrainierten Generalisten, statt von Grund auf zu trainieren.
Beliebte Simulations-Benchmarks lassen sich weitgehend durch Auswendiglernen lösen, und die meisten berichteten Verbesserungen liegen im Rauschen.
Der Best Paper Award ging an das Training humanoider Steuerung innerhalb eines gelernten, differenzierbaren Weltmodells.
Einsätze erreichen mit Eingriffen etwa 99% Abschlussrate, sind aber noch zu langsam, um sich zu rechnen.
Begrüßung und Eröffnung (Welcome and Opening Remarks)
Yuke Zhu (UT Austin / NVIDIA), Peter Stone (UT Austin / Sony AI), Georgia Chalvatzaki (TU Darmstadt), Ani Majumdar (Princeton University), Roberto Martin-Martin (UT Austin)
General Chair Yuke Zhu eröffnet die zehnte CoRL, weist darauf hin, dass sich die Teilnehmerzahl verdoppelt und die Einreichungen sich auf fast 2,100 Paper ungefähr verdreifacht haben, und erläutert das an South by Southwest angelehnte Format, verteilt auf das Hilton, das JW Marriott und die Bass Concert Hall der UT. Die Program Chairs beschreiben das neue dreistufige Programm (Vorträge, 3-minütige Spotlights, reine Posterbeiträge), eine Annahmequote von 32.8%, den neuen Late-Breaking-Results-Track zu agentischer Robotik und Real-to-Sim-to-Real, Senior Area Chairs sowie eine Regel, nach der etwa ein Dutzend Paper wegen halluzinierter Zitate per Desk Rejection abgelehnt wurden. Die Verantwortlichen für Workshops, Demos, Organisation vor Ort und Inklusion behandeln anschließend halbtägige Workshops, 17 Demos, Veranstaltungsorte, Mittagessen, WLAN, Reisestipendien und Kinderbetreuung, und Peter Stone schließt mit einem Überblick über Texas Robotics und die neue UT School of Computing, bevor er den Sponsoren dankt.
Kernaussagen
Die Einreichungen stiegen von etwa 700 auf fast 2,100, was ein dreistufiges Präsentationsformat erzwang, damit die Konferenz einspurig bleibt.
Die Annahmequote blieb mit 32.8% nahe an den Vorjahren, und die Schlagwortverteilung der angenommenen Paper entsprach sehr genau der aller Einreichungen.
Zum ersten Mal wurden Paper mit mehreren halluzinierten oder falschen Zitaten markiert und etwa ein Dutzend per Desk Rejection abgelehnt, während andere KI-gestützte Schreibarbeit dem Ermessen der Autoren überlassen blieb.
Eine erste Ablehnungsrunde entfernte vor dem Rebuttal etwas mehr als ein Drittel der Einreichungen, damit sich der Review-Aufwand auf Paper mit mindestens einem Fürsprecher konzentrierte.
Die Registrierungsgebühr für Studierende wurde auf $200 gesenkt, unter die Kosten, und von Sponsoren subventioniert, um Hürden für Studierende abzubauen.
Workshops wurden auf einen halben Tag verkürzt, um interaktive Diskussionen statt Vortragsreihen im Stil von Mini-Konferenzen zu fördern; 32 von 78 gültigen Vorschlägen wurden angenommen.
Spotlight S1 · Generalistische Policies, Gedächtnis und Transfer
Mo. 9:00 AM · Hilton Austin · Vorsitz: Yash Narang
9 Beiträge
Spotlight
MolmoAct2: Action-Reasoning-Modelle für den Einsatz in der realen Welt (MolmoAct2: Action Reasoning Models for Real-World Deployment)
Jiafei Duan · Allen Institute for AI / University of Washington / National University of Singapore
Alle Autoren
Haoquan Fang1,2, Jiafei Duan1,2,3, Donovan Clay1,2, Sam Wang1,4, Shuo Liu2, Weikai Huang1,2, Xiang Fan1,2, Wei-Chuan Tsai2, Shirui Chen1,2, Yi Ru Wang1,2, Shanli Xing2, Jaemin Cho1,2,5, Jae Sung Park1, Ainaz Eftekhar1,2, Peter Sushko1, Karen Farley1, Angad Wadhwa2, Cole Harrison6, Winson Han1, Ying-Chun Lee2, Eli VanderBilt1, Rose Hendrix1, Suveen Ellawela7, Lucas Ngoo7, Joyce Chai8, Jason Ren1,2,9, Ali Farhadi1,2, Dieter Fox1,2, Ranjay Krishna1,2
1Allen Institute for AI2University of Washington3National University of Singapore4University of Pennsylvania5Johns Hopkins University6Amazon7Cortex AI8University of Michigan9University of North Carolina at Chapel Hill
Die Autoren stellen MolmoAct2 vor, ein vollständig offenes Robotik-Foundation-Model mit einem offenen Rezept, das Pretraining, Mid-Training und Anpassung abdeckt. Es verbindet ein räumlich spezialisiertes VLM mit einem Action-Experten und schlussfolgert adaptiv über Tiefe, statt sie in jedem Schritt neu zu erzeugen. Ohne weitere Anpassung übertrifft es starke Baselines auf offenen Benchmarks für Embodied Reasoning und wurde nach dem Fine-Tuning zudem von einem externen Unternehmen blind evaluiert.
Kernaussagen
Das Tiefen-Reasoning wird adaptiv aktualisiert, statt in jedem Zeitschritt jedes Token neu zu erzeugen, was die durch Reasoning erweiterte Steuerung effizient hält.
Zur Bewertung des feinabgestimmten Modells wurde erstmals eine blinde Evaluation durch Dritte eingesetzt.
Die Autoren argumentieren, dass sich Offenheit auszahlt: Die MolmoAct-Modelle und -Daten wurden auf Hugging Face mehr als 1.5 Millionen Mal heruntergeladen, was ihnen hilft zu verstehen, was sich übertragen lässt.
1Peking University2Eastern Institute of Technology, Ningbo3Shanghai Jiao Tong University
Inspiriert von Spiegelneuronen zeigen die Autoren, dass Aktionsrepräsentationen von VLAs beim Fine-Tuning ihre Ausrichtung an der vortrainierten Vision-Language-Semantik verlieren und dass diese Ausrichtung mit dem Aufgabenerfolg korreliert. Sie teilen die Features in einen gemeinsamen semantischen Pfad, der an einem eingefrorenen VLM ausgerichtet ist, und einen privaten Pfad, der Ausführungsdetails bewahrt, und verbessern so mehrere VLAs (darunter pi0) in der Simulation und auf echten Robotern.
Kernaussagen
Die semantische Ausrichtung der Aktionsrepräsentationen nimmt beim Fine-Tuning messbar ab und folgt sowohl dem Rollout-Erfolg als auch der Generalisierung außerhalb der Trainingsverteilung.
Alle Features an der Semantik auszurichten, schadet der Ausführung; daher ist eine Aufteilung in gemeinsame und private Features nötig, um physikalische Details zu bewahren.
Die Zugewinne sind auf Generalisierungsachsen wie kompositionellen Aufgaben größer als bei Aufgaben innerhalb der Domäne.
MEM: Mehrskaliges verkörpertes Gedächtnis für Vision-Language-Action-Modelle (MEM: Multi-Scale Embodied Memory for Vision Language Action Models)
Marcel Torne · Physical Intelligence / Stanford University
Alle Autoren
Marcel Torne1,2, Karl Pertsch1, Homer Walke3, Kyle Vedder1, Suraj Nair1, brian ichter1, Allen Z. Ren1, Haohuan Wang1, Jiaming Tang1,4, Kyle Stachowicz1,3, Karan Dhabalia1, Michael Robert Equi1, Quan Vuong1, Jost Tobias Springenberg1, Sergey Levine1, Chelsea Finn1, Danny Driess1
Die Autoren erweitern VLAs um ein mehrskaliges Gedächtnis: ein visuelles Kurzzeitgedächtnis der letzten Sekunden, das ein Video-Encoder komprimiert und der Low-Level-Policy zuführt, sowie ein textuelles Langzeitgedächtnis, in dem das VLM rekurrent eine Zusammenfassung vergangener Ereignisse vorhersagt. Damit bewältigen Policies Aufgaben von bis zu 15 Minuten Dauer, etwa ein Rezept zuzubereiten und die Küche aufzuräumen.
Kernaussagen
Rohen Videoverlauf naiv einzuspeisen ist nicht machbar: Eine Stunde bei 50 Hz mit 256 Tokens pro Bild ergibt etwa 50 Millionen Tokens.
Ablationen zeigen, dass sowohl das textuelle Langzeitgedächtnis als auch das Video-Kurzzeitgedächtnis nötig sind, um die Langzeitaufgaben zu lösen.
Das Gedächtnis ermöglicht In-Context-Anpassung: Die Policy bemerkt einen gescheiterten Versuch und probiert eine andere Strategie, statt denselben Fehler zu wiederholen.
PRTS: Ein System für primitives Reasoning und Tasking mittels kontrastiver Repräsentationen (PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations)
Yang Zhang · TeleAI, China Telecom / Tsinghua University (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Yang Zhang1,2, Jiangyuan Zhao1,3, Chenyou Fan1,4, Fangzheng YAN1, Tian Li1, Haitong Tang1, Sen Fu1, Xuaner Wu1, Qizhen Weng1, Weinan Zhang3, Xiu Li2, Chi Zhang1, Chenjia Bai1, Xuelong Li1
1TeleAI, China Telecom2Tsinghua University3Shanghai Jiao Tong University4Fudan University
PRTS formuliert VLA-Pretraining als zielkonditioniertes kontrastives RL um und behandelt Sprachanweisungen als Ziele, sodass Zustands-Aktions-Embeddings den Fortschritt zum Ziel ohne Belohnungsannotation erfassen; kombiniert wird dies mit der Vorhersage von Aktions-Tokens, skaliert auf 400 Millionen Samples. Die resultierende Policy erholt sich von starken menschlichen Störungen, folgt neuen Anweisungen zero-shot und bewältigt unbekannte Situationen beim langwierigen Abräumen von Tabletts.
Kernaussagen
Schritte mit derselben Anweisung gelten als Positive, und spätere Schritte werden stärker gewichtet, sodass das Embedding den zeitlichen Fortschritt zum Ziel kodiert.
Das kontrastive Pretraining benötigt keine zusätzlichen Belohnungslabels, und das nachgelagerte Post-Training nutzt standardmäßiges Behavior Cloning mit einem neuen Flow-Matching-Action-Experten.
Die Policy bewältigte den Fall einer leeren Schüssel, der in keiner Demonstration vorkam, was nahelegt, dass fortschrittsbewusste Repräsentationen die Fehlerbehebung unterstützen.
Lernen, was man seinem VLA sagt: Weitgehend harmlose Steuerung von Vision-Language-Action-Modellen (Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering)
Hyun Joe Jeong · Carnegie Mellon University
Alle Autoren
Hyun Joe Jeong1, Gokul Swamy1, Andrea Bajcsy1
1Carnegie Mellon University
Die Autoren lernen eine Sprach-Feedback-Policy, die ein eingefrorenes VLA steuert, indem sie lokal perturbierte Sprachsequenzen durchsucht, sie im geschlossenen Regelkreis ausführt und die besten per Rejection Fine-Tuning in ein VLM destilliert. Ein Verbesserungskopf mit konformer Vorhersage entscheidet, wann eingegriffen wird, was eine Garantie gibt, keinen Schaden anzurichten; die Erfolgsrate steigt bei pi0.5 und MolmoAct2 in der Simulation und auf Hardware.
Kernaussagen
Die Abbildungen von Sprache auf Aktionen in VLAs sind fragil, sodass eine Umformulierung der Anweisung das Verhalten unvorhersehbar ändern kann.
Konforme Vorhersage auf dem Verbesserungskopf erlaubt dem System, auf die ursprüngliche Anweisung zurückzufallen, wenn die Steuerung voraussichtlich nicht hilft.
Steuerung allein über Sprache verbessert die VLA-Leistung, ohne die Gewichte der zugrunde liegenden Policy zu verändern.
Wenn das Sehen die Sprache übertrumpft: Evaluation und Abschwächung kontrafaktischer Fehler in VLAs (When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs)
Yu Fang · University of North Carolina at Chapel Hill
Die Autoren stellen LIBERO-CF vor, einen Benchmark mit über 50 kontrafaktischen Aufgaben, der zeigt, dass VLAs aufgrund visueller Abkürzungen Sprache oft ignorieren und gut gelernte Trainingsaufgaben wiederholen. Sie schlagen Counterfactual Action Guidance vor, ein zweigleisiges Inferenzverfahren, das den Unterschied zwischen sprachkonditionierten und unkonditionierten Aktionsvorhersagen verstärkt und so die Sprachverankerung in der Simulation sowie mit pi0.5 auf echten Robotern verbessert.
Kernaussagen
VLAs erreichen auf LIBERO selbst mit rein visueller Eingabe hohe Erfolgsraten, was eine starke Abhängigkeit von visuellen Hinweisen offenlegt.
Kontrafaktische Fehler werden durch die Anwesenheit von Objekten aus Trainingsaufgaben ausgelöst; werden diese entfernt, folgt die Policy eher der Anweisung.
CAG benötigt weder zusätzliche Demonstrationen noch Änderungen an Architektur oder Gewichten des Basis-VLA.
ZETA: Eine kontrollierte Studie zum embodiment-übergreifenden Zero-Shot-Transfer von VLAs für Manipulation auf dem Tisch (ZETA: A Controlled Study of Zero-Shot Cross-Embodiment VLA Transfer for Tabletop Manipulation)
Mi Yan · Peking University / Galbot (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
1Peking University2Galbot3Renmin University of China4Xiamen University Malaysia5The University of Hong Kong6Beihang University
Die Autoren trennen strikten embodiment-übergreifenden Zero-Shot-Transfer von Transfer mit Exposition im Pretraining und bauen einen kontrollierten Benchmark mit 14 unbekannten Zielrobotern in Simulation und realer Welt, bei dem sich nur der Roboter ändert. Sie untersuchen Repräsentation, Vielfalt der Quellen, Hilfsziele und Exposition gegenüber dem Zielroboter.
Kernaussagen
Zustände und Aktionen als Deltas im eigenen Koordinatensystem des Greifers darzustellen, steigerte den durchschnittlichen Fortschritt in der Simulation von 60 auf 76 und auf echten Robotern von 56 auf 90.
Mehr Quellroboter helfen um etwa 18 Punkte, aber nur, wenn jeder Roboter bei festem Budget noch genügend Daten erhält.
Schon der Ersatz von nur 5% der Trainingsdaten durch Daten des Zielroboters hob den Google-Roboter von 51 auf 69; strikte und im Pretraining exponierte Ergebnisse sollten daher getrennt berichtet werden.
EmbodiSteer: Steuerung embodiment-agnostischer visuomotorischer Policies mit Guidance im Gelenkraum für embodiment-übergreifenden Zero-Shot-Einsatz (EmbodiSteer: Steering Embodiment-Agnostic Visuomotor Policies with Joint-Space Guidance for Zero-Shot Cross-Embodiment Deployment)
EmbodiSteer hält eine kartesische visuomotorische Policy, die mit Daten von Handgreifern trainiert wurde, eingefroren und verlagert das Diffusions-Sampling über Vorwärtskinematik und Jacobi-Matrix in den Gelenkraum des Zielroboters. Eine optimierungsbasierte Guidance in jedem Entrauschungsschritt wägt Kollisionsabstand gegen Änderungen der Endeffektorbewegung ab und ermöglicht so einen körperbewussten Zero-Shot-Einsatz auf neun simulierten und zwei echten Robotern.
Kernaussagen
Entrauschen im Gelenkraum lässt die Aufgabenleistung nahezu unverändert und fügt zugleich ein Bewusstsein für den gesamten Körper hinzu.
Naive gradientenbasierte Kollisions-Guidance zieht den Greifer von der Aufgabe weg, daher muss die Nebenbedingung gegen die Endeffektorbewegung abgewogen werden.
Bei realen Aufgaben verdoppelte sich die Erfolgsrate nahezu, und Kollisionen sanken ohne roboterspezifisches Training von 97% auf 7%.
Die Autoren zerlegen die Lücke der kompositionellen Generalisierung bei sequenziellen Aufgaben in marginale Anweisungsverschiebung, kompositionelle Anweisungsverschiebung und Kontext-Aktions-Verschiebung und fragen damit, welche Kombinationen von Anweisungen ein Roboter tatsächlich sehen muss. Experimente zeigen, dass eine spärliche, aber gut gewählte Abdeckung genügt und dass Fehler bei spärlicher Abdeckung von der Steuerung durch Anweisungen herrühren und nicht von fehlenden Fähigkeiten.
Kernaussagen
Eine vollständige kombinatorische Abdeckung ist unnötig; ein sorgfältig ausgewähltes Viertel der Daten kann das volle Training erreichen.
Eine einzige zusätzliche Demonstration pro Aufgabe behebt viele Fehler bei spärlicher Abdeckung, was auf die Steuerung durch Anweisungen als Engpass hinweist.
Wenn Anweisungen voneinander abhängen, ist eine relationale Abdeckung abhängiger Paare erforderlich, und modulare Policies mit Orakel-Indikatoren auf hoher Ebene scheitern.
Physical AI über Zeitskalen hinweg organisieren (Organizing Physical AI Across Timescales)
Hang Zhao · Tsinghua University (IIIS) / Galaxea AI
Von Chen Feng vorgestellt, argumentiert Hang Zhao, dass Roboterintelligenz nach Zeitskala statt nach Funktion aufgeteilt werden sollte: S2-Reasoning im Sekundenbereich, S1-Policies bei einigen zehn Hertz und S0-Regelung bei einigen hundert Hertz. In einer RoboCasa-Studie mit echter Uhr brachen Frontier-Modelle, die als direkte oder agentische schrittweise Policies eingesetzt wurden, auf 15-20% Erfolg ein, während orchestrierte Designs, die ein langsames Modell mit schnellen gelernten Fähigkeiten kombinieren, standhielten. Er stützt sich auf Erfahrungen mit dem Dual-System von DriveVLM in Serienfahrzeugen und mit Roboter-Parkour und stellt dann drei Wege vor, S1 schnell zu halten: FastWAM, das beim Training aus Video lernt, die Videogenerierung zur Testzeit aber überspringt (G0-7); das Abschalten von Chain-of-Thought bei der Inferenz in G0.5; und den Streaming-Aktionstokenizer ActionCodec 2. Abschließend argumentiert er, dass die Schnittstellen zwischen den Ebenen reichhaltigeres Feedback nach oben und Kraft- oder Kontaktabsicht nach unten brauchen, und fordert, dass Benchmarks den Erfolg unter Zeitlimit zusammen mit der Inferenzzeit berichten.
Kernaussagen
Langsame Frontier-Modelle sind in Kombination mit einer schnellen unteren Ebene in Ordnung, scheitern aber als schrittweise direkte Policies unter echtem Zeitdruck an den meisten Aufgaben.
Ebenengrenzen sollten dort gezogen werden, wo sich die erforderliche Reaktionszeit ändert: Aufgabe und Szene im Sekundenbereich, Hand-Objekt-Bewegung bei einigen zehn Hertz, Kontakt und Kraft bei einigen hundert Hertz.
Das Überspringen von Chain-of-Thought bei der Inferenz machte bei etwa 90% der Aufgaben keinen Unterschied und verdoppelte die Geschwindigkeit; es half vor allem bei langen mehrstufigen Aufgaben.
Das Überspringen der Generierung zukünftiger Videos zur Testzeit beschleunigte ein Welt-Aktions-Modell um mehr als das Vierfache, und das 16B-Modell G0-7 läuft mit 60 ms pro Aktion auf einer RTX 5090.
Die meisten Fehler treten an den Übergaben zwischen den Ebenen auf, weil untere Ebenen Fehler nicht nach oben melden können und reine Bewegungsbefehle die Kraft auslassen.
Zhao schlägt vor, S2 in der Cloud, S1 auf von mehreren Robotern geteilten Edge-Servern und S0 auf dem Roboter selbst anzusiedeln.
Vortrag O1 · Generalistische Policies und Kontextskalierung
Mo. 10:30 AM · Hilton Austin · Vorsitz: Michael Ryoo
3 Beiträge
Vortrag
π0.7: ein steuerbares generalistisches Robotik-Foundation-Model mit emergenten Fähigkeiten (π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities)
Ashwin Balakrishna, Lucy Xiaoyang Shi · Physical Intelligence
Alle Autoren
Bo Ai1, Ali Amin1, Raichelle Aniceto1, Ashwin Balakrishna1, Greg Balke1, Kevin Black1, George Elledge Bokinsky1, Shihao Cao1, Thomas Charbonnier1, Vedant Choudhary1, Foster Collins1, Ken Conley1, Grace B Connors1, James Darpinian1, Karan Dhabalia1, Maitrayee Dhaka1, Jared Di Carlo1, Danny Driess1, Michael Robert Equi1, Adnan Esmail1, Yunhao Fang1, Chelsea Finn1, Catherine Glossop1, Thomas Godden1, Ivan Goryachev1, Lachy Groom1, Haroun Habeeb1, Hunter Hancock1, Karol Hausman1, Gashon Hussein1, Victor Hwang1, brian ichter1, Connor Jacobsen1, Szymon Jakubczak1, Rowan Jen1, Tim Jones1, Gregg Kammerer1, Benjamin Katz1, Liyiming Ke1, Mairbek Khadikov1, Chandra Kuchi1, Marinda Lamb1, Devin LeBlanc1, Sergey Levine1, Xinyu Li1, Adrian Li-Bell1, Vladislav Lialin1, Zhonglin Liang1, Wallace Lim1, Yao Lu1, Enyu Luo1, Vishnu Mano1, Nandan Marwaha1, Aikys Mongush1, Liam Murphy1, Suraj Nair1, Karl Pertsch1, Allen Z. Ren1, Gavin Schelske1, Charvi Sharma1, Baifeng Shi1, Lucy Xiaoyang Shi1, Laura Smith1, Jost Tobias Springenberg1, Kyle Stachowicz1, Will Stoeckle1, Jiaming Tang1, James Tanner1, Shalom Tekeste1, Marcel Torne1, Kyle Vedder1, Quan Vuong1, Anna Walling1, Haohuan Wang1, Jason Wang1, XuDong Wang1, Christopher Whalen1, Sam Whitmore1, Blake Williams1, Charles Xu1, Sukwon Yoo1, Lili Yu1, Wuming Zhang1, Zhuoyang Zhang1, Ury Zhilinsky1
1Physical Intelligence
Physical Intelligence stellt π0.7 vor, ein generalistisches Robotik-Foundation-Model, das mit reichhaltigen multimodalen Prompts trainiert wird: Teilzielbildern, detaillierten Anweisungen für Teilaufgaben und Metadaten, die beschreiben, wie eine Aufgabe ausgeführt wurde (z. B. Qualität, Fehler, Geschwindigkeit). Ohne weitere Anpassung erreicht oder übertrifft ein einziges Modell teils das aufgabenspezifisch per RL nachtrainierte π*0.6 beim Wäschefalten, Espressozubereiten und Kartonfalten und führt zudem Aufgaben aus früheren PI-Veröffentlichungen ohne Fine-Tuning aus. Dank der Metadaten kann das Modell aus Teleoperations- und Evaluationsdaten gemischter Qualität lernen, und die Autoren heben emergente kompositionelle Generalisierung hervor, etwa das Falten von Hemden auf einem zweiarmigen UR5-Aufbau ohne jegliche UR5-Wäschedaten. In der Fragerunde erklären sie, dass Qualitätslabels großenteils aus nachträglicher menschlicher Annotation stammen, wobei die Geschwindigkeit ein Signal ist, das gut mit der Qualität korreliert.
Kernaussagen
Ohne Metadaten-Prompts sank die Leistung, wenn zunehmend schlechtere Wäschedaten hinzukamen, während sie mit Metadaten mit wachsender Datenmenge weiter stieg.
Die Konditionierung auf Qualitätsmetadaten lässt das Modell gutes von schlechtem Verhalten trennen, sodass hochwertiges Verhalten zur Testzeit einfach angefordert werden kann, ähnlich wie man ein LLM anweist, als Experte zu agieren.
π0.7 übertrug das Wäschefalten auf einen zweiarmigen UR5-Industriearm, trotz großer Embodiment-Unterschiede zu den leichten Armen, mit denen die Daten gesammelt wurden.
Die Bestimmung der Datenqualität bleibt ein offenes, iteratives Problem; PI stützt sich auf nachträgliche Annotationen, die danach verfeinert werden, was mit der Leistung in der realen Welt korreliert.
Die Autoren stellen Being-H0.5 vor, ein VLA, das Interaktionsdaten menschlicher Hände als universellen Anker über Roboter-Embodiments hinweg nutzt und damit der Knappheit und Unausgewogenheit von Roboterdaten aus etwa 30 Embodiments begegnet. Sein Korpus kombiniert rekonstruierte Handbewegungen aus egozentrischen Videos von Menschen, etwa 14,000 Stunden Roboterdaten und etwa 5,000 Stunden Vision-Language-Daten, trainiert in einem gemeinsamen slotbasierten Aktionsraum mit Aufgaben zur Bewegungsgenerierung, -beschreibung und -fortsetzung. Die roboterspezifische Spezialisierung nutzt einen Mixture-of-Flow-Action-Experten, einen mannigfaltigkeitserhaltenden Gating-Mechanismus für Verschiebungen der Beobachtung und universelles asynchrones Chunking, das RTC um robotereigene Verzögerungen erweitert. Ein einziger generalistischer Checkpoint über fünf Embodiments bleibt nahe an robotereigenen Spezialisten und generalisiert besser.
Kernaussagen
Menschenzentriertes Pretraining verringerte den Abstand zwischen Generalist und Spezialist, der beim Training von Grund auf deutlich wuchs.
Eine nur auf einem Unitree G1 gesammelte Aufgabe ließ sich mit Pretraining mit einer Erfolgsrate über null auf einen anderen Roboter übertragen, während das von Grund auf trainierte Modell völlig scheiterte.
Wird die menschliche Hand als bloß weiteres Embodiment in einem gemeinsamen Raum von Aktions-Slots behandelt, kann die Handgelenksbewegung von Menschen die Endeffektor-Slots von Robotern mit demselben Loss überwachen.
Labels für Handbewegungen stammen überwiegend aus Rekonstruktionspipelines, die mit heuristischen Qualitätsmetriken gefiltert werden, ergänzt durch Open-Source-Datensätze mit Hand-Labels.
RoboTTT: Kontextskalierung für Roboter-Policies (RoboTTT: Context Scaling for Robot Policies)
Yunfan Jiang · NVIDIA / Stanford University
Alle Autoren
Yunfan Jiang1,2, Yevgen Chebotar1, Ruijie Zheng1, Fengyuan Hu1, Yunhao Ge1, Jimmy Wu1, Tianyuan Dai1,3, Scott Reed1, Li Fei-Fei2, Yuke Zhu1,3, Linxi Fan1
1NVIDIA2Stanford University3The University of Texas at Austin
RoboTTT skaliert den visuomotorischen Kontext einer Roboter-Policy auf 8,000 Zeitschritte, indem es Test-Time-Training-Schichten (TTT) einfügt, deren schnelle Gewichte sowohl beim Training als auch bei der Inferenz per Gradientenabstieg aktualisiert werden, und zwar über die pro Zeitschritt ausgegebenen Werte der DiT-Aktionsblöcke von GR00T N1.7. Das Training nutzt Sequence Action Forcing (unabhängige Rauschniveaus pro Action-Chunk) und Loss-Masken, die Kontext von Imitationszielen trennen, was In-Context-Imitation aus Videos von Menschen und DAgger-Destillation ermöglicht, bei der das Modell lernt, eigene Fehler zu korrigieren. Bei langwierigen Montageaufgaben erreicht es bei konstanter Inferenzlatenz eine durchschnittliche Aufgabenvollendung von 79% und ist die einzige Methode, die alle zehn Stufen einer Gear-Bot-Montage abschließt. Das Modell wurde zudem mit langen Videos von Menschen (EgoScale) im Mid-Training trainiert.
Kernaussagen
Die Leistung im geschlossenen Regelkreis stieg mit der Kontextlänge stetig, bei 8K Kontext um 63% besser als bei 1K, während eine Alternative mit gated DeltaNet nicht skalierte.
Schnelle Gewichte wirken als rekurrenter Zustand fester Größe und sorgen für konstanten Speicherbedarf und konstante Latenz unabhängig von der Kontextlänge.
Das unabhängige Sampling von Rauschniveaus pro Action-Chunk stabilisiert das Sequenztraining auf zeitlich korrelierten Robotertrajektorien.
Eine Demonstration mit menschlicher Hand im Kontext ermöglichte dem Roboter, unbekannte Montagekonfigurationen one-shot auszuführen.
Vortrag O2 · Weltmodelle und zeitliche Repräsentationen
Mo. 11:00 AM · Hilton Austin · Vorsitz: Andrea Bajcsy
3 Beiträge
Vortrag
Welt-Aktions-Modelle sind Zero-Shot-Policies (World Action Models are Zero-shot Policies)
Shenyuan Gao · NVIDIA
Alle Autoren
Seonghyeon Ye1, Yunhao Ge1, Kaiyuan Zheng1, Shenyuan Gao1, Sihyun Yu1, George Kurian1, Suneel Indupuru1, You Liang Tan1, Chuning Zhu1, Jiannan Xiang1, Ayaan Naveed Malik1, Kyungmin Lee1, William Liang1, Nadun Ranawaka Arachchige1, Jiasheng Gu1, Yinzhen Xu1, Guanzhi Wang1, Fengyuan Hu1, Avnish Narayan1, Johan Bjorck1, Jing Wang1, Gwanghyun Kim1, Dantong Niu1, Ruijie Zheng1, Yuqi Xie1, Jimmy Wu1, Qi Wang1, Ryan Julian1, Danfei Xu1, Yilun Du1, Yevgen Chebotar1, Scott Reed1, Jan Kautz1, Yuke Zhu1, Linxi Fan1, Joel Jang1
1NVIDIA
Die Autoren stellen DreamZero vor, ein autoregressives Welt-Aktions-Modell mit 14B Parametern, das auf einem vortrainierten Video-Diffusionsmodell aufbaut und mit einem Teacher-Forcing-Ziel feinabgestimmt wird, um zukünftige Videoframes und Aktionen gemeinsam zu entrauschen. Chunkweises autoregressives Entrauschen ermöglicht KV-Caching und erlaubt dem Modell, sich während der Ausführung auf reale Beobachtungen zu stützen; System- und Modelloptimierungen senken die Inferenzzeit pro Chunk von 5.7 s auf 0.15 s (eine 38-fache Beschleunigung auf GB200). Auf AgiBot- und DROID-Franka-Aufbauten übertrifft es VLA-Baselines, auch solche mit embodiment-übergreifendem Pretraining, bei bekannten und unbekannten Aufgaben und behält seinen Vorsprung nach aufgabenspezifischem Post-Training.
Kernaussagen
Training auf vielfältigen, sich nicht wiederholenden Daten über Umgebungen und Aufgaben hinweg lässt das Modell die Zero-Shot-Generalisierung des Videomodells übernehmen.
Ein Videomodell schnell genug für Echtzeitsteuerung zu machen, war die größte technische Herausforderung.
Die Autoren beobachteten, dass Video- und Aktionsvorhersagen gut aufeinander abgestimmt bleiben und Fehler überwiegend in der Videogenerierung entstehen, sodass bessere Video-Backbones bessere Aktionen liefern sollten.
Fehlerdaten wurden im Pretraining nicht verwendet; ihre Nutzung zur Anpassung zur Testzeit bleibt künftiger Arbeit überlassen.
1Dalian University of Technology2Samsung R&D Institute China-Beijing
MemWorld befasst sich mit aktionskonditionierten Weltmodellen, die Objekte verzerren, wenn diese bei langen Rollouts das Sichtfeld der Handgelenkskamera verlassen und wieder betreten. Sein surfelbasiertes Gedächtnis verknüpft Oberflächen der Szene mit den Zeitpunkten, zu denen sie beobachtet wurden; aus dem kommenden Action-Chunk berechnete zukünftige Kameraposen dienen dazu, Surfels zu rendern und nach Sichtbarkeit, Aufgabenrelevanz und Aktualität zu bewerten, um die Top-K historischen Frames als Kontext für ein Multi-View-Weltmodell abzurufen. Auf 34 anspruchsvollen DROID-Trajektorien verbessert es die visuelle Konsistenz gegenüber Ctrl-World, bildet die reale Policy-Leistung genauer ab, und seine imaginierten Rollouts lassen sich zum Fine-Tuning von Policies nutzen. Der Vortrag wurde von einer Person gehalten, die nicht zu den Autoren gehört, da diese nicht anreisen konnten, und die Fragerunde entfiel.
Kernaussagen
Zukünftige Roboteraktionen sind ein direkter Hinweis darauf, welche vergangenen Beobachtungen abgerufen werden sollten, weil sie bestimmen, wohin die Handgelenkskamera als Nächstes blickt.
Die Korrelation zwischen Erfolg im Weltmodell und in der realen Welt für π0 und π0.5 auf fünf Aufgaben verbesserte sich von 0.85 auf 0.97, wobei der Erfolg weiterhin unterschätzt wird.
Fine-Tuning von π0.5 auf 20–30 ausgewählten erfolgreichen imaginierten Rollouts pro Aufgabe steigerte den durchschnittlichen realen Erfolg bei drei langwierigen Aufgaben von 58% auf 72%.
Multi-View-Konsistenz und explizite physikalische Nebenbedingungen bleiben offene Herausforderungen.
TEMPO: Zeitlichen Kontext für dynamische Robotermanipulation lernen (TEMPO: Learning Temporal Context for Dynamic Robot Manipulation)
Jimin Heo, Zhenyang Feng · UC Irvine
Alle Autoren
Zhenyang Feng1, Jimin Heo1, Erik B. Sudderth1, Unnat Jain1
1UC Irvine
TEMPO zielt auf dynamische Manipulationsaufgaben (Übergabe einer Flasche durch eine gehende Person, Fangen fallender Objekte, Fangen weggeschnippter Objekte und Gießen in einen sich bewegenden Korb), bei denen Einzelbild-VLAs selbst mit Methoden zur Latenzreduktion wie RTC scheitern. Es ergänzt zwei fehlende Zutaten: Bewegungs-Tokens aus zeitlicher Attention über die Features jüngster Frames aus einem eingefrorenen Video-Foundation-Model (standardmäßig SAM 2, etwa 11 ms pro Frame) und einen kompakten propriozeptiven Verlauf der jüngsten Gelenkbefehle, der sowohl dem VLM als auch dem Action-Experten zugeführt wird. Der Verlauf löst Fälle auf, in denen visuell ähnliche Zustände entgegengesetzte Aktionen erfordern. Alles läuft mit Rechenleistung im akademischen Maßstab, und Code und Daten sind Open Source.
Kernaussagen
Eine geringere Inferenzlatenz allein löst dynamische Aufgaben nicht; Policies brauchen auch die Objektgeschwindigkeit und ihren eigenen Aktionsverlauf.
Bei der Flaschenübergabe halbierte TEMPO die vollständigen Fehlgriffe und verdoppelte nahezu die Erfolge gegenüber dem Basis-VLA, das in 18 von 50 Episoden komplett danebengriff.
Jede Zutat allein schlägt das Basis-VLA, zusammen erreichen sie 74%, und die Zugewinne hielten über drei verschiedene VLA-Backbones hinweg.
Das Bewegungsverständnis ist durch das Pretraining des Video-Foundation-Models begrenzt, sodass sehr schnelle Bewegungen wie geworfene Bälle weiterhin scheitern können.
Diversität, die sich tatsächlich messen lässt: Eine schnelle, modellfreie Diversitätsmetrik für Robotik-Datensätze (Diversity You Can Actually Measure: A Fast, Model-Free Diversity Metric for Robotics Datasets)
Sreevardhan Sirigiri · The University of Sydney
Alle Autoren
Sreevardhan Sirigiri1, Nathan Samuel de Lara2, Christopher Agia3, Florian Shkurti2,4, Fabio Ramos1,5
1The University of Sydney2University of Toronto3Stanford University4Allen Institute for AI5NVIDIA
Die Autoren schlagen die Signaturentropie vor, ein nichtparametrisches Diversitätsmaß für Datensätze von Roboterdemonstrationen: Jede Demonstration wird als Pfad über abgeflachte Zustände, Aktionen und (eingebettete) Beobachtungen behandelt, durch die Signaturtransformation abgebildet und mit dem Signaturkern verglichen. Die Entropie wird in geschlossener Form aus den Eigenwerten der Kernmatrix berechnet, mit einer determinantenbasierten volumetrischen Alternative. Zudem stellen sie FACTUAL vor, einen modellfreien Kuratierungsalgorithmus, der gierig die Teilmenge mit maximaler Entropie auswählt. Auf RoboMimic schlägt FACTUAL zufälliges Pruning und teils sogar den vollständigen Datensatz, und ein ähnlicher Trend zeigt sich mit einem kleinen VLA auf einem echten Roboter.
Kernaussagen
Die Signaturentropie korrelierte auf RoboMimic stark mit dem Policy-Erfolg, mit Pearson-Koeffizienten von 0.74 bis 1 über Architekturen von RNNs bis zu Diffusion Policies.
Die Signaturtransformation verarbeitet Trajektorien unterschiedlicher Länge unter Erhalt der Pfadgeometrie und umgeht so die Notwendigkeit einer nicht handhabbaren Wahrscheinlichkeitsverteilung.
FACTUAL benötigt kein Hilfsmodell, keinen Zugriff auf die Policy und keine Rollouts und ist damit weit leichtgewichtiger als andere Kuratierungsmethoden.
Die Entropie des Datensatzes sättigt mit zunehmender Zahl an Demonstrationen, und die Sättigungsrate spiegelt wider, wie vielfältig die zugrunde liegenden Daten sind.
1Allen Institute for AI2TU Darmstadt3University of Washington4UCLA5Princeton University
MolmoBot ist eine Familie von Manipulations-Policies, die ausschließlich mit simulierten Daten trainiert werden und zero-shot auf echte Roboter übertragen. Die MolmoBot-Engine baut auf dem Asset-Ökosystem MolmoSpaces auf, um Szenen, Objekte und Behälter zu samplen, Robotergelenke, Beleuchtung, Texturen und Kameras aggressiv zu randomisieren und Demonstrationen aus einer geskripteten Zustandsmaschine mit Wiederholungsversuchen und Aktionsrauschen zu erzeugen. Das Ergebnis sind die MolmoBot-Daten mit 1.7 Millionen Demonstrationen in etwa 94,000 Umgebungen. Die Policies (MolmoBot auf Basis von Molmo 2, ein leichtgewichtiges MolmoBot-SPOC und MolmoBot-Pi0) wurden mit 120 realen Versuchen pro Policy auf einem Franka-DROID-Aufbau und einem mobilen Manipulator RB-Y1 getestet, und alles ist Open Source.
Kernaussagen
MolmoBot-Pi0 teilt die Architektur von π0, wird aber nur mit synthetischen Daten trainiert und schneidet in der realen Welt dennoch stark ab, was zeigt, dass Simulationsdaten allein robuste VLAs trainieren können.
Die praktische Regel der Autoren lautet, dass alles, was randomisiert werden kann, randomisiert werden sollte; aggressive Kamerarandomisierung machte die Policies robust gegenüber starken Kamerabewegungen, ohne dass sie die externe Kamera ignorierten.
Ablationen zeigen, dass die Datenmenge durchweg hilft, während die Vielfalt an Objektklassen und Umgebungen bei einfachen Greifaufgaben ab einer Schwelle sättigt.
Deformierbare Objekte werden noch nicht unterstützt, doch die neue native Unterstützung für Deformierbares in MuJoCo eröffnet diese Richtung.
Was benchmarken wir bei Robotermanipulation eigentlich? (What Are We Actually Benchmarking in Robot Manipulation?)
Tianchong Jiang · Toyota Technological Institute at Chicago
Alle Autoren
Tianchong Jiang1, Xiangshan Tan1, Samuel Wheeler2, Luzhe Sun1, Tewodros W. Ayalew3, Matthew Walter1
1Toyota Technological Institute at Chicago2Argonne National Laboratory3University of Chicago
Die Autoren untersuchen fünf häufig berichtete Manipulations-Benchmarks und identifizieren vier Arten, wie ein hoher Wert in die Irre führen kann: Abkürzungen, Zugewinne im Rauschen, Anfälligkeit gegenüber kleinen Verschiebungen innerhalb der Verteilung und Datenvorteile, die mit Generalisierung verwechselt werden. Eine einfache DINO-plus-MLP-Policy ohne Roboter-Pretraining oder Sprachverständnis erreicht nahezu die besten berichteten LIBERO-Ergebnisse, weil die Verteilungen der Ausgangszustände kaum variieren, und nur wenige berichtete Zugewinne auf SimplerEnv und LIBERO sind statistisch signifikant. Werden Testposen aus dem breiteren Trainingsbereich gesampelt, sinkt der Wert jeder Policy, und eine winzige Policy, die mit geskripteten Demos in der Simulation trainiert wurde, kommt nahe an die besten SimplerEnv-Werte heran. Sie führen die meisten Probleme auf öffentliche, feste, enge Testsets zurück und schlagen nach der Veröffentlichung erstellte oder extrem vielfältige Testsets sowie explizite Leitlinien zu Konfidenzintervallen vor.
Kernaussagen
Benchmarks wie LIBERO und CALVIN lassen sich großenteils durch Auswendiglernen lösen, wo gehandelt werden muss, da die Ausgangszustände der Tests durch Trainingsdemos nahezu abgedeckt sind.
Paper geben selten Standardabweichungen oder Ergebnisse pro Rollout an, sodass sich kleine Verbesserungen oft nicht vom Zufall unterscheiden lassen.
Da Evaluationsprotokolle die Quellen der Trainingsdaten nicht einschränken, kann ein SimplerEnv-Wert allein keine Real-to-Sim-Generalisierung belegen.
Jeder öffentliche, feste Benchmark wird überangepasst, zunehmend so, seit LLM-Agenten gegen ihn iterieren können; daher sind verborgene oder sehr vielfältige Testsets nötig.
Lu beschreibt geschickte Manipulation als letztes ungelöstes Teil auf dem Weg zu Allzweckrobotern, ausgebremst durch Daten, die Kontakte, Kräfte und Fehlerbehebung erfassen müssen. Er schildert drei sich ergänzende Wege bei Sharpa: die Erweiterung der Datenquellen durch Co-Design von Hard- und Software (die taktile Hand W2, der Roboter D01 und der Exoskelett-Handschuh AE01, Teleoperation mit geteilter Autonomie und menschenzentrierte visuotaktile Erfassung), eine schnelle taktile Interaktionsebene „System 0“ unterhalb der Policies von System 1/2 sowie embodiment-übergreifendes taktiles Lernen über einen morphologiebewussten Token-Raum. Zum Abschluss zeigt er die Zeitleiste des Unternehmens und den Einsatz in einer vollständig autonomen Roboter-Eisdiele.
Kernaussagen
Teleoperationsdaten sind langsam und teuer, während Videos Kontakt und Kraft fehlen; daher kombiniert Sharpa menschenzentrierte Erfassung per Handschuh mit Roboterdaten, statt das eine durch das andere zu ersetzen.
Eine Interaktionsebene auf niedriger Stufe, die Sensorik nahe am Kontaktpunkt nutzt, wird als der Ort positioniert, an dem hochwertige taktile Sensorik am meisten zählt („der letzte Millimeter“).
Die Abbildung heterogener taktiler Sensoren in einen gemeinsamen morphologiebewussten Token-Raum lässt einen einzigen taktilen Experten Erfahrung über Sensoren und Embodiments hinweg übertragen.
Ein realer Einsatz in einem Geschäft, der eine Eisbestellung mit 55 Schritten durchgängig ausführt, dient als umfassender Zuverlässigkeitstest des gesamten Stacks.
Roboterlernen durch Daten und Simulation skalieren (Scaling Robot Learning Through Data and Simulation)
Christian Ureno · Lightwheel
Ureno stellt den Kreislauf von Lightwheel aus egozentrischen Daten von Menschen, physikalisch validierter Simulation und Evaluation zum Training von Roboter-Policies vor. Er behandelt die egozentrischen Datensätze von EgoSuite (eine offene Veröffentlichung mit 10k Stunden, die auf 100k skaliert werden soll), die Real-to-Sim-Pipeline SimFoundry mit einer Messfabrik zur Kalibrierung von Reibung, Dämpfung und deformierbaren Objekten wie Kabeln sowie RoboFinals als Evaluations-Benchmark plus neue RL-Umgebungen, die aus realen industriellen Aufgaben aufgebaut sind. In der Fragerunde erklärt er, dass gemessene Schwingungsdaten aus der realen Welt genutzt werden, um Simulatorparameter per Reverse Engineering zu bestimmen.
Kernaussagen
Das Training einer Policy wird so dargestellt, dass es drei Dinge braucht: nützliche Beispiele, einen Ort zum Üben und eine Möglichkeit zu messen.
Deformierbare Assets wie Kabel werden kalibriert, indem simulierte und reale Schwingungs- und Ausschwingkurven abgeglichen werden, um die Real-to-Sim-Lücke zu schließen.
Lightwheel argumentiert, dass aus realen industriellen Aufgaben aufgebaute RL-Umgebungen wertvoller sind als Teleoperationsaufgaben auf dem Tisch.
Umgebungen werden agentisch konstruiert, wobei Simulationsingenieure jeden Schritt auf physikalische Genauigkeit prüfen.
Vom Träumen zum Handeln: Welt-Aktions-Modelle und agentische Robotik (From Dreaming to Doing: World Action Models and Agentic Robotics)
Jim Fan · NVIDIA
Fan argumentiert, dass das Aufkommen eines leistungsstarken Frontier-Modells („Astra“) ein schnelles System 1 nicht überflüssig macht und dass die eigentliche Frage lautet, was eine gute, lehrbare und steuerbare Fähigkeit ausmacht. Er stellt GR00T 2 vor, ein Welt-Aktions-Modell mit 2B Parametern, das zukünftige Videoframes und Aktionen gemeinsam in einem einzigen Diffusionsdurchlauf vorhersagt, sowie eine Turbo-Variante für Edge-Rechner, demonstriert an langwierigen geschickten Aufgaben wie dem Tausch von Speichermodulen im Rechenzentrum und Abläufen im Chemielabor. Er zeigt „Cross Adapt“, einen Zero-Shot-Transfer von am Körper getragenen Geräten von Menschen, Mocap-Handschuhen, DexUMI-Exoskeletten und Simulation, sowie drei Wege, das Frontier-Modell mit GR00T zu koppeln (visuelle Steuerung, Aktionsänderungen und das agentische Harness Aspire). Zum Abschluss kündigt er offene Veröffentlichungen von Modellgewichten, SimFoundry, Aspire, der Annotationssuite Flora, 100k Stunden an Daten von Menschen und Hardware-Designs an.
Kernaussagen
Das Modell „träumt“ zukünftige Frames im Pixelraum und handelt danach, wobei es Aktion und Video gemeinsam dekodiert.
Fine-Tuning ausschließlich auf von Menschen gesammelten Daten (UMI-Greifer, Mocap-Handschuhe, DexUMI-Exoskelette) übertrug sich zero-shot auf andere Roboterhardware.
Durch auf Pixel gemalte Hinweise kann ein großes Reasoning-Modell eine kleine Policy steuern und kognitive Aufgaben wie die Rekursion der Türme von Hanoi nach oben auslagern.
Ein agentisches Harness, das zwischen der gelernten Policy und Code-as-Policy-Fähigkeiten zur Fehlerbehebung wechselt, ermöglichte nahezu durchgehende Montage über die Nacht.
NVIDIA kündigte an, die Gewichte von GR00T 2 und Turbo sowie das Cross-Adapt-Rezept im Dezember als Open Source zu veröffentlichen.
Mo. 2:00 PM · Hilton Austin · Vorsitz: Ken Goldberg
1 Beitrag
Early-Career-Keynote
Wie können Roboter lernen, mit anderen zu interagieren und sich abzustimmen? (How Can Robots Learn to Interact and Coordinate with Others?)
Negar Mehr · UC Berkeley
Mehr, vorgestellt von Ken Goldberg, zeigt anhand einer Aufgabe, bei der zwei Roboter gemeinsam etwas tragen, warum sich das Lernen von Interaktion vom Lernen eines einzelnen Agenten unterscheidet. Für die Imitation erklärt sie, dass Multi-Agenten-Behavior-Cloning auf die Ausnutzbarkeit statt auf die Wertlücke achten muss, nutzt dezentrale Diffusion Policies, um multimodale Koordination zu bewältigen, und lernt residuale Denoiser, die Koordination auf eingefrorene Einzelagenten-Policies aufsetzen. Für RL zeigt sie Foundation Models als „Coaches“, die Aufgaben zerlegen, Code für Belohnung und Komposition schreiben und Credit Assignment übernehmen, was Aufgaben ermöglicht, die einfaches MAPPO nicht lösen konnte. Schließlich fasst sie kontinuierliches Lernen als zeitlichen Konsens im Gewichtsraum auf, gelöst mit primal-dualen Aktualisierungen nach der Multiplikatorenmethode, womit pi-0.5 auf neue Aufgaben feinabgestimmt wird, ohne Pretraining-Aufgaben zu vergessen und ohne Replay.
Kernaussagen
Bei Multi-Agenten-Imitation kann eine kleine Abweichung eines Agenten die gemeinsame Aufgabe zum Scheitern bringen, daher ist die Datenabdeckung von Fehler- und Interaktionsmodi noch wichtiger als im Einzelagenten-Fall.
Dezentrale Diffusion Policies, die im gleitenden Horizont laufen, können sich ohne Kommunikation implizit auf einen Koordinationsmodus einigen.
Werden vortrainierte Einzelagenten-Policies eingefroren und nur ein Koordinationsresiduum aus wenigen Demonstrationen gelernt, bleiben Einzelfähigkeiten erhalten und Teamarbeit wird möglich.
Ein Standard-Foundation-Model als Credit Assigner übertraf bei einer Koordinationsaufgabe im Lager gängige Multi-Agenten-RL-Baselines.
Iterationen am vom Coach erzeugten Code zur Komposition von Fähigkeiten steigerten die Erfolgsrate eines Humanoiden beim Knopfdrücken in zwei Runden von etwa 20% auf 90%.
Replay-freier zeitlicher Konsens (TACO) bewahrte die Leistung bei Pretraining-Aufgaben, wo überwachtes Fine-Tuning sie vergaß, und vermied zudem doppelte oder veraltete Objekte bei dynamischer Kartierung.
BitVLA: 1-Bit-Vision-Language-Action-Modelle für Robotermanipulation (BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation)
Hongyu Wang · Institute of Computing Technology, Chinese Academy of Sciences / University of Chinese Academy of Sciences (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
1Institute of Computing Technology, Chinese Academy of Sciences2University of Chinese Academy of Sciences
Die Autoren stellen BitVLA vor, ein vollständig natives 1-Bit-VLA mit ternären Gewichten auf Basis von BitNet b1.58, das eine Quantize-then-Distill-Phase zur Komprimierung des Vision-Encoders nutzt. Es erreicht Manipulationsleistung auf dem Niveau von OpenVLA-OFT, benötigt dabei 11x weniger Speicher, läuft 4.4x schneller und wird mit einer eigenen Inferenz-Runtime ausgeliefert.
Kernaussagen
Der Ersatz linearer Schichten durch Schichten mit ternären Gewichten und 8-Bit-Aktivierungen beseitigt die meisten Gleitkomma-Multiply-Accumulate-Operationen und öffnet die Tür für spezialisierte Edge-Beschleuniger.
Ein Lehrer in voller Präzision, der die latenten Repräsentationen des quantisierten Vision-Encoders ausrichtet, hilft, die Genauigkeit nach der Komprimierung zu erhalten.
Eine eigene Runtime mit gepackten ternären Gewichten lief auf derselben GPU 3.52x schneller als PyTorch.
EagleVLA: Auf dem Weg zu Echtzeit-Robotersteuerung an Bord durch vorausschauend ausgerichtete asynchrone Inferenz (EagleVLA: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference)
1Peking University2TLAIC3PrimeBot Research Institute4AIRS
Die Autoren zielen auf den VLA-Einsatz auf stromsparenden Bordgeräten wie Jetson Orin, wo lange Inferenzzeiten zu einer Fehlausrichtung von Wahrnehmung und Ausführung sowie zu langsamen Reaktionen führen. Sie sagen zukünftige versteckte Zustände des VLM aus bereits festgelegten Aktionen vorher, sodass der Action-Experte vom zukünftigen Zeitschritt aus handelt, planen Aufrufe von VLM und Action-Experte nach Vorhersagekonfidenz und ergänzen eine Inferenz-Engine für den Bordeinsatz.
Kernaussagen
Asynchrone Inferenz allein verbirgt die Latenz, lässt den Roboter aber auf veralteten Beobachtungen handeln; die Vorhersage der zukünftigen Repräsentation korrigiert dies.
Konfidenzbasierte Planung lässt den günstigen Action-Experten allein laufen, wenn die Zukunftsvorhersagen zuverlässig sind, und verkürzt so die Reaktionszeit.
Beim realen Wäschefalten zeigten sich glattere Trajektorien als bei synchroner Inferenz und Baselines mit Real-Time Chunking.
REACT: Rollendes Entrauschen und doppelte Entkopplung für reaktive Robotersteuerung mit VLA-Modellen (REACT: Rolling Denoising and Dual Decoupling for Reactive Robot Control with VLA Models)
1Shanghai Jiao Tong University2PrimeBot3ShanghaiTech University4Zhejiang University5National University of Singapore
REACT adressiert in flowbasierten VLAs den Zielkonflikt zwischen glatten, langen Action-Chunks und reaktiver Neuplanung, indem es einen rollenden Aktionspuffer vorhält, dessen Blöcke sich in gestaffelten Entrauschungsstadien befinden und mit jeder neuen Beobachtung verfeinert werden. Die doppelte Entkopplung führt Sensorik, VLM-Kodierung, Entrauschen und Ausführung asynchron aus.
Kernaussagen
Schnellere Inferenz oder asynchrone Ausführung allein erhöhen nicht den „Eingangsdurchsatz“, also die Rate, mit der neue Beobachtungen die Aktionen beeinflussen.
Rollendes Entrauschen erlaubt es, jeden ausgeführten Block über mehrere jüngste Beobachtungen hinweg zu verfeinern, was Glätte und Reaktionsfähigkeit zugleich verbessert.
Training mit gestaffelten Rauschniveaus pro Block führte zu schnellerer Konvergenz und geringerem Vorhersagefehler im offenen Regelkreis.
Arnav Sukhija1, Lenart Treven1, Jin Cheng1, Florian Dorfler1, Stelian Coros1, Andreas Krause1
1ETH Zurich
TARC ist ein RL-Framework, in dem die Policy sowohl eine Aktion als auch deren Haltedauer ausgibt, unter einem Budget für Steuerungsaktualisierungen, sodass die Steuerfrequenz gelernt wird. Auf einem Vierbeiner bleibt die Rate im Stand niedrig und schnellt bei einem Stoß in die Höhe, und auf einem pi-0-VLA entscheidet es adaptiv, wann neu geplant wird.
Kernaussagen
Das beschränkte Problem reduziert sich auf einen Standard-MDP mit Kosten pro Aktualisierung, sodass jeder handelsübliche RL-Algorithmus anwendbar ist.
TARC erreichte eine feste 50-Hz-Policy bei weniger als der halben Steuerrate, während eine Policy mit fester Rate bei gleicher durchschnittlicher Rate schlechter abschnitt.
Adaptive Neuplanung auf pi-0 hielt die Erfolgsrate und sparte dabei etwa 38% der Forward-Passes ein.
Diffusion ReRoll: Revidierbares Entrauschen für sequenzielle Vorhersage in der Robotik (Diffusion ReRoll: Revisable Denoising for Robotic Sequential Prediction)
Seonsoo Kim · Agency for Defense Development
Alle Autoren
Seonsoo Kim1, Seongil Hong1, Jun-Gill Kang1
1Agency for Defense Development
Diffusion ReRoll versetzt Bereiche einer Sequenz, die sich stabilisiert haben, selektiv erneut mit Rauschen, während andere weiter entrauscht werden, sodass frühere und spätere Teile eines Horizonts sich gegenseitig revidieren können. Evaluiert wird es auf OGBench-Planung, Policy-Lernen auf LIBERO/RoboCasa, vereinheitlichter Video-Aktions-Vorhersage und realer Navigation mit Bord-Inferenz bei 5 Hz.
Kernaussagen
Diffusion über die gesamte Sequenz kann sich auf eine falsche Entscheidung festlegen und diese lediglich sauberer machen, und kausales Diffusion Forcing kann späteren Kontext ein frühes Präfix nicht revidieren lassen.
Die Zugewinne durch erneutes Verrauschen wachsen mit der Zahl solcher Ereignisse, bis sie sättigen, und kausale Attention-Masken begrenzen den Nutzen.
Bei realer Navigation bewältigte es Layouts außerhalb der Trainingsverteilung und scharfe Kurven, an denen Baselines mit voller Sequenz und kausale Baselines scheiterten.
Weltmodelle gezielt angreifen, um Pipelines für Roboterlernen zu kompromittieren (Targeting World Models to Compromise Robot Learning Pipelines)
Ethan Rathbun · Northeastern University
Alle Autoren
Ethan Rathbun1, Ahmed Agha1, Saaduddin Mahmud2, Christopher Amato1, Alina Oprea1, Eugene Bagdasarian2
1Northeastern University2University of Massachusetts Amherst
Die Autoren zeigen, dass Weltmodelle, die synthetische Trainingsdaten für Roboter erzeugen, ein unauffälliger Einfallspunkt für Vergiftung sind: Nicht wahrnehmbare Bildperturbationen an harmlos wirkenden Demonstrationen können bösartige Prompts in textkonditionierte Modelle einschleusen oder die Dynamik aktionskonditionierter Modelle mit einer Hintertür versehen. Die vergifteten Rollouts pflanzen sich anschließend in VLA- und PPO-Policies fort.
Kernaussagen
Die Perturbation eines Kontextframes konnte ein textkonditioniertes Weltmodell dazu bringen, aus einem harmlosen Prompt eine andere, schädliche Aufgabe zu generieren (z. B. eine Waffe in eine Geschenkbox zu legen).
Eine Hintertür lässt die Vorhersagen des Weltmodells zusammenbrechen, sofern der Agent beim Anblick eines Auslösers nicht eine Zielaktion ausführt, was eine RL-Policy dann lernt.
Die Autoren bezeichnen dies als ersten Hintertürangriff, der ausschließlich über einen Angriff auf ein Weltmodell eingeschleust wird, und fordern sicherere Lieferketten für Weltmodelle.
Weixi Song · Zhejiang University / Shanghai Innovation Institute / Westlake University (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Weixi Song1,2,3, Donglin Wang3, Yong-Lu Li2,4
1Zhejiang University2Shanghai Innovation Institute3Westlake University4Shanghai Jiao Tong University
Die Autoren ersetzen rekurrente Weltmodell-Rollouts durch ein Chunk-Weltmodell, das einen latenten Zustand und einen vorhergesagten Action-Chunk in einem einzigen Durchlauf auf einen zukünftigen latenten Chunk abbildet, und optimieren die Value Expansion ohne Backpropagation through Time. Sie evaluieren auf HumanoidBench und setzen zweibeiniges Gehen auf einem Unitree-Go2-Vierbeiner ein.
Kernaussagen
Die Vorhersage auf Chunk-Ebene vermeidet sich aufsummierende Einschrittfehler und die Instabilität von Gradienten durch rekurrente Rollouts.
Auf HumanoidBench erreichte die Methode starke Leistung mit etwa 50% der Trainingszeit und 30x schnellerer Inferenz als TD-MPC2.
Die Methode entdeckte zweibeiniges Gehen auf einem realen Vierbeiner schneller als SAC.
FedGuide: Diffusions-Prior-Alignment und Value-Baseline-Guidance für heterogenes föderiertes Reinforcement Learning (FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning)
Zhilin He · Carnegie Mellon University
Alle Autoren
Zhilin He1, Gauri Joshi1
1Carnegie Mellon University
FedGuide behandelt föderiertes RL über Clients mit unterschiedlicher Dynamik, unterschiedlichen Rewards und Anfangszuständen, indem es personalisierte Diffusions-Priors nutzt, die über eine Mixture of Experts auf Basis von Optimal Transport aggregiert werden, sowie eine DICE-Value-Baseline, um prior-regularisiertes PPO zu stabilisieren. Evaluiert wird auf MuJoCo-Fortbewegung und Meta-World-Manipulation.
Kernaussagen
Direktes Mitteln lokaler Policies löscht die spezialisierten Verhaltensmodi, die jeder heterogene Client benötigt.
Die Aggregation von Verhaltens-Priors im Verteilungsraum bewahrte mehrere Reward-Modi, wo das Mitteln von Policies auf einen einzigen kollabierte.
Der DICE-Value-Baseline wurde eine deutlich geringere Volatilität des Returns über die Trainingsrunden hinweg zugeschrieben.
MoRE: Mixture-of-Experts für Multi-Physik-Weltmodelle in der Robotik (MoRE: Mixture-of-Experts for Multi-Physics Robotic World Models)
Ziyu Zhu · UIUC / Georgia Tech
Alle Autoren
Ziyu Zhu1,2, Shaowei Liu1, Albert J. Zhai1, Henry Che1, Wei-Chiu Ma3, Shenlong Wang1
1UIUC2Georgia Tech3Cornell University
MoRE ist ein 3D-punktbasiertes Weltmodell, das Roboterinteraktionen auf einem gemeinsamen Encoder an Bewegungsexperten für starre, deformierbare und greifende Dynamik weiterleitet; trainiert wird mit Isaac Sim und realen Daten. In Kombination mit MPC schiebt ein einziges Modell starre Kisten, manipuliert weichen Stoff und führt mehrstufige Werkzeugnutzung auf einem realen Roboter aus.
Kernaussagen
Ein einziges gemeinsames Dynamikmodell verwischt tendenziell unterschiedliche Interaktionsregime, was eine Mixture of Experts mit Router vermeidet.
MoRE verbesserte die Vorhersagegenauigkeit gegenüber früheren Methoden über Benchmarks mit starren, deformierbaren und greifenden Interaktionen hinweg.
Ein einziges Weltmodell innerhalb von MPC ermöglichte vielfältige reale Manipulationsaufgaben ohne materialspezifische Modelle.
Herausforderungen auf dem Weg zu Embodied AI (Challenges to Realize Embodied AI)
Wolfram Burgard · University of Technology Nuremberg
Nach einer Einführung durch Dieter Fox beschreibt Burgard die Robotikforschung als Sisyphos, der mit drei Technologien immer wieder einen Felsbrocken bergauf rollt: probabilistische Robotik, Deep Learning und nun Foundation Models. Er schreibt probabilistischen Methoden Lokalisierung im Millimeterbereich und den Aufstieg selbstfahrender Autos zu, argumentiert aber, dass ihre Abhängigkeit von HD-Karten Systeme auf geofenced Level-4-Autonomie beschränkt und dass der Bedarf von Deep Learning an vordefinierten Ontologien in unordentlichen Haushalten scheitert. Anschließend gibt er einen Überblick über Foundation-Model-Arbeiten seiner Gruppen zu kartenfreier Navigation (FlowNav, MetricNet), mit LLMs verketteten Fähigkeiten, semantischem Greifen, taktiler Vorhersage, expliziter Wrench-Regelung und der Interpretierbarkeit von Vision-Language-Navigationsagenten. Zum Schluss fordert er kalibrierte Unsicherheit, Kraft und Tastsinn in Robotik-Foundation-Models, gemeinsam genutzte großskalige akademische Rechenressourcen und ein 'CERN der Robotik'.
Kernaussagen
Die Kombination von tiefer Wahrnehmung mit probabilistischer Zustandsschätzung erfordert kalibrierte Unsicherheiten, was mit Foundation Models noch schwieriger wird.
Burgard erwartet, dass Roboter Fabrikhallen deutlich früher erreichen als unordentliche Haushalte, so wie autonomes Fahren zuerst in strukturierteren Umgebungen erfolgreich war.
Kartenfreie Navigation benötigt dennoch eine gewisse metrische Geometrie, da diffusionsbasierte Navigation ohne Maßstab zu Kollisionen führte, die die skalierten Wegpunkte von MetricNet behoben.
Das Hinzufügen expliziter Kraft-/Wrench-Regelung zu Imitations-Policies verbesserte die Leistung bei kontaktreichen Aufgaben deutlich gegenüber Positions-plus-Steifigkeits-Regelung.
Moderne Vision-Language-Navigationsagenten erreichten unter 70% Präzision gegenüber von Menschen annotierten relevanten Regionen, was mehr Arbeit an Interpretierbarkeit motiviert.
Er argumentiert, dass die Wissenschaft ihre Ressourcen in offenen Robotik-Foundation-Models bündeln muss, die Kraft und Tastsinn einbeziehen, um mit der Industrie Schritt zu halten.
Mo. 4:30 PM · Hilton Austin · Vorsitz: Matt Walter
3 Beiträge
Sponsor
Innovationen in der Autonomie bei GM (Innovations in Autonomy at GM)
Sean Harris · General Motors
Harris beschreibt GMs Wechsel vom Robotaxi-Programm Cruise zu persönlicher Autonomie mit dem Ziel eines Eyes-off-Autobahnprodukts im Jahr 2028. Er stellt Self-Play-RL in einem Simulator, der mehr als 50,000x schneller als Echtzeit läuft, menschliche Leistung übertrifft und Recovery lernt, aber vereinfachte Eingaben nutzt und sich möglicherweise nicht menschlich anfühlt, dem Imitationslernen auf Hunderttausenden Stunden Fahrdaten gegenüber. Er skizziert Wege, beides zu kombinieren, und beschreibt VLM-Anwendungen im Fahrzeug und offboard, etwa Szenen-Reasoning, Data Mining, Triage und Kritik.
Kernaussagen
Robustes Einfädel- und Vorfahrtsverhalten entstand aus weniger als zwei Stunden Self-Play-Training in GMs schnellem Simulator.
Self-Play deckt seltene Ereignisse ab und vermeidet das DAgger-Problem sich aufsummierender Fehler, während Imitation realistische Verteilungen und menschenähnliches Verhalten liefert.
Mögliche Kombinationen sind das Verankern von RL an einer Imitations-Policy, das Destillieren eines RL-Lehrers oder das Lernen von Rewards aus menschlichem Fahren.
VLMs sind nützlich für High-Level-Reasoning auf Fahrspurebene an Unfallstellen und für das Aufspüren seltener, unstrukturierter Ereignisse wie Gegenständen auf der Fahrbahn.
Cho stellt das Ziel von BitRobot vor, reale Daten per Crowdsourcing zu sammeln, darunter das am Kopf getragene Aufnahmegerät RoboCap mit sechs Kameras, drahtlos synchronisierte Handgelenkkameras, die Integration taktiler Handschuhe sowie offene Datensätze wie RoboCap 10K, einen LiDAR-Ground-Truth-Datensatz, einen großen Datensatz zur urbanen Navigation und 500 Stunden Humanoide in realen Wohnungen. Anschließend stellt Duan RoboColosseum vor, ein großes Evaluierungsvorhaben in der realen Welt mit Hunderten Robotern, einem 30-köpfigen Evaluierungsteam und Hunderten Umgebungen, das einen Fine-Tuning- und einen offenen Track anbietet.
Kernaussagen
RoboCap 10K bietet 10,000 Stunden berufliche Arbeit unter realen Bedingungen, gesammelt in 11 Ländern, mit Handposen und SLAM.
Die ersten Evaluierungen von RoboColosseum ergaben, dass kein Modell in allen Settings dominiert und kein Humanoiden-Modell vollständigen Erfolg erreichte.
Laut Duan sind etwa 400 bis 500 Vergleiche nötig, um statistisch signifikante Schlüsse über Modelle zu ziehen.
RoboColosseum bietet akademischen Laboren 10,000 Stunden kostenlose Evaluierung in der realen Welt an.
Dateninfrastruktur für Physical AI (Data Infrastructure for Physical AI)
Kun Wang · MaxInsights
Der Mitgründer und CTO von MaxInsights stellt das Unternehmen als großen Anbieter egozentrischer Daten von Menschen für Robot Learning vor, mit über zwei Millionen gelieferten Stunden. Er zeigt interne Belege zur Datenqualität, einen Pretraining-Lauf nur mit egozentrischen Daten, der ähnliche Erfolgsraten erreicht wie ein Modell, das auf etwa zehnmal mehr gemischten Daten trainiert wurde, sowie ein feingranulares Sprachannotationsschema mit Labels pro Hand auf Phasenebene. Außerdem gibt er einen Ausblick auf einen offenen Annotationsdatensatz und eine Feedbackschleife aus Evaluierung und Korrektur unter realen Bedingungen.
Kernaussagen
Pretraining auf etwa 600 Stunden ihrer egozentrischen Daten erreichte Berichten zufolge in der Simulation ungefähr das Niveau einer Baseline, die auf über 6,000 Stunden Roboter- plus egozentrischen Daten trainiert wurde.
Die Sprachannotationen sind nach Zielklarheit, zeitlicher Konsistenz und Ausführungsdetail strukturiert und werden für linke und rechte Hand getrennt mit etwa einer Sekunde Granularität gelabelt.
MaxInsights plant, einen Annotationsdatensatz mit Kontaktlabels auf Fingerebene als Open Source zu veröffentlichen, die bestehenden egozentrischen Datensätzen nach eigener Aussage fehlen.
Ein Reasoning-Modell, das Ergebnisse prüft und korrigierendes Feedback an die Policy sendet, ist Teil seiner Feedbackschleife für reale Daten.
Spotlight S3 · Lernen von Menschen, Geschicklichkeit und Kooperation
Di. 8:30 AM · Hilton Austin · Vorsitz: Danfei Xu
9 Beiträge
Spotlight
Ego2Robot: Skalierbare Synthese von Roboterdaten aus egozentrischen Daten von Menschen (Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data)
Ye Wang · Renmin University of China / Alibaba Inc. (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Ye Wang1,2, Pei Lin2,3,4, Xiong-Hui Chen2, Haoqi Yuan2, Zhixuan Liang2, Yiyang Huang2, Anzhe Chen2, Zixing Lei2, Jie Zhang2, Tao Zhang1, Haoyang Li2, Tong Zhang2, Chenxi Xiao3, Ziyuan Jiao4,5, Qin Jin1
1Renmin University of China2Alibaba Inc.3ShanghaiTech University4Beijing Institute for General Artificial Intelligence5Beihang University
Die Autoren stellen Ego2Robot vor, eine Pipeline, die egozentrische Manipulationsvideos von Menschen in Robotertrainingsdaten umwandelt, indem Handposen auf Greiferaktionen retargetiert, menschliche Arme per Inpainting entfernt, die Bewegung in der Simulation abgespielt und der gerenderte Roboter über die Originalszene gelegt wird; anschließend werden Clips geringer Qualität herausgefiltert. Mit einem erweiterten RoboTwin-Benchmark messen sie, wie diese synthetischen Daten das Pretraining von Robotik-Foundation-Models entlang der Achsen Erscheinungsbild, Szenenlayout, Embodiment und Aufgabensemantik unterstützen.
Kernaussagen
Eine ausgewogene Mischung aus synthetisierten Ego2Robot-Daten und echten Roboterdaten funktioniert für das Pretraining am besten, und das Beimischen synthetisierter Daten im Roboterformat schlägt das Beimischen der rohen egozentrischen Videos.
Die größten Zuwächse zeigen sich bei Variationen von Beleuchtung und Roboterfarbe, Robustheit gegenüber Kameraverschiebungen, embodiment-übergreifendem Transfer und Anweisungen mit ungesehenen Objekten, und weitere Roboterkörper verbessern den Transfer weiter.
Die Genauigkeit der Handposenschätzung begrenzt derzeit die Zuwächse bei den präzisesten Aufgaben auf echten Robotern.
1Shanghai Jiao Tong University2Eastern Institute of Technology, Ningbo3Peking University4ShanghaiTech University
Die Autoren nutzen den menschlichen Blick als Embodiment-unabhängiges Signal für Intention: Ein Modell, das auf einem großen egozentrischen Datensatz mit Hand- und Blickannotationen vortrainiert wurde, sagt zunächst autoregressiv Intentions-Tokens vorher und erzeugt dann Aktionen, im Stil einer Chain of Thought. Für das Post-Training genügt eine kleine Menge Roboterdaten ohne Blickannotationen, kombiniert mit aufgabenbezogenen Daten von Menschen.
Kernaussagen
High-Level-Intention lässt sich weit leichter über Embodiments hinweg übertragen als Low-Level-Aktionen und dient daher als Brücke für den Transfer vom Menschen auf den Roboter.
Manuelles Bearbeiten der vorhergesagten Intention ändert die Trajektorie des Roboters im laufenden Betrieb, und die Modellierung der Intention erhöht den Aufgabenerfolg.
Daten von Menschen helfen sowohl im Pretraining als auch im Post-Training und ermöglichen dem Roboter Erfolg in Szenarien, die nur in Videos von Menschen vorkamen.
Effiziente und zuverlässige Teleoperation durch Real-to-Sim-to-Real Shared Autonomy (Efficient and Reliable Teleoperation through Real-to-Sim-to-Real Shared Autonomy)
Shuo Sha · Columbia University
Alle Autoren
Shuo Sha1, Yixuan Wang1, Binghao Huang1, Antonio Loquercio2, Yunzhu Li1
1Columbia University2University of Pennsylvania
Die Autoren schlagen ein Real-to-Sim-to-Real-Framework für Shared Autonomy vor, in dem ein residualer RL-Co-Pilot, in der Simulation gegen ein k-Nearest-Neighbor-Surrogat eines Menschen trainiert, das an weniger als fünf Minuten realer Teleoperation angepasst wurde, Bediener bei kontaktreichen Aufgaben wie dem Aufschrauben von Muttern, dem Ineinandergreifen von Zahnrädern und dem Einsetzen von Stiften unterstützt. Der Mensch liefert die High-Level-Intention, während der Co-Pilot die Low-Level-Kontaktausrichtung übernimmt.
Kernaussagen
Die Aufteilung der Rollen, bei der der Mensch die Intention vorgibt und RL die Low-Level-Kontaktregelung übernimmt, macht Teleoperation zuverlässiger, ohne volle Autonomie lösen zu müssen.
Co-Pilot-unterstützte Teleoperation erhöht den Erfolg, verkürzt Ausführungszeit und Arbeitsbelastung und folgt der Intention des Bedieners, etwa einer variierenden Einsetzgeschwindigkeit.
Diffusion Policies, die auf Co-Pilot-unterstützten Demonstrationen trainiert wurden, übertreffen solche, die auf derselben Menge direkter Teleoperationsdaten trainiert wurden.
1Microsoft Research2University of Washington3Microsoft4ETH Zurich
Michael Murray stellt FlowDAgger vor, das eingefrorene Flow-Matching- und Diffusion-Policies (etwa pi0.5, Cosmos Policy und einfache Diffusion Policies) aus einer Handvoll menschlicher Korrekturen per Space-Mouse anpasst, indem eine kleine Latent-Steering-Policy trainiert wird. Die zentrale Zutat ist Action Inversion: Eine Fixpunktoptimierung bildet jede Korrektur auf das Rausch-Latent zurück, das sie erzeugen würde, und wird innerhalb einer Schleife im DAgger-Stil eingesetzt.
Kernaussagen
Die direkte Überwachung des latenten Raums mit invertierten Korrekturen führt in Dutzenden Episoden zu Fortschritten, während das Explorieren des Rauschraums Tausende benötigen kann.
Da nur eine kleine latente Policy trainiert wird, bewahrt die Methode den vortrainierten Prior und vermeidet das katastrophale Vergessen, das bei überwachtem Fine-Tuning auftritt, und sie läuft auf einer Consumer-GPU.
Die Zuwächse sind bei Aufgaben mit Engpässen hoher Präzision am größten.
BiDexGrasp: Koordinierte bimanuelle geschickte Griffe über Objektgeometrien und -größen hinweg (BiDexGrasp: Coordinated Bimanual Dexterous Grasps across Object Geometries and Sizes)
Mu Lin · Sun Yat-sen University / Tsinghua University
1Sun Yat-sen University2Tsinghua University3Peking University4Jiangxing Intelligence (Guizhou) Technology Inc.5Stanford University
Die Autoren stellen BiDexGrasp vor, eine Pipeline zur Synthese bimanueller geschickter Griffe sowie ein generatives Modell. Regionsbasierte Initialisierung und entkoppelte Optimierung machen die Synthese 40-mal schneller und erzeugen einen Datensatz mit fast 10 Millionen Griffen, während ein bimanuelles Koordinationsmodul und objektadaptive Greifanker die Koordination und große Größenunterschiede bewältigen.
Kernaussagen
Das Initialisieren beider Hände in vielversprechenden Regionen und das Entkoppeln ihrer Optimierung macht die bimanuelle Griffsynthese weit effizienter und verdoppelt die Syntheseerfolgsrate der Baseline mehr als.
Der gelernte Generator verbessert den Erfolg um etwa 25 Prozentpunkte gegenüber der Baseline.
In realen Tests erreicht er 74.6% Erfolg über 260 Versuche mit 30 Objekten, einschließlich des Transfers auf andere Roboterhände.
KPGrasp: Skalierbares Keypoint-Flow-Matching zur Erzeugung geschickter Griffe (KPGrasp: Scalable Keypoint Flow Matching for Dexterous Grasp Generation)
Yuansen Huang · Peking University / Galbot (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Yuansen Huang1,2, Jiayi Chen1,2, Haoran Liu1,2, Yubin Ke1,2, Bing Han2,3, Jiangran Lyu1,2, Mi Yan1,2, Li Yi2,4, He Wang1,2
1Peking University2Galbot3Xi'an Jiaotong University4Tsinghua University
KPGrasp repräsentiert geschickte Griffe als 3D-Hand-Keypoints im Objektkoordinatensystem und trainiert einen Transformer im DiT-Stil nur mit dem Standard-Flow-Matching-Loss; die Gelenkwinkel werden mit einem leichtgewichtigen Inverse-Kinematik-Schritt gewonnen, ohne Kontakt-Losses oder Verfeinerung zur Testzeit.
Kernaussagen
Auf Dexonomy erreicht es 76.3% Erfolg bei 2.4 mm Penetration und überträgt sich zero-shot auf DexGraspAnything mit 63.8% Erfolg.
Eine vollständig euklidische Keypoint-Parametrisierung vermeidet die Akkumulation kinematischer Fehler, vereinfacht die Gewichtung der Losses und skaliert besser mit Daten, Modell- und Batchgröße.
Greifen in der realen Welt aus partiellen Punktwolken einer einzelnen Ansicht gelingt in 83 von 100 Versuchen mit 20 Objekten.
WM-Craftnet: World Synesthesia Model für robuste und generalisierbare geschickte In-Hand-Manipulation (WM-Craftnet: World Synesthesia Model for Robust and Generalizable Dexterous In-Hand Manipulation)
Xiaojing Tan · Sharpa Robotics
Alle Autoren
Jie Yin1, Zeyuan Zhao1, Xiaojing Tan1, Yang Liu1, Chiyu Wang1, Xinyang Gu1
1Sharpa Robotics
WM-Craftnet trainiert ein rekurrentes State-Space-Weltmodell im Dreamer-Stil auf Tiefe, Tastsinn, Propriozeption, vergangenen Aktionen und Rewards für eine humanoide Hand mit 20 DoF. Sein latenter Zustand, trainiert zur Rekonstruktion sauberer Tiefe aus verrauschten Sensoren, konditioniert eine Closed-Loop-Policy für In-Hand-Rotation, statt für Imagination verwendet zu werden.
Kernaussagen
Die Rekonstruktion sauberer Tiefe regularisiert verrauschte Sensorik und verbessert die Sim-to-Real-Robustheit, während im Einsatz nur die Rohsensoren verwendet werden.
Ein auf nur neun Objekten vortrainiertes Weltmodell dient als wiederverwendbarer Prior, mit dem eine nachgelagerte Policy ohne Objektkennungen oder privilegierte Informationen auf 49 Objekte generalisiert.
Die rekurrente Historie schätzt den aktuellen Kontaktzustand und ermöglicht die Erholung von Störungen sowie das Neuzentrieren aus schwierigen Anfangsgriffen.
1Zeno AI2The University of Sydney3Zhejiang University
Die Autoren schlagen Sequential Asymmetric Imitation (SAI) vor, mit der ein einzelner Teleoperator gekoppelte Policies für zwei bimanuelle mobile Manipulatoren trainieren kann: Roboter A wird zunächst mit einem menschlichen Partner gelernt, dann wird Roboter B zusammen mit der eingefrorenen Policy von A angelernt, und A wird anhand von Korrekturen feinabgestimmt, in denen er warten, ausweichen oder sich erholen muss. Zu den Aufgaben gehören das Ausbreiten einer Tischdecke und das Aufrichten eines Gemäldes.
Kernaussagen
Wird der gelernte Partner Teil des Lehrprozesses, kann sich B an das tatsächliche Timing und die Fehler von A anpassen, ohne synchronisierte Demonstrationen mit zwei Bedienern.
SAI schlägt unabhängig trainierte Imitations-Policies mit gleicher Architektur und gleichem Budget, vor allem indem es lernt, wann gewartet werden muss und wie die gemeinsame Abstützung erhalten bleibt.
Message-Passing-Baselines schneiden bei zuverlässiger Kommunikation gut ab, verschlechtern sich aber bei Verzögerungen und Paketverlust.
Besser hinterlassen als vorgefunden: Wertgeleitete Kooperation bei sequenziellen Aufgaben (Leave It Better Than Found: Value-Guided Cooperation in Sequential Tasks)
Mario Gomez Andreu · University of Cambridge / ETH Zurich
Alle Autoren
Mario Gomez Andreu1,2, Michael Amir1, Antonio Marino1, Tianxu An2, Marco Hutter2, Amanda Prorok1
1University of Cambridge2ETH Zurich
Mario Gomez Andreu stellt PAVE vor, eine Ad-hoc-Methode zur sequenziellen Fortsetzung von Aufgaben, bei der ein führender Roboter online einen Kompromiss zwischen seinem eigenen Ziel und der Value Function des Folgeroboters im Übergabezustand optimiert und dabei seine eigene Policy als Prior nutzt. Ein Out-of-Distribution-Indikator verhindert, dass der Leader der Value-Schätzung des Followers in Zuständen vertraut, die der Follower im Training nie gesehen hat.
Kernaussagen
Das Teilen der bestehenden Value Function eines RL-Followers ermöglicht Kooperation ohne gemeinsame Trainingsdaten, was wichtig ist, wenn Roboter von verschiedenen Herstellern stammen.
Die Value-Schätzungen des Followers sind außerhalb der Verteilung übermäßig zuversichtlich, daher ist ihre Absicherung mit einem OOD-Indikator unerlässlich.
Die Methode erhöht den Erfolg des Followers um etwa 28 Prozentpunkte bei weiterhin hohem Erfolg des Leaders und erreicht das Niveau einer privilegierten Fine-Tuning-Baseline.
Vortrag O4 · Reinforcement Learning und Bewegungs-Reasoning
Di. 9:00 AM · Hilton Austin · Vorsitz: Katerina Fragkiadaki
3 Beiträge
Vortrag
RL Token: Online-RL mit Vision-Language-Action-Modellen bootstrappen (RL Token: Bootstrapping Online RL with Vision-Language-Action Models)
Charles Xu · Physical Intelligence
Alle Autoren
Charles Xu1, Jost Tobias Springenberg1, Michael Robert Equi1, Ali Amin1, Adnan Esmail1, Sergey Levine1, Liyiming Ke1
1Physical Intelligence
Charles Xu stellt RL Token von Physical Intelligence vor, das ein pi0.6-VLA so anpasst, dass es ein einzelnes komprimiertes 'RL-Token' bereitstellt, gelernt über einen Encoder-Decoder, der die vollständigen Embeddings der letzten Schicht rekonstruieren muss, und das als Beobachtung für einen kleinen Online-Actor-Critic dient. Der Actor ist auf den vom VLA gesampelten Action-Chunk konditioniert und wird zu ihm hin regularisiert; Online-RL mit menschlichen Erfolgslabels und Eingriffen zielt nur auf den schwierigsten Teil einer Aufgabe, etwa das Ausrichten eines Schraubendrehers oder das Einfädeln eines Kabelbinders.
Kernaussagen
Die vortrainierten Embeddings des VLA sind ein weit besseres Wahrnehmungs-Backbone für RL mit kleinen Netzen als generische Encoder; der Wechsel von einem ResNet-10 zum RL-Token verdoppelte in Ablationen die nachgelagerte RL-Geschwindigkeit ungefähr.
Die Konditionierung des gaußschen RL-Actors auf den Aktionsvorschlag des VLA vermeidet das Kollabieren auf den Mittelwert einer multimodalen Flow-Policy und erleichtert das Lernen.
Beim Einstecken eines Ethernet-Kabels liegt die mediane Episode der RL-Policy bei 66 Schritten, gegenüber 230 bei SFT und etwa 150 bei einem erfahrenen Teleoperator, und die Hälfte ihrer Episoden ist schneller als die schnellste Teleoperationsepisode.
Gezieltes Online-RL auf den Engpass einer Aufgabe dauert Stunden statt der Tage, die iteratives RL auf dem gesamten VLA benötigt.
1Amazon FAR2UC Berkeley3Stanford University4The University of Hong Kong5Carnegie Mellon University
Hongsuk Choi stellt FPO++ vor, das Policy-Gradient-RL mit Flow Matching (FPO) durch zwei Änderungen für die Robotersteuerung stabil macht: Trust Regions pro Sample, die jedes Verhältnis pro Rausch-Zeitschritt clippen, und eine asymmetrische Trust Region, die PPO-Clipping für positive Advantages beibehält und SPO für negative verwendet. Die Methode trainiert Fortbewegung und humanoides Motion Tracking von Grund auf, wird auf realen Robotern eingesetzt und feinjustiert bildbasierte Manipulations-Policies.
Kernaussagen
Das ursprüngliche FPO kollabierte bei komplexen Robotikaufgaben; Clipping pro Sample plus asymmetrische Trust Regions liefern konsistent hohe Returns über Seeds und Schwellenwerte hinweg.
Den Flow von Aktionen mit negativem Advantage wegzudrücken, kann die ELBO-Posterior-Lücke aufblähen, was eine Regularisierung im SPO-Stil verhindert.
Flow-Policies lernen semantisch sinnvolle Gelenkkorrelationen und erhalten die Exploration länger als gaußsches PPO, was natürlichere Gangarten ergibt.
Sampling ohne Rauschen bei der Inferenz liefert glattere und zuverlässigere Aktionen, selbst mit wenigen Integrationsschritten.
Schnell oder langsam fahren? Neuro-symbolische Steuerung der Bewegungsvorhersage in multimodaler bodengebundener Mobilität (Driving, Fast or Slow? Neuro-Symbolic Guidance for Motion Prediction in Multi-Modal Ground Mobility)
Simon Kohaut, Felix Divo · TU Darmstadt
Alle Autoren
Simon Kohaut1, Felix Divo1, Julius Hahnewald1, Benedict Flade2, Julian Eggert2, Kristian Kersting1,3,4,5, Devendra Singh Dhami6
1TU Darmstadt2Honda Research Institute3hessian.AI4Centre for Cognitive Science5DFKI6TU Eindhoven
Simon Kohaut und Felix Divo stellen TraCS (Trajectory Compliance-Shaping) vor, das die Vorschläge von Black-Box-Bewegungsprognosemodellen über einen log-linearen Opinion Pool mit einem probabilistischen prädikatenlogischen Modell lokaler Verkehrsregeln fusioniert, wobei ein gelerntes Trust Gate entscheidet, wann Regeln gelten. Eine agentische Schleife aus Coder, Judge und Verifier übersetzt Verkehrsregeln in natürlicher Sprache in probabilistische Resin-Logikprogramme, die in Millisekunden ausgewertet werden können.
Kernaussagen
Frontier-LLMs als Coding-Agenten übersetzten die Regeltexte in korrekte Programme, wobei Judge und Verifier bei schwächeren Modellen wichtiger waren.
Auf Argoverse 2 mit QCNet, DeMo und anderen Backbones sind die Gesamtgewinne gering, konzentrieren sich aber auf den Bereich mit den höchsten Fehlern, insbesondere bei Fußgängern.
Regeln immer anzuwenden oder die gelernten Vertrauensgewichte zu mischen hilft nicht; zu wissen, wann sich Akteure an Regeln halten, ist also ebenso wichtig wie die Regeln selbst.
Von der Compliance-Landschaft markierte Regelverstöße und Fehlvorhersagen können die künftige Datenerhebung lenken.
Di. 9:30 AM · Hilton Austin · Vorsitz: Georgia Chalvatzaki
1 Beitrag
Early-Career-Keynote
Lernen ohne Neuanfang: Erweitern, was Roboter in der realen Welt lernen können (Learning Without Starting Over: Expanding What Robots Can Learn in the Real World)
Roberto Martin-Martin · University of Texas at Austin
Nach einer Einführung durch Georgia Chalvatzaki argumentiert Martin-Martin, dass, weil kein Roboter für jede Zukunft vortrainiert werden kann, das 'Lernpotenzial' eines Roboters entscheidend ist: wie viel neue Fähigkeit er aus begrenzter Erfahrung in der realen Welt gewinnt. Ausgehend von einem Experiment, bei dem kindliches Klopfen zu Hämmern wird, zeigt er, dass die Art der Wiederverwendung von Vorwissen bestimmt, was noch gelernt werden kann. Anschließend gibt er einen Überblick über Arbeiten seines Labors zu gelernten Aktionsräumen für sicheres RL in der realen Welt (SLAC, modusindizierte Diffusion Policies), zur Extraktion von Struktur aus menschlichen Demonstrationen und Korrekturen (SafeMimic, OopsieVerse-Schadenssimulation, Oopsie-Recover) und zur Auswahl der Daten, auf denen trainiert oder die gesammelt werden sollen (DataMIL, GUILD). Zum Schluss geht er auf Gedächtnis und kontinuierliches Lernen über Erfahrungsprotokolle, verankertes menschliches Feedback und mit LoRA angepasste VLAs ein.
Kernaussagen
Fine-Tuning einer selbstüberwacht gelernten Klopf-Fähigkeit lernt Hämmern schneller als Lernen von Grund auf, während Einfrieren am schnellsten lernt, aber stagniert; die Form der Wiederverwendung ist also ebenso wichtig wie der Prior.
Ein aufgabenunabhängiger, auf Sicherheit ausgerichteter latenter Aktionsraum, gelernt in der Simulation, ermöglichte mobilen Manipulatoren das Lernen kontaktreicher Aufgaben mit weniger als einer Stunde RL in der realen Welt und nahezu ohne Sicherheitsunterbrechungen.
Eine Handvoll sprachlich annotierter Korrekturen, umgewandelt in gegatete programmatische Kosten, verbesserte ein eingefrorenes VLA um etwa 35% und in neuen Situationen um etwa 20%.
Die Auswahl von Co-Training-Daten nach ihrem vorhergesagten Effekt auf die Ziel-Policy schlägt Heuristiken auf Basis von Bild- oder Sprachähnlichkeit und hilft sogar einem Roboter, der nicht in Open X-Embodiment enthalten ist.
Sequenzielle LoRA-Adapter mit On-Policy-RL lassen ein VLA neue Fähigkeiten mit nahezu null durchschnittlichem Vergessen erwerben, was es zu einer vielversprechenden Grundlage für kontinuierliches Lernen macht.
Gelernte Sicherheit bietet probabilistische statt formaler Garantien, daher wird künftige Evaluierung darauf beruhen, zu testen, wie sicher Policies sind.
Vortrag O5 · Geschicktes Lernen, Greifen und Montage
Di. 10:30 AM · Hilton Austin · Vorsitz: Masha Itkina
3 Beiträge
Vortrag
EgoScale: Skalierung geschickter Manipulation mit vielfältigen egozentrischen Daten von Menschen (EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data)
Ruijie Zheng stellt EgoScale vor, das ein VLA im GR00T-Stil auf großskaligen egozentrischen Videos von Menschen vortrainiert, die per SLAM und Handposenschätzung in Aktionen umgewandelt und auf eine Sharpa-Hand mit 22 DoF retargetiert werden, dann ein Mid-Training auf abgestimmten Daten von Menschen und Robotern durchführt (etwa 4 Stunden Teleoperation, gepaart mit 50 Stunden per Handschuh und Handgelenkkamera erfasster Daten von Menschen bei denselben Aufgaben) und schließlich ein Post-Training auf neuen geschickten Aufgaben folgen lässt.
Kernaussagen
Die Kombination aus Pretraining mit Daten von Menschen und abgestimmtem Mid-Training liefert den höchsten Erfolg bei fünf geschickten Aufgaben, und nur diese Kombination erzielt nennenswerten Erfolg bei den schwierigsten, etwa dem Aufschrauben von Flaschen und dem Umfüllen mit Spritzen.
Der Validierungsloss auf Daten von Menschen folgt einem log-linearen Skalierungsgesetz in der Menge der Daten von Menschen und korreliert mit der Leistung auf echten Robotern.
One-Shot-Transfer entsteht: Eine neue Aufgabe wie das Falten von Hemden wird aus einer einzigen Teleoperationstrajektorie plus etwa 100 Demonstrationen von Menschen gelernt.
Dasselbe Rezept überträgt sich auf einen Unitree G1 mit einer anderen Hand, mit glatteren Bewegungen als die Baselines.
1Peking University2PrimeBot3Beijing Institute for General Artificial Intelligence
OpenDexGrasp erzeugt aufgabenorientierte geschickte Griffe aus frei formulierten Sprachanweisungen. Es kombiniert OpenDex-Scale (1.24 Millionen synthetisierte Griffe, von einem VLM mit Aufgabenbeschreibungen gelabelt) mit OpenDex-Align (etwa 27k von Menschen demonstrierte funktionale Griffe, über Objektinstanzen hinweg übertragen) sowie ein Modell, das ein vortrainiertes VLM mit einem 3D-Geometrie-Encoder koppelt und gemeinsam Aufgaben-Affordance und Handpose vorhersagt.
Kernaussagen
Die Kombination breiter synthetischer Abdeckung mit kleineren, hochwertigen, an Menschen ausgerichteten Daten verbessert sowohl die physische als auch die funktionale Griffqualität.
Die Vorhersage der Affordance zusammen mit dem Griff verknüpft die Sprachanweisung damit, wo die Hand Kontakt herstellen soll.
Das Ersetzen des vortrainierten VLM-Backbones verursacht in Ablationen den größten Einbruch, und Griffe auf echten Robotern gelingen in 72% der Fälle.
Verbleibende Fehlschläge betreffen Objekte, deren Pose erheblich verändert werden muss, bevor ein funktionaler Griff möglich ist.
Play2Perfect: Worauf kommt es beim Play-Pretraining geschickter Hände für präzise Montage an? (Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?)
Tyler Ga Wei Lum, Kushal Kedia · Stanford University / Cornell University
Alle Autoren
Tyler Ga Wei Lum1, Kushal Kedia2, Karen Liu1, Jeannette Bohg1
1Stanford University2Cornell University
Tyler Lum und Kushal Kedia stellen Play2Perfect vor, bei dem eine mehrfingrige Hand zunächst per RL mit 'Play' vortrainiert wird, also dem Erreichen zufälliger 6D-Zielposen mit Tausenden zufälliger Objekte, und dann mit einem spärlichen, CAD-definierten Reward für präzise Montage mit langem Horizont feinabgestimmt wird, etwa Einsteckvorgänge mit einem halben Millimeter Toleranz oder das Anschrauben eines Tischbeins. Die Policies werden vollständig in der Simulation trainiert und zero-shot mit FoundationPose-Objekttracking eingesetzt.
Kernaussagen
Mit Play-Pretraining erreicht die Montage innerhalb von 2 bis 5 Stunden Fine-Tuning hohen Erfolg, während RL von Grund auf nach 24 Stunden bei 0% bleibt und RL mit dichtem Reward 33-mal länger braucht, um gleichzuziehen.
Mit Play vortrainierte Policies greifen mit mehreren Fingern und bleiben unter Kraftstörungen über 80% Erfolg, während RL mit dichtem Reward fragile Strategien lernt, die scheitern.
Wirksames Play erfordert volle 6D-Ziele (nicht nur Translation), enge Toleranzen von 1 cm, viele Objekte und in jeder Episode neue zufällige Ziele, die allesamt In-Hand-Manipulation betonen.
Play allein bewältigt Bewegungen im freien Raum, scheitert aber beim Kontakt; Fine-Tuning lehrt kontaktreiche Suchstrategien, und kleine Objekte bleiben wegen Verdeckung schwierig.
Vortrag O6 · Kraft, taktile Steuerung und Manipulationsplanung
Di. 11:00 AM · Hilton Austin · Vorsitz: Ian Abraham
3 Beiträge
Vortrag
FACTR 2: Gelernte externe Kraftmessung für handelsübliche Roboterarme verbessert das Policy-Lernen (FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning)
Jason Jingzhou Liu, Steven Oh · Carnegie Mellon University / Waseda University
Alle Autoren
Steven Oh1,2, Jason Jingzhou Liu1, Tony Tao1, Philip Han1, Kenneth Shaw1, Satoshi Funabashi2, Ruslan Salakhutdinov1, Deepak Pathak1
1Carnegie Mellon University2Waseda University
Jason Liu und Steven Oh stellen FACTR 2 vor, das kostengünstigen Armen mit NEXT externe Kraftmessung verleiht: Ein LSTM, in etwa einer Minute auf rund 10 Minuten Gelenkpositionen, -geschwindigkeiten und Motorströmen im freien Raum trainiert, sagt das Drehmoment im freien Raum vorher, sodass das Residuum während des Kontakts dem externen Drehmoment entspricht. Diese Schätzung treibt Teleoperation mit Kraftrückkopplung auf Armen wie Piper, YAM und Nero an, und FIRST nutzt sie, um Demonstrationen in freie, Vorkontakt- und Kontaktphasen zu segmentieren und die beiden letzteren beim Training mit Behavior Cloning überzugewichten.
Kernaussagen
Auf einem Franka folgen die NEXT-Schätzungen während des Kontakts den eingebauten Drehmomentsensoren und bleiben bei freier Bewegung nahe null.
Das externe Drehmoment sowohl als Policy-Eingabe als auch zum Resampling von Vorkontakt- und Kontaktsegmenten zu nutzen, lieferte die besten Ergebnisse bei Aufgaben mit langem Horizont wie der Riemenmontage.
Das Übergewichten von Kontaktphasen senkt dort den Validierungsloss und erzeugt mehr Recovery-Verhalten, wenn die Ausrichtung fehlschlägt.
Etwa 10 Minuten Daten freier Bewegung reichten aus, da 30 bis 40 Minuten die Leistung nicht verbesserten.
PACE: Taktile Konditionierung mit zeitlichen Rollen für chunk-basierte Einsteck-Policies (PACE: Temporal-Role Tactile Conditioning for Chunk-Based Insertion Policies)
Zane (presenting for the authors) · Xiaomi Robot Technology
Alle Autoren
Zhiyuan Chen1, Shixiong Xu1, Shuai Chen1, You Yangwei1
1Xiaomi Robot Technology
Vorgestellt von Zane im Namen des Erstautors Zhiyuan Chen (Xiaomi Robotics), der wegen Visaverzögerungen nicht teilnehmen konnte. PACE weist einem gemeinsamen taktilen Datenstrom in einer chunk-basierten Einsteck-Policy drei zeitliche Rollen zu: einen Phasenpfad, der Transformer-Features anhand des geglätteten Kontaktzustands moduliert, einen Ereignispfad, der bei abrupten Kontaktänderungen eine residuale Korrektur der ersten Aktionen des Chunks freischaltet, und einen zusätzlichen Vorhersagekopf für künftige taktile Signale, der nur im Training verwendet wird. Die Demonstrationen wurden mit einem Sigma.7-Teleoperationssystem mit Kraftrückkopplung gesammelt.
Kernaussagen
PACE erreicht über fünf reale Einsteckaufgaben durchschnittlich 90.7% Erfolg gegenüber 46% für die stärkste Baseline mit taktiler Konkatenation sowie 88.7% auf Manipulation-Net, einschließlich eines engen Spiels von 0.1 mm.
Der Ereignispfad trägt am meisten bei, da sein Entfernen den Erfolg auf 66.7% senkt.
Kraftrückkopplung während der Teleoperation senkte die durchschnittliche maximale Kontaktkraft von 16.7 N auf 10 N.
Das Design überträgt sich auf andere Sensoren (Kraft-Drehmoment, Gelenkströme) und Backbones wie Diffusion Policy.
Multi-Objekt-Umordnung mit langem Horizont durch destillierte Baumsuche über kontinuierliche Aktionen (Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions)
Kallol Saha stellt DISCO vor, ein Rezept im AlphaGo-Stil für die Umordnung mehrerer Objekte mit langem Horizont: Eine Pick-and-Place-Policy schlägt Aktionen als Kanten in einem MCTS-Baum über kontinuierliche Aktionen mit Progressive Widening vor, und Erfolge und Fehlschläge werden regelmäßig zurück in die Policy und eine Value Function destilliert, parallel in GPU-Simulation ausgeführt. Die finalen Policies laufen zur Testzeit ohne Suche bei Aufgaben wie dem Einräumen von Regalen, dem Stapeln und dem Abräumen von Tischen, einschließlich Sim-to-Real-Transfer.
Kernaussagen
Progressive Widening, also das Hinzufügen von Kindknoten, je häufiger Knoten besucht werden, macht Baumsuche über kontinuierliche Aktionsräume handhabbar.
DISCO übertrifft Beam Search, MPPI, RL sowie Ablationen mit uniformer Suche oder festem Verzweigungsfaktor.
Sowohl die Policy als auch die Value Function verbessern sich in jeder Destillationsrunde, sodass Reasoning mit langem Horizont aus Daten mit kurzem Horizont gelernt wird.
Eine Anfangs-Policy, die nur mit Behavior Cloning trainiert wurde, scheitert an realen Aufgaben mit langem Horizont, die die destillierte DISCO-Policy bewältigt.
Vortrag O7 · Humanoide Daten, Steuerung und Fähigkeiten
Di. 11:30 AM · Hilton Austin · Vorsitz: Koushil Sreenath
3 Beiträge
Vortrag Finalist für den Preis
GRAIL: Humanoide Loko-Manipulation aus Weltmodellen generieren (GRAIL: Generating Humanoid Loco-Manipulation from World Models)
Tianyi Xie · NVIDIA / UCLA
Alle Autoren
Tianyi Xie1,2, Haotian Zhang1, Jinhyung Park1, Zi Wang1, Bowen Wen1, Jiefeng Li1, Xueting Li1, Qingwei Ben1, Haoyang Weng1, Yufei Ye1, David Minor1, Tingwu Wang1, Chenfanfu Jiang2, Sanja Fidler1, Jan Kautz1, Linxi Fan1, Yuke Zhu1, Zhengyi Luo1, Umar Iqbal1, Ye Yuan1
1NVIDIA2UCLA
Die Autoren schlagen vor, Daten für humanoide Loko-Manipulation zu generieren, statt sie zu sammeln: Ausgehend von einem einzigen Bild einer konstruierten 3D-Szene steuern Text-Prompts ein Video-Foundation-Model, das Demonstrationen von Menschen erzeugt (Sitzen, Schieben, Tragen, Treppensteigen, Betreten von Bordsteinen). Die Bewegung von Menschen und Objekten wird mithilfe der privilegierten Szenengeometrie und Kameraparameter rekonstruiert, durch Wahl einer menschlichen Figur passender Größe auf Roboter retargetiert und mit einem szenen- und geländebewussten Ganzkörper-Tracker physikalisch valide gemacht. Eine aus diesen Trackern destillierte visuelle Policy, vollständig in der Simulation trainiert, wird zero-shot auf realen Humanoiden eingesetzt.
Kernaussagen
GRAIL erzeugte über 35k physikalisch valide Bewegungen, und der öffentliche Datensatz hatte zum Zeitpunkt des Vortrags etwa eine Viertelmillion Downloads.
Eine nur auf GRAIL-Daten trainierte Aufnahme-Policy übertrug sich zero-shot auf den realen Roboter mit 80% Erfolg bei ungesehenen Objekten.
Das virtuelle Erzeugen Tausender Treppenvarianten liefert eine Geländeabdeckung, die Motion Capture praktisch nicht erreichen kann, und die Treppen-Policy generalisierte auf ungesehene Innen- und Außentreppen.
Die Autoren retargetieren weiterhin aus Videos von Menschen, da Videomodelle und Posenschätzer für Menschen ausgereift sind, erwarten aber direkte Videogenerierung von Humanoiden, sobald beide für Roboter feinabgestimmt sind.
SuperMimic: Skalierung humanoider Ganzkörpersteuerung mit einem einzigen differenzierbaren Weltmodell (SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model)
SuperMimic skaliert allgemeines humanoides Motion Tracking, indem es ein einziges differenzierbares Weltmodell der über alle Bewegungen geteilten Dynamik lernt, angepasst an Simulator-Transitionen, und die Tracking-Policy damit über Gradienten erster Ordnung (im SHAC-Stil) plus einen Critic trainiert, in einer einzigen alternierenden Schleife. Liao zeigt eine Live-Demo des Weltmodells und des Trackers, die auf Störungen reagieren, und argumentiert, dass die Amortisierung eines Modells über alle Bewegungen den Modellfehler bei wachsender Datenmenge konstant hält. Der resultierende allgemeine Tracker überträgt sich auf einen realen Unitree G1, obwohl er in der Imagination trainiert wurde.
Kernaussagen
Liao berichtet, einen allgemeinen Tracker in etwa drei Stunden auf einer GPU trainiert zu haben, gegenüber über 100 GPUs für eine Woche bei SONIC, eine etwa tausendfache Reduktion der GPU-Stunden, räumt aber einen kleineren Datensatz und eine schnellere GPU ein.
Imagination-Rollouts sind über 10x schneller als die Simulation, und Gradienten erster Ordnung durch das Modell benötigen weit weniger Schritte als PPO auf demselben Modell.
Mit längerem Training erreichte die Methode null Tracking-Fehlschläge über etwa 100,000 Bewegungen.
Der Code wurde während des Vortrags als Open Source veröffentlicht; andere hatten ihn bereits nachimplementiert und auf Speedruns, muskelgetriebene Humanoide und Manipulation mit spärlichem Reward ohne Referenzen erweitert.
1The University of Hong Kong2Archon Robotics3The Chinese University of Hong Kong
RoboNaldo trainiert eine einzige Low-Level-Policy für humanoide Torschüsse über ein dreistufiges bewegungsgeführtes Curriculum: zunächst das Tracking einer einzelnen menschlichen Schussreferenz, dann das Lernen präziser Schüsse mit spärlichen Aufgaben-Rewards, indem Bälle nahe dem getrackten Schusspunkt initialisiert werden, und schließlich die Vereinigung von Fortbewegung und Schießen mit einer adaptiven, auf den Ball ausgerichteten Referenz und einem heuristischen Planer für das Timing des Schusses. Ein LiDAR an Bord erkennt einen reflektierenden Ball, und eine Brustkamera liest AprilTag-Ziele am Tor; das System wurde auf einem Unitree G1 auf Innen- und Außenplätzen getestet.
Kernaussagen
Die Initialisierung des Balls nahe dem getrackten Schusspunkt macht die Tracking-Policy zu einem guten Ausgangspunkt für PPO und löst das Explorationsproblem bei spärlichem Reward.
Die Kontaktraten auf dem echten Roboter lagen über 90%, mit 100% Erfolg bei der im Vortrag berichteten Bedingung mit ruhendem Ball.
Die maximale Ballgeschwindigkeit lag über 10 m/s, was der Vortragende auf etwa 60% eines Schusses eines Profispielers schätzte.
Die Sim-to-Real-Lücke bleibt die Hauptursache für Fehlschläge, insbesondere bei der Stabilität nach dem Schuss auf Außenplätzen.
Allzweckroboter mit Gemini bauen (Building general purpose robots with Gemini)
Kanishka Rao · Google DeepMind
Rao beschreibt das Kernproblem der Robotik als die Verbindung von universellem Reasoning mit geschickter Ganzkörpersteuerung, angegangen sowohl von Frontier-Modellen als auch von Robotermodellen aus. Er fasst Gemini Robotics 2.0 zusammen (Ganzkörpersteuerung des Humanoiden Apollo, geschickte Hände, Zusammenarbeit mehrerer Roboter) und kündigt Gemini Robotics 2.5 an, trainiert auf 200+ Aufgaben, mit verbesserter Sicherheit und einem Kitting-Pilotprojekt an einer Produktionslinie von Mercedes-Benz/Apptronik. Außerdem kündigt er MuJoCo 4 und MuJoCo Playground 1.0 an und beschreibt, wie Frontier-Gemini-Modelle als Agenten eingesetzt werden, um Simulatoren aus realen Logs zu bauen, Rollouts zu analysieren und sogar einem Humanoiden Cornhole beizubringen.
Kernaussagen
Das Training über 200+ geschickte Aufgaben steigerte den Erfolg gegenüber dem Vorgängermodell um etwa 30-100%, und auch zuvor gelernte Aufgaben verbesserten sich.
Das Kitting-Pilotprojekt an der Produktionslinie erreichte 96% autonomen Erfolg.
Frontier-Modelle beschleunigen inzwischen die Entwicklung von Robotermodellen durch Real-to-Sim-to-Real-Schleifen und automatisierte Fehleranalyse und wurden beim Bau von Gemini Robotics 2.5 eingesetzt.
Rao prognostiziert, dass Frontier-Modelle einen größeren Teil der Robotik übernehmen werden und dass agentische Robotersteuerung im geschlossenen Regelkreis kommen wird, sobald diese Modelle schneller werden.
Aktionen und Agenten für echtes Verhalten mit langem Horizont (Actions and Agents for True Long-Horizon Behavior.)
Alberto Rodriguez · Boston Dynamics
Rodriguez berichtet über einen frühen Einsatz von Atlas im Hyundai-Werk in Savannah bei der Teilesequenzierung: Teile aus Lieferantenbehältern entnehmen, Barcodes bimanuell scannen, sie in der richtigen Reihenfolge in die korrekten Fächer einsetzen und heruntergefallene oder defekte Teile aussortieren. Das System nutzt einen Cloud-'Job-Harness' um ein feinabgestimmtes Gemini-ER-Reasoning-Modell (System 2), das eine textuelle Jobbeschreibung und die Fabrikaufträge liest, sowie ein einziges Aktionsmodell auf dem Roboter auf einem NVIDIA Thor (System 1), nachtrainiert auf etwa 400 Stunden Teleoperationsdaten. Er plädiert für ein einziges Aktionsmodell statt einer Zerlegung in Fähigkeiten und für Datenqualität statt Masse.
Kernaussagen
Die End-to-End-Abschlussrate lag einschließlich Eingriffen bei 98.6%, mit einer Eingriffsrate von 9.5%, also etwa einem Eingriff alle 20 Minuten.
Die Zykluszeit liegt bei etwa zwei Minuten pro Aufgabe, rund 50% langsamer als die für wirtschaftlichen Nutzen nötige Rate von einer pro Minute; Boston Dynamics prognostiziert die erste 8-stündige Produktionsschicht von Atlas für 2027.
Kein handelsübliches Frontier-VLM war ohne Fine-Tuning zuverlässig genug für die Prüfung des Aufgabenabschlusses und die fachgenaue Steuerung.
Rodriguez sieht großskaliges RL in der Simulation als Weg zu hochwertigen Daten und zeigt emergentes geschicktes Verhalten von reinen RGB-Policies.
Die Referenzplattform für Physical AI (The Reference Platform for Physical AI)
Sven Parusel · Franka Robotics / Agile Robots
Parusel beschreibt Frankas Ziel, die Referenz-Hardware- und -Softwareplattform für die Forschung zu Physical AI zu sein, aufbauend auf dem drehmomentsensitiven 7-DoF-Arm Franka Research 3 und seinem 1-kHz-Franka-Control-Interface. Er stellt das Zweiarmsystem FR3 Duo und ein neues mobiles FR3 Duo mit holonomer Basis vor, zusammen mit einer Reihe von Teleoperationsschnittstellen. Außerdem hebt er Frankas kürzlich als Open Source veröffentlichte Datenpipeline hervor, die Teleoperation, Sensorerfassung, Labeling, Training und Inferenz abdeckt, sowie das Benchmark-Paper DualBench.
Kernaussagen
Über 2,000 Publikationen nutzten in einem einzigen Jahr Franka-Roboter, und auf der CoRL 2024 setzte über die Hälfte der Paper mit einem einzelnen Arm sie ein.
Gelenkdrehmomentsensorik und voller Modellzugriff (Jacobi-Matrizen, Massenmatrix) über eine Schnittstelle mit hoher Rate sind laut Parusel die Merkmale, die die Nutzung in der Forschung zu kontaktreichen Aufgaben und HRI begründen.
Eine standardisierte Zweiarmkonfiguration mit festen Kameras und Greifern soll es Laboren ermöglichen, die Arbeiten der anderen zu reproduzieren und Daten auf einem gemeinsamen Embodiment zusammenzuführen.
Franka hat seine Pipeline für Datenerhebung und Training als Open Source veröffentlicht und lädt zu Beiträgen neuer Eingabegeräte und Labeling-Werkzeuge ein.
Spotlight S4 · Tastsinn, Kraft und kontaktreiche Manipulation
Di. 2:00 PM · Hilton Austin · Vorsitz: Yunzhu Li
9 Beiträge
Spotlight
DeTac: Zweizweigige Entkopplung von Textur- und Kraftsignalen in visionsbasierten taktilen Sensoren (DeTac: Dual-branch Decoupling of Texture and Force Signals in Vision-Based Tactile Sensors)
Zhirui Zhang · Peking University / AI2 Robotics (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
1Peking University2AI2 Robotics3Shanghai Jiao Tong University
DeTac ist ein zweizweigiges generatives Framework, das Markerbilder und sauberes Shading aus einem einzigen Bild eines markerbasierten visuell-taktilen Sensors trennt, mithilfe eines Diffusions-Shading-Zweigs und eines leichtgewichtigen Marker-Zweigs mit zweigübergreifenden Losses, trainiert auf realen gepaarten Daten.
Kernaussagen
Gleichzeitige zweizweigige Entkopplung vermeidet das Dilemma der Maskengröße und die Fehlerakkumulation serieller Pipelines aus Maskierung und anschließendem Inpainting.
Das Entfernen der Markerstörungen ermöglichte es einem auf markerfreien Daten trainierten Stoffklassifikator, Bilder markerbasierter Sensoren korrekt zu klassifizieren.
FingerEye: Geschickte Manipulation lernen mit kontinuierlicher visuell-taktiler Wahrnehmung (FingerEye: Learning Dexterous Manipulation with Continuous Vision-Tactile Sensing)
Zhixuan Xu · National University of Singapore
Alle Autoren
Zhixuan Xu1, YICHEN LI1,2, Wu Xuanye2,3, Qiu Tianyu2,4, Lin Shao1,2
1National University of Singapore2RoboScience3Huazhong University of Science and Technology4South China University of Technology
FingerEye ist ein Fingerspitzensensor mit zwei Kameras hinter einer transparenten nachgiebigen Platte, der vor dem Kontakt visuelle und danach taktile Hinweise liefert, kombiniert mit einer Policy, die jede Beobachtungsgruppe separat kodiert und über gruppenspezifische Attention ausliest.
Kernaussagen
Binokulare Fingerspitzenansichten verbesserten den Erfolg um 10 Prozentpunkte gegenüber einer einzelnen Kamera.
Attention-Diagnosen zeigten, dass naive Fusion sich zu stark auf einfache globale Hinweise stützt, was separate Modalitätspfade motiviert.
DAVATaR: Tiefenbewusstes, visuell augmentiertes taktiles Lernen über die Luft-Wasser-Grenzfläche hinweg (DAVATaR: Depth-Aware Visually Augmented Tactile Learning Across the Air-Water Interface)
DAVATaR behandelt Manipulation über die Luft-Wasser-Grenzfläche hinweg mit einem wasserdichten Greifer, der den Fingerspitzendruck fluidisch an Elektronik über Wasser überträgt, kombiniert mit Messung der Eintauchtiefe und visuellen Augmentierungen für Blendung, Verdeckung und Brechung in einer multimodalen Transformer-Policy.
Kernaussagen
Das Hinzufügen der Eintauchtiefenmessung steigerte den Erfolg von 25% auf 61% bei einer Aufgabe, bei der das Sehen allein den Zustand nicht rekonstruieren konnte.
Taktile Wahrnehmung allein reicht nicht aus, wenn das Sehen stark verzerrt ist, insbesondere bei schwankendem Wasserstand.
Visible Touch: Kontakt für visuomotorische Policies rendern (Visible Touch: Rendering Contact for Visuomotor Policies)
Metin Alp Dogan · UCLA (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Metin Alp Dogan1, Edward Sun1, Feng Xu1, Daniel Wu1, Allen Peng1, Dennis Hong1, Yuchen Cui1
1UCLA
Visible Touch rendert Messwerte eines kostengünstigen magnetischen taktilen Sensors als Pfeile, die über Kamerabilder gelegt werden, sodass bestehende bildbasierte Policies und VLAs ohne Architekturänderungen mit Kontaktinformationen feinabgestimmt werden können.
Kernaussagen
Das Overlay steigerte ein vortrainiertes MiniVLA von etwa 51% auf 79.8% durchschnittlichen Erfolg, mit größeren Zuwächsen bei Aufgaben mit mehreren Griffen und langem Horizont.
Bei realen Aufgaben mit pi-0.5 schlugen Overlays mit mehreren Pfeilen die Zuführung einer separaten taktilen Kameraansicht.
Wann und warum VLAs bei kontaktreichen Aufgaben scheitern und wie sich das beheben lässt (Demystifying When and Why VLAs Fail in Contact-Rich Tasks and How to Fix Them)
Carlota Parés Morlans · Stanford University (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Carlota Parés Morlans1, Nils Kuhn1, Y. Isabel Liu1, Alberta Longhini1, Jeannette Bohg1
1Stanford University
Die Autoren führen das Scheitern von VLAs bei kontaktreichen Aufgaben auf Präzisionsfehler zurück, verursacht durch einen Flow-Matching-Rauschplan, der kleine Aktionen nahe dem Kontakt untergewichtet, sowie auf Kraftfehler; den ersten beheben sie durch den Wechsel zu einem Logit-Normal-Rauschplan, den zweiten durch zeitbewusste, kontaktgesteuerte Kraftinjektion.
Kernaussagen
Den Beta-Plan im Post-Training gegen einen Logit-Normal-Plan auszutauschen, ist eine direkt einsetzbare Lösung ohne zusätzliche Parameter oder Daten.
Über 2,500 reale Rollouts bei fünf Aufgaben erreichte die Methode 66% Erfolg, 25 Punkte über der besten Baseline.
Für Kraft ist es nie zu spät: Beschleunigtes VLA-Post-Training mit reaktiver Kraftinjektion (Never Too Late for Force: Accelerating VLA Post-Training with Reactive Force Injection)
Wendi Chen · Shanghai Jiao Tong University / Shanghai Innovation Institute
Alle Autoren
Yi Wang1,2, Wendi Chen1,2, Zimo Wen1, Han Xue1, Xueqi Li2,3, Wenye Yu1,2, Zhijie Chen1, Hao Yang1, Jun Lv4, Chuan Wen1, Cewu Lu1,2,4
1Shanghai Jiao Tong University2Shanghai Innovation Institute3Southern University of Science and Technology4Noematrix Ltd.
LIFT verleiht einem vortrainierten VLA während des Post-Trainings Kraftbewusstsein, indem ein reaktiver Aktionsexperte mit Kraftgedächtnis aufgepfropft wird, der Aktionen innerhalb jedes Chunks aktualisiert und so initialisiert ist, dass vortrainiertes Wissen erhalten bleibt; die Kraftdaten werden über Online-DAgger gesammelt.
Kernaussagen
Die Kraft-Historie, nicht nur der aktuelle Messwert, wird benötigt, um einen laufenden Einsteckvorgang von einem abgeschlossenen zu unterscheiden.
Späte, mit null initialisierte Kraftinjektion bewahrte die visuelle Generalisierung des VLA auf neue Objekte, Tischdecken und Beleuchtung.
Nach Constraints zerlegte Impedanzregelung aus einer generativen Policy für die Manipulation artikulierter Objekte (Constraint-Decomposed Impedance Control from Generative Policy for Articulated Object Manipulation)
Kyungseo Park · Seoul National University
Alle Autoren
Kyungseo Park1, Byeongdo Lim1, Jungbin Lim1, Minseok Choi1, Frank C. Park1
1Seoul National University
Für artikulierte Objekte samplen die Autoren beim Schließen des Griffs mehrere Trajektorien aus einer generativen Policy, wandeln sie in Body Twists um und bestimmen per PCA den zulässigen Bewegungsunterraum; entlang diesem setzen sie hohe Impedanzverstärkungen und in den übrigen Richtungen niedrige.
Kernaussagen
Die Diversität der Policy-Samples lässt sich ohne Objektmodell in richtungsabhängige Nachgiebigkeit umsetzen.
Auf einem realen Franka sank der Kraftimpuls bei Constraint-Verletzungen um etwa 72% und die Spitzenkraft um etwa 70%.
TAM: Torque Adaptation Module für robusten Bewegungstransfer in der Manipulation (TAM: Torque Adaptation Module for Robust Motion Transfer in Manipulation)
Dongwon Son · KAIST
Alle Autoren
Dongwon Son1, Florian Shkurti2,3, Jason Lee2,4, Naman Shah2, Beomjoon Kim1, Dieter Fox2,4
1KAIST2Allen Institute for AI3University of Toronto4University of Washington
TAM ist ein leichtgewichtiges, vollständig in der Simulation trainiertes Modul, das Low-Level-Drehmomentbefehle anhand der jüngsten Bewegungshistorie korrigiert, sodass Policies über Sim-to-Real-Lücken, Nutzlasten und Roboterinstanzen hinweg übertragen werden, unabhängig davon, wie sie ihre Aktionen erzeugen.
Kernaussagen
Da alle Policies die Drehmomentschnittstelle teilen, verbesserte ein einziger Adapter das Schieben von Kisten, MPC-Ballbalancieren, Behavior Cloning und Nutzlast-Tracking.
Eine nur in der Simulation trainierte Behavior-Cloning-Policy stieg in der realen Welt von 50% auf 72% Erfolg und erreichte damit nahezu ihre Erfolgsrate in der Simulation.
Constrained Sampling und Reinforcement Learning für die Manipulation kombinieren (Combining Constrained Sampling and Reinforcement Learning for Manipulation)
Marc Toussaint · Technical University Berlin / Robotics Institute Germany / Fraunhofer HHI
Alle Autoren
Marc Toussaint1,2,3, Cornelius V. Braun1, Armand Jordana4, Sayantan Auddy1, Eckart Cobo-Briesewitz1, Denis Shcherba1,3, Tilman Burghoff1, Justin Carpentier5,6
1Technical University Berlin2Robotics Institute Germany3Fraunhofer HHI4LAAS-CNRS5Inria6PSL Research University
Toussaint schlägt vor, das Explorationsproblem von RL in Constrained Sampling zu verlagern: Physikalisch zulässige Zustände (Kontakte, Reibungskegel, statische Stabilität) werden aus einer auf Grundprinzipien beruhenden Constraint-Mannigfaltigkeit gesampelt und als Reset-Verteilungen und Curricula für zielkonditionierte Manipulations-Policies verwendet.
Kernaussagen
Mit Constraint-Sampling erzeugte Resets lassen RL die In-Hand-Umorientierung eines Würfels mit einer nach unten gerichteten Hand lernen, wo naive Resets stagnieren.
Fortschritte beim Monte-Carlo- und Mannigfaltigkeits-Sampling sollten sich direkt in bessere RL-Exploration übertragen lassen.
PGRD kombiniert einen optimierbaren Feder-Masse-Simulator mit einem gelernten Netz, das residuale Korrekturen vorhersagt, und modelliert deformierbare Objekte wie Seile und einen Staubwedel mit starrem Stiel und weichen Federn; eingesetzt wird es mit MPPI zum Umverlegen von Seilen, wobei die Ziele über ein Bildmodell aus Sprache erzeugt werden.
Kernaussagen
Das hybride Modell hielt den Stiel eines heterogenen Objekts starr, während es seine Federn verformte, was reinen Feder-Masse- und gelernten Baselines nicht gelang.
Das Erzeugen von Zielbildern aus natürlicher Sprache macht es überflüssig, deformierbare Ziele von Hand festzulegen.
WireCraft ist ein Isaac-basierter Benchmark für die industrielle Manipulation deformierbarer linearer Objekte mit den Aufgaben Steckerstecken, Kabelführung durch Clips und Einlegen in Kanäle sowie konfigurierbaren Kabelmodellen, Steckertypen und randomisierter Geometrie.
Kernaussagen
Policies mit privilegiertem Zustand stecken zuverlässig, doch visionbasierte RL-, Imitations- und VLA-Policies fallen deutlich ab, und das Stecken mit engen Toleranzen bleibt ungelöst.
Das Beimischen von Simulationsdaten zu realen Demonstrationen steigerte die reale Erfolgsrate beim Stecken von 15% auf 80%.
Robuste Stoffmanipulation durch Simulator-in-the-Loop-Verfeinerung zur Inferenzzeit (Enabling Robust Cloth Manipulation via Inference-Time Simulator-in-the-Loop Refinement)
Xin Liu · National University of Singapore / Shanghai Jiao Tong University (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
1National University of Singapore2Shanghai Jiao Tong University
Die Autoren nutzen den Stoffsimulator FLASH als Vorwärtsmodell zur Inferenzzeit: Ein Real-to-Sim-Netz rekonstruiert aus einem einzigen RGB-Bild ein Stoffnetz, und MPPI verfeinert den Plan einer destillierten Policy vor jeder ausgeführten Aktion mit 256 parallelen Rollouts.
Kernaussagen
Das Gesamtsystem faltete Stoff einarmig in 90% und zweiarmig in 80% der Fälle erfolgreich, gegenüber etwa 10-30% ohne Verfeinerung.
Die Wahl des Simulators war entscheidend: FLASH erreichte in kontrollierten Vergleichen 95-100% Erfolg, während Isaac Sim und Newton bei höchstens 60% blieben.
Robustness without Wrinkles: Parallele Simulation und robuste MPC für zertifizierte Manipulation deformierbarer Objekte (Robustness without Wrinkles: Parallel Simulation and Robust MPC for Certified Deformable Manipulation)
CORD-SLS kombiniert einen GPU-parallelen, differenzierbaren Simulator für deformierbare Objekte mit geglättetem Kontakt mit einer robusten Echtzeit-MPC mit Ausgangsrückführung und nutzt Conformal Prediction, um den Real-to-Sim-Fehler zu begrenzen – für zertifizierte Manipulation von Seilen und Stoff.
Kernaussagen
Die Kontaktglättung liefert Gradienten, mit denen analytische Policy-Gradienten zudem in weniger Schritten konvergieren als PPO.
Auf realer Hardware führten die robusten Tubes trotz Dynamik- und Messfehlern zu null Kollisionen mit Hindernissen.
Rauschinvariante räumliche Kodierung für 3D-Manipulations-Policies bei gestörten Tiefendaten (Noise-Invariant Spatial Encoding for 3D Manipulation Policies under Depth Corruption)
Zhiyuan Yang · A*STAR SIMTech / NTU (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
NISE lernt räumliche Merkmale für 3D-Manipulations-Policies direkt aus verrauschten Tiefendaten. Dazu dienen eine kameraübergreifende Supervision darüber, welche Geometrie zwischen Kameras konsistent ist, sowie eine Gauß-marginalisierte 3D-Attention, die unsichere Punktpositionen geringer gewichtet.
Kernaussagen
Bei gesättigtem Tiefenrauschen übertraf NISE die stärkste Baseline in zwei Simulations-Benchmarks um 33-40 Prozentpunkte.
Bei realen transparenten und spiegelnden Objekten verdoppelte es die Erfolge der Baseline etwa, beispielsweise 16 gegenüber 6 von 30 bei einer Aufgabe zum Umgießen aus Reagenzgläsern.
SERF: Räumlich-zeitliche Merkmalskarte von Umgebung und Roboter für mobile Manipulation mit langem Horizont (SERF: Spatiotemporal Environment and Robot Feature Map for Long-Horizon Mobile Manipulation)
Sunghwan Kim · UC San Diego
Alle Autoren
Sunghwan Kim1, Byeonghyun Pak2, Kehan Long1, Yulun Tian3, Nikolay Atanasov1
1UC San Diego2Agency for Defense Development3University of Michigan
SERF konditioniert eine VLA-Policy für mobile Manipulation auf eine räumlich-zeitliche Karte aus neuronalen Punkten für Umgebung und Roboterkörper, die online über starres Tracking auf Objektebene und Vorwärtskinematik aktualisiert und über mehrere Frames tokenisiert wird.
Kernaussagen
Verglichen mit einer rein bildbasierten pi-0.5-Policy erreichte die kartenkonditionierte Policy Teilziele direkter und schloss mehr davon ab.
Eine explizite 3D-Karte gibt der Policy einen Mechanismus zum Ansammeln von Kontext, der rein bildbasierten Foundation-Modellen fehlt.
Artikulierte 3D-Szenengraphen für mobile Manipulation in offenen Welten (Articulated 3D Scene Graphs for Open-World Mobile Manipulation)
Martin Büchner · University of Freiburg (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Martin Büchner1, Adrian Röfer1, Tim Engelbracht2, Tim Welschehold1, Zuria Bauer2, Hermann Blum2,3, Marc Pollefeys2, Abhinav Valada1
1University of Freiburg2ETH Zurich3University of Bonn
MoMa-SG erstellt semantisch-kinematische 3D-Szenengraphen aus RGB-D-Interaktionsvideos: Es segmentiert Interaktionen, schätzt Artikulationen als Twists aus verfolgten Punkten und verknüpft sie mit Objekten mit offenem Vokabular, einschließlich Gegenständen, die in Behältern entdeckt werden.
Kernaussagen
Ein einziges regularisiertes Twist-Modell schätzt sowohl prismatische als auch Drehgelenke robust.
Der Graph ermöglichte Aufgaben mit langem Horizont auf einem Toyota HSR und einem Vierbeiner, etwa auf einen Sprachbefehl hin einen Kühlschrank zu öffnen und Milch herauszuholen.
RAM: Erreichbarkeit über Morphologien hinweg (RAM: Reachability Across Morphologies)
Tim Walter · Technical University of Munich
Alle Autoren
Tim Walter1, Xinyu Chen2,3, Jonathan Külz1, Matthias Althoff1
1Technical University of Munich2German Electron Synchrotron3University of Hamburg
RAM ist ein morphologiekonditioniertes implizites neuronales Modell, das unter Berücksichtigung von Selbstkollisionen vorhersagt, ob eine Pose erreichbar ist; trainiert wurde es auf 30 Milliarden Samples über 30,000 Morphologien.
Kernaussagen
RAM erreichte auf ungesehenen Morphologien 84% Balanced Accuracy, übertraf gelernte IK um 15 Punkte und lief dabei über 500x schneller.
Da es differenzierbar ist, beschleunigt es die Morphologieoptimierung um mehr als eine Größenordnung bei vergleichbaren Designs.
Shape Your Body: Value-Gradienten für das Design von Robotern mit mehreren Embodiments (Shape Your Body: Value Gradients for Multi-Embodiment Robot Design)
Nico Bohlinger · TU Darmstadt
Alle Autoren
Nico Bohlinger1, Jan Peters1,2,3,4
1TU Darmstadt2Robotics Institute Germany3DFKI4hessian.AI
Die Autoren trainieren eine einzige generalistische Fortbewegungs-Policy samt Critic über 50 Laufroboter mit starker Embodiment-Randomisierung, frieren dann den Critic ein und propagieren durch ihn zurück, um Designparameter zu optimieren.
Kernaussagen
Ein einmaliges Training ersetzt einen neuen Co-Design-RL-Lauf pro Design und erlaubt es, Tausende Designs in Sekunden zu optimieren.
Optimierte Designs schlagen oft die Originale der Hersteller, und die Value-Gradienten zeigen, welche Parameter, etwa Aktuatoreinstellungen, die Leistung begrenzen.
Di. 3:30 PM · Hilton Austin · Vorsitz: Ani Majumdar
1 Beitrag
Keynote
Lernen in den Fabriken (Learning in the factories)
Russ Tedrake · MIT / Walden Robotics
Tedrake, vorgestellt von Ani Majumdar, schildert, wie die Gründung von Walden Robotics (eine im Januar 2026 gestartete Ausgründung des Toyota Research Institute) seine Sicht auf die Robotik verändert hat. Er argumentiert, die Technologie sei bereit und die nächste Hürde bestehe darin, Allzweckroboter zu Produkten zu machen. Er erzählt vom ersten Einsatz von Walden, dem Beladen mit Nockenwellen in einem Toyota-Werk unter strengen Anforderungen an Verfügbarkeit und Sicherheit, mit Shared Autonomy im Stil von HG-DAGGER, Fernassistenten und wöchentlichen Over-the-Air-Modellupdates. Anschließend argumentiert er, dass Daten aus dem Feldeinsatz die wertvollsten Daten sind, und stellt ein Experiment vor, in dem stärkere vortrainierte Modelle weniger Interventionsdaten sammelten, sich daraus aber stärker verbesserten. Zum Schluss geht er auf Fehlerüberwachung zur Laufzeit für die Supervision vieler Roboter durch wenige Menschen, Lehren aus dem Toyota-Produktionssystem (Jidoka, Anhalten der Linie, fünf Warums) und die Fertigung von Robotern in großem Maßstab mit Toyota ein.
Kernaussagen
Der Nockenwellen-Einsatz von Walden hat die Produktionslinie nie angehalten, weil menschliche Fernassistenz plus KI eine Erfolgsrate von nahezu 100% erreicht.
Nach einem kürzlichen Trainingslauf eines großen Modells stieg die mittlere Zeit zwischen Interventionen auf etwa 340 Sekunden; Tedrake schätzt, dass damit drei Fernassistenten 50 Roboter beaufsichtigen könnten.
Beim Fine-Tuning mit Shared Autonomy auf neuen Aufgaben lieferte das stärkste Basismodell die wenigsten Interventionsdaten (etwa 1.36 Stunden gegenüber etwa 2 Stunden beim schwächsten), verbesserte sich aber am meisten; stärkere Basismodelle machen Einsatzdaten also wertvoller.
Der Autonomiegrad ist für schwache Modelle die bessere Metrik und die mittlere Zeit zwischen Interventionen für starke, weil sich die Art der Interventionen mit besseren Modellen ändert.
Training nur auf Interventionsdaten übersieht die eigentlichen Ursachen; Tedrake plädiert für Post-mortem-Analysen nach Toyota-Art und gezielte Datenerhebung nach Fehlern.
Als aktuellen Engpass sieht er nicht die KI, sondern die Fertigung von Robotern in großem Maßstab, und geht ihn an, indem Roboter Roboter bauen und Toyota als Partner für die Massenproduktion dient.
Ein autonomer Humanoide für das Zuhause (Building an Autonomous Humanoid for the Home)
Jonathan Tompson · Meta Robotics Studio (Reality Labs)
Tompson, Modeling Lead bei Meta Robotics Studio, beschreibt das Ziel des Teams: einen Humanoiden für den Haushalt, der sowohl nützlich (autonome Haushaltsaufgaben) als auch angenehm (sicher, freundlich, kommunikativ) ist und als Full-Stack-System von den Aktuatoren bis zu Frontier-Modellen entwickelt wird. Ohne Hardware zu zeigen, skizziert er den Modellierungsansatz: ein generalistisches, geschicktes Foundation-Modell, trainiert auf egozentrischen Daten von Menschen aus Aria-Brillen, Daten im UMI-Stil und etwas Roboter-Teleoperation, verfeinert mit DAGGER. Er argumentiert, dass Metas vorhandene Ressourcen (SLAM und Hand-Tracking der Quest, Vision-Modelle wie SAM 3 und SAM 3D, ein FEM-basierter Simulator, das Frontier-Modell Muse und Erfahrung mit Consumer-Hardware) dem Unternehmen einen Vorteil verschaffen.
Kernaussagen
Meta nutzt die SLAM- und Hand-Tracking-Infrastruktur des Quest-Headsets direkt auf seinem Roboter.
Tompson ist inzwischen fest davon überzeugt, dass Simulation, einschließlich FEM-Simulation von Stoff, Schwämmen und feinem Starrkörperkontakt, für allgemeine Robotik unverzichtbar ist.
Explizite Vision-Modelle gewinnen an Bedeutung als Werkzeuge, die Agenten für Datenfilterung, Qualitätssicherung und Zustandsschätzung aufrufen.
Meta speist Robotikdaten in sein Frontier-Modell ein und betreibt RL-Post-Training, um agentische Tool-Aufrufe für Roboteraufgaben zu verbessern.
Skalierung von Roboterintelligenz: Von menschlicher Erfahrung zu sich selbst verbessernden Robotern (Scaling Robot Intelligence: From Human Experience to Self-Improving Robots)
Yongjian Shen · AGIBOT
Shen stellt das auf Einsatz ausgerichtete Physical-AI-Ökosystem von AGIBOT vor: über 20,000 in drei Jahren produzierte Roboter, darunter Einsätze in einer Tablet-Fabrik und mehr als 100 Roboter in der U-Bahn von Guangzhou. Er behandelt den offenen Datensatz AgiBot World (über 1 Million Trajektorien, neue Releases mit Reasoning-Annotationen), das neueste World-Reasoning-Action-Modell von AGIBOT, das Aufgaben-Reasoning, Vorhersage zukünftiger Zustände und Aktionsgenerierung vereint und auf Teleoperation plus egozentrischen Daten von Menschen trainiert ist, flottenweites kollektives Erfahrungslernen über 96 Roboter sowie Genie Master, das Einsatzerfahrung in wiederverwendbares Gedächtnis überführt. Zum Schluss stellt er einen von der Community aufgebauten Manipulations-Benchmark vor, der in jener Woche vier neue Tracks und eine reale Validierung der Simulationsassets erhielt. Mehrere Demovideos ließen sich während des Vortrags nicht abspielen.
Kernaussagen
Kollektives Erfahrungslernen lief gleichzeitig auf 96 physischen Robotern, was AGIBOT für die erste Demonstration in dieser Größenordnung hält.
In einem fünftägigen Experiment zum Auffüllen von Regalen in einem Convenience Store steigerte Genie Master die Workflow-Erfolgsrate von 28.6% auf 85.7%.
Die Simulationsassets des Benchmarks sind auf die reale Welt abgestimmt, damit sich Sim-to-Real-Lücken messen lassen; rund 20 Institutionen tragen bei, und mehr als 190 Teams nutzen ihn.
Foundation-Modelle für die Robotik bei Tesla (Building Foundational Models for Robotics at Tesla)
Patrick Cho · Tesla
Cho erklärt, wie Tesla gelernte Weltmodelle nutzt, um robuste Policies zu entwickeln, zuerst für das Robotaxi Cybercab und dann für Optimus. Tesla setzt die Weltmodelle ein, um nach Sicherheitsinterventionen kontrafaktische Szenarien zu bewerten, neue Policies im geschlossenen Regelkreis auf gesammelten Szenarien zu evaluieren und Policies zu trainieren. Letzteres erfordert Modelle, die kausal, aktionskonditioniert, über mehrere Kameras konsistent, latenzarm und physikalisch akkurat sind. Er zeigt generierte seltene Szenarien (herabfallende Äste, ein Elefant, eine Fahrt durch ein Aquarium) sowie Rollouts von Optimus bei Fortbewegung und Manipulation, konditioniert auf Aktionen auf Gelenkebene und mit der Ground Truth verglichen.
Kernaussagen
Ein Weltmodell zum Training statt nur zur Evaluation zu nutzen, legt die Messlatte deutlich höher, weil Policies jede physikalische Ungenauigkeit ausnutzen.
Ungesehene Tail-Szenarien zu generieren ist nötig, weil Robotaxi-Interventionen zu selten geworden sind, um daran zu testen.
Für Optimus erfordert die Modellierung der eigenen Physik des Roboters Daten aus dem Ziel-Embodiment, was laut Tesla die Skalierung der Optimus-Produktion motiviert.
Die Weltmodelle werden intern von Grund auf trainiert, damit sie wie allgemeine Videogeneratoren funktionieren, die auf die tatsächlichen Aktionen des Autos oder Roboters konditioniert sind.
Spotlight S6 · Optimierung, agentische Planung und Evaluation
Mi. 8:30 AM · Hilton Austin · Vorsitz: Negar Mehr
8 Beiträge
Spotlight
RoboKit: Beschleunigung paralleler differenzierbarer Optimierung für Robot Learning (RoboKit: Accelerating Parallel Differentiable Optimization for Robot Learning)
Jianglong Ye · UC San Diego
Alle Autoren
Jianglong Ye1, Xuanbin Peng1, Conor Mc Gartoll1, Changwei Jing1, Lai Wei1, Jiali Chen1, Xueyan Zou1, Xiaolong Wang1
1UC San Diego
Die Autoren stellen RoboKit vor, ein gebatchtes Optimierungs-Toolkit auf Kernel-Ebene mit analytischen Jacobi-Matrizen und mehreren Optimierern, das IK, Bewegungsplanung, Retargeting, Greifen und simulationsbasierte MPC abdeckt. Außerdem vergleichen sie Optimierung mit gelernten Solvern, um zu zeigen, wo neuronale Methoden helfen.
Kernaussagen
RoboKit meldet etwa 10x schnellere IK als bisherige Frameworks, 2x schnelleres Physik-Retargeting und 16x schnellere renderingbasierte Kalibrierung und löst 2,000 IK-Probleme in etwa 70 ms.
Bei gut gestellten Problemen wie IK und Bewegungsplanung schneidet Optimierung bereits gut ab, und gelernte Methoden ziehen nur gleich.
Lernen hilft, wenn Physik eine Rolle spielt (in Simulation trainiertes Greifen), wenn die Eingaben partielle Punktwolken sind und wenn Geschwindigkeit entscheidend ist (gelernte Bewegungsplanung ist Hunderte Male schneller).
Regelungstaugliche Unsicherheit für Trajektorien-Diffusion (Control-Ready Uncertainty for Trajectory Diffusion)
Zhiwei Xue · NUS (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Zhiwei Xue1, Kam Jia Yue1, Jinhang Qiu1, Yifeng Cheng1, Ege Gursoy2, Jiaming Wang1, Vincent bonnet2, Harold Soh1
1NUS2LAAS-CNRS
Die Autoren stellen SCOPE vor, das die Krümmung des Scores eines Diffusionsmodells ausliest, um Unsicherheits-Tubes für Trajektorien ohne aufwendiges Monte-Carlo-Sampling zu erzeugen. Diese Tubes dienen als Policy-Prior für MPPI und als Prognosen menschlicher Bewegung für sicherere Navigation und Manipulation.
Kernaussagen
Eine starke Krümmung des Scores bedeutet eine enge Trajektorienverteilung (schmale Tube), ein flacher Score eine breite, sodass Unsicherheit aus einem einzigen gelernten Modul stammen kann.
Als Policy-Prior verringert SCOPE die Kollisionen von MPPI in engen Durchgängen, und als Prognose bringt es den Roboter dazu, Fußgängern auszuweichen.
In einer realen Pick-and-Place-Aufgabe, bei der eine menschliche Hand eingreift, ließ die Kombination von SCOPE als Prior und Prognose den Roboter frühzeitig zurückweichen und die Aufgabe abschließen.
Emergente Regelung durch priorbasierte Minimierung der freien Energie (Emergent Control via Prior-Based Free Energy Minimization)
Manish Kolachalam (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Manish Kolachalam, Rani Malhotra
Die Autoren formulieren Regelung gemäß dem Prinzip der freien Energie als Minimierung der quadratischen Abweichung von Prior-Zuständen (bevorzugten Zuständen) und evaluieren modellbasierte (Mountain Car, Autobahn, Zielerreichung) und modellfreie (Walker) Varianten gegenüber belohnungsbasierten Agenten.
Kernaussagen
Das Ziel der freien Energie erreicht ein mit PPO vergleichbares Fahrverhalten und bei Walker eine bessere Langzeitstabilität als SAC, allerdings mit geringerer Belohnung.
Anders als Reward Shaping ist es unabhängig von der Aufgabenstruktur und war bei einer umgekehrten Mountain-Car-Aufgabe erfolgreich, bei der ungeformte oder falsch geformte Belohnungen scheiterten.
Es ergibt eine dichtere Optimierungslandschaft und mehr Robustheit gegenüber Rauschen als RL ohne Shaping bei Mountain Car und Zielerreichung, nicht aber bei Walker.
GaP: Ein selbstlernendes Multi-Agenten-Harness nach dem Graph-as-Policy-Prinzip für variantenreiche Automatisierungsaufgaben (GaP: A Graph-as-Policy Multi-Agent Self-Learning Harness For Variational Automation Tasks)
Shuangyu Xie · UC Berkeley
Alle Autoren
Kaiyuan Chen1, Shuangyu Xie1, Letian Fu1, Justin Yu1, William Pacini1, Sandeep Bajamahal1, Hudson Kim1, Jaimyn Drake1, Daehwa Kim1, Haoru Xue1, Jonathan Francis2, Christian Juette2, Peter Schaldenbrand2, Muhammet Yunus Seker2, Ruwan Wickramarachchi2, Uksang Yoo1, Guanzhi Wang3, Adithyavairavan Murali3, Balakumar Sundaralingam3, S. Shankar Sastry1, Yuke Zhu3, Linxi Fan3, Spencer Huang3, Ken Goldberg1
1UC Berkeley2Bosch3NVIDIA
GaP strukturiert Roboterprogramme als Berechnungsgraphen, deren Teilgraphen von Coding-Agenten geschrieben, getestet und repariert werden, und zielt auf variantenreiche Automatisierungsaufgaben. Das Agenten-Harness lernt selbstständig in der Simulation und kann aus Handyvideos Real-to-Sim-Umgebungen erstellen.
Kernaussagen
Die Strukturierung des Codes als Graph hält die von Agenten geschriebenen Policies interpretierbar und erlaubt es, sie ohne Agenten im Loop auf dem Roboter auszuführen.
Selbstlernen in der Simulation brachte zusammengesetzte Strategien hervor, etwa Objekte nur mit Parallelgreifern zu sichten, auszuwählen, umzudrehen und zu prüfen.
Wenn die Simulationsphysik nicht zur Realität passte, nutzte GaP reale Videos, um sowohl die Simulation als auch den Graphen zu aktualisieren (z. B. den linken Greifer zum Stabilisieren einer Stange einzusetzen).
Die Autoren lassen ein verkörpertes Team von Coding-Agenten durch selbstgesteuertes Spielen in der Simulation üben: Es schlägt lernbare Aufgaben vor, schreibt und debuggt Steuerungscode und legt erfolgreiche Routinen in einer eingefrorenen Skill-Bibliothek für spätere, extern vorgegebene Aufgaben ab.
Kernaussagen
Spielen verbesserte den Erfolg bei zurückgehaltenen LIBERO-Pro-Aufgaben um 20.6 Prozentpunkte gegenüber einem Code-Agenten ohne Spielphase und auf einem zweiten Benchmark um 17 Punkte.
Die durch Spielen entstandene Bibliothek ließ sich auf einen anderen Agenten übertragen und brachte auf einem separaten Benchmark 8.9 Punkte.
Beim Spielen in der Simulation gelernte Skills, etwa Hilfsfunktionen zur Griffauswahl und Zugrichtung, ließen sich zu Aufgaben auf echten Robotern kombinieren, etwa zum Vertauschen zweier Würfel, ganz ohne Spielen oder Fine-Tuning in der realen Welt.
Meta-Ctrl: Garantierte Plangenerierung durch Entkopplung syntaktischer und semantischer Constraints (Meta-Ctrl: Guaranteed Plan Generation by Decoupling Syntactic and Semantic Constraints)
Gwen Yidou-Weng, Edward Sun · UCLA
Alle Autoren
Gwen Yidou-Weng1, Edward Sun1, Tianyi Ma2, Metin Alp Dogan1, Benjie Wang1, Allen Peng1, Guy Van den Broeck1, Yuchen Cui1
1UCLA2Michigan State University
Meta-Ctrl ist ein Verfahren für Constrained Decoding, das garantiert, dass von LLMs erzeugte Roboterpläne Regeln für den gesamten Plan erfüllen, sowohl Vorbedingungen als auch die Erreichbarkeit des Ziels. Es berechnet in einem einzigen Rückwärtsdurchlauf die Wahrscheinlichkeit, dass ein Teilplan das Ziel noch erreichen kann, und verfolgt die Welt pro Meta-Token auf Aktionsebene, während die Syntax separat geprüft wird.
Kernaussagen
Masken pro Schritt fangen unzulässige Aktionen ab, können aber Pläne nicht verhindern, die stocken oder das Ziel nie erreichen; daher ist eine Vorausschau auf das Ziel nötig.
Jede Aktion als ein Meta-Token zu behandeln und die Syntax vom Weltzustand zu entkoppeln vermeidet eine Zustandsexplosion (etwa 350 Millionen Zustände und über 100 TB bei Ansätzen auf Token-Ebene).
Auf VirtualHome stieg die Erfolgsrate von Llama 3B von 20% auf 90%, und Pläne auf dem echten Roboter waren in 20/20 Fällen gültig, gegenüber etwa 2 beim ungeführten Modell.
Bayessches Active Learning zur Disambiguierung von Absichten in der interaktiven Roboterplanung (Bayesian Active Learning for Intent Disambiguation in Interactive Robot Planning)
Huao Li · MIT
Alle Autoren
Huao Li1, Carson Sobolewski1, Augustinos D Saravanos1, Yew Teck Tan2, John Karigiannis2, Chuchu Fan1
1MIT2GE Vernova
Die Autoren nutzen temporale Logik (STL) als gemeinsame Repräsentation, die Klärung von Absichten und Planung verbindet. Sie führen eine bayessche Belief-Verteilung über Aufgabenspezifikationen, wählen mittels Active Learning informative Rückfragen aus und übergeben die inferierte STL dann an einen formalen Planer.
Kernaussagen
Überlässt man die Klärung allein einem LLM, entstehen oberflächliche Fragen, die den Umgebungskontext übersehen können.
Sampling aus einem gelernten latenten Raum von Aufgabenspezifikationen hilft, Absichten zu erkunden, die das LLM übersehen könnte.
In einem Inspektionsszenario in einer Fabrik mit einem Vierbeiner steigerte das Framework die Erfolgsrate bei weniger Rückfragen.
ATOM-Bench: Ein realer Benchmark für atomare Skills und kompositionelle Generalisierung von Manipulations-Policies (ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies)
Zenan Wu · BAAI / Peking University (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Zenan Wu1,2, Bingqing Wei1,2, Lu Liu1, Zheqi He1, Wang Xi1, liujiakang1, lizehui1,2, Guocai Yao1, Jing-Shu Zheng1, Xi Yang1, Yongtao Wang2
1BAAI2Peking University
ATOM-Bench ist ein Benchmark in der realen Welt, bei dem Policies nur auf atomare Motorik- und Instruktions-Skills feinabgestimmt werden; anschließend wird geprüft, ob sie diese Skills bei zurückgehaltenen kompositionellen Aufgaben neu kombinieren können. Er erfasst Aufgabenabschluss, Teilfortschritt, atomare Kompetenz und diagnostische Scores.
Kernaussagen
Der Benchmark definiert sechs Typen von Motorik-Atomen und sieben Typen von Instruktions-Atomen auf Franka und einer zweiten Roboterplattform.
Über fünf Policies hinweg ist einfaches Instruction Grounding am leichtesten, während präzise motorische Steuerung, Zählen und kompositionelle Generalisierung schwierig bleiben.
Policies, die bei jedem einzelnen Atom erfolgreich sind, können dennoch scheitern, wenn die Atome in einer einzigen Aufgabe kombiniert werden müssen.
Spotlight S7 · Humanoide Fortbewegung und Ganzkörpersteuerung
Mi. 9:00 AM · Hilton Austin · Vorsitz: Roberto Martín-Martín
9 Beiträge
Spotlight
Kamino: GPU-basierte Simulation starrer Mehrkörperphysik mit kinematischen Schleifen (Kamino: GPU-based Simulation of Rigid Multi-Body Physics with Kinematic Loops)
Vassilios Tsounis · Disney Research
Alle Autoren
Vassilios Tsounis1, Guirec Maloisel1, Christian Schumacher1, Ruben Grandia1, Agon Serifi1, David Müller1, Chris Amevor2, Tobias Widmer2, Moritz Bächer1
1Disney Research2NVIDIA
Kamino ist ein GPU-basierter Physik-Solver im Framework Newton von NVIDIA für massiv parallele Simulation starrer Mehrkörpersysteme mit kinematischen Schleifen. Motiviert ist er durch die komplexen Audio-Animatronic-Figuren von Disney; während des Vortrags liefen Folien und Video des Vortragenden nicht synchron.
Kernaussagen
Kamino nutzt eine Formulierung in maximalen Koordinaten mit Constraints, die kinematische Schleifen, Kopplung über mehrere Kontakte und große Massenverhältnisse bewältigt und auch bei großen Zeitschritten stabil bleibt.
Es simuliert Tausende heterogene Welten gleichzeitig, sodass eine einzige RL-Policy Ameisenvarianten mit unterschiedlicher Gliedmaßenzahl steuern kann.
Newton liefert einen öffentlichen Demo-Zweibeiner mit sechs kinematischen Schleifen, und Kamino wurde an analytischen Spielzeugproblemen gegen XPBD und MJWarp validiert.
PHUMA ist ein 73-stündiger Datensatz zur Fortbewegung von Humanoiden, aufgebaut aus Motion Capture und Internetvideos. Physikalisch ungültige Bewegungen werden herausgefiltert, der Rest wird mit physikbewusster Regularisierung auf G1 und H1 retargetet.
Kernaussagen
Die Autoren argumentieren, dass physikalische Verlässlichkeit ebenso wichtig ist wie die Größe des Datensatzes: Kleine saubere Datensätze (LAFAN) und große verrauschte (Humanoid-X) fallen beide zurück.
Das Retargeting bestraft Verletzungen von Gelenkgrenzen, Schweben, Durchdringung und Fußrutschen.
Mit PHUMA trainierte Tracker erzielten den höchsten Erfolg bei ungesehenen Bewegungen, ließen sich zero-shot auf Hardware übertragen und verbesserten sich mit zusätzlichen Videodaten.
1Amazon FAR2USC3UC Berkeley4Stanford University5Carnegie Mellon University
LadderMan ermöglicht es einem Humanoiden, wahrnehmungsbasiert verschiedenste Leitern zu erklimmen und auf der Leiter zu manipulieren. Experten-Policies, die mit hybridem Motion Tracking aus einer einzigen Referenzbewegung trainiert werden, werden in eine einzige tiefenbasierte visuomotorische Policy destilliert.
Kernaussagen
Gelockertes Tracking des Oberkörpers mit leiterbezogenen Kontakt- und Festhalte-Belohnungen macht große Bewegungsdatensätze überflüssig.
Ein Tiefen-Foundation-Modell verkleinert die Sim-to-Real-Lücke bei Tiefendaten ohne starke Tiefenrandomisierung oder manuelles Tuning.
Ein Dual-Agent-Aufbau trennt die Stabilisierung des Unterkörpers von der Manipulation mit dem Oberkörper und ermöglicht Aufgaben wie das Auswechseln von Glühbirnen und das Übergeben von Kisten auf der Leiter.
TactileStep: Taktiles Lernen an der Fußsohle zur Regulierung der Fuß-Gelände-Interaktion bei der Fortbewegung von Humanoiden (TactileStep: Sole Tactile Learning for Regulating Foot--Terrain Interaction in Humanoid Locomotion)
Zizhuo Wang · Tsinghua University (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
TactileStep ergänzt die Fortbewegung von Humanoiden um Drucksensorik an der Fußsohle. Es verdichtet die Messwerte der Einlegesohle zu Normalkraft, Kontaktfläche und Druckmittelpunkt und nutzt phasenspezifische Belohnungen, die Aufsetzen, Landespitzen und Standphasenstütze auf einem Unitree G1 regulieren.
Kernaussagen
Die drei kompakten taktilen Merkmale sind unabhängig vom Sensorlayout, sodass dieselben Merkmale in Simulation und auf Hardware funktionieren.
Verglichen mit einer Baseline landet TactileStep weicher und leiser und hält in der Standphase mehr von der Sohle in Kontakt, besonders auf Treppen.
Eine Variante, die mit denselben Belohnungen, aber ohne taktile Eingabe trainiert wurde, verlor einen Großteil des Vorteils; die Sensorik selbst ist also entscheidend.
OpenHLM: Ein empirisches Rezept für Ganzkörper-Loco-Manipulation mit Humanoiden (OpenHLM: An Empirical Recipe for Whole-Body Humanoid Loco-Manipulation)
OpenHLM ist eine empirische Studie darüber, was eine Ganzkörper-VLA für Humanoide funktionieren lässt. Sie behandelt Teleoperations-Schnittstelle, VLA-Design und günstigere Datenquellen und nutzt eine High-Level-Policy, die von pi-0 initialisiert ist, sowie den Low-Level-Tracker SONIC.
Kernaussagen
Ganzkörper-Teleoperation ermöglicht den Einsatz der Füße, und Retargeting im Gelenkraum erreichte 88% durchschnittlichen Aufgabenfortschritt gegenüber 75% bei SMPL-basierten Zielen.
Relative Aktionsziele zu verwenden und gleichzeitig auf die Wahrnehmung des Körperzustands zu verzichten, führte zu katastrophalem Versagen.
Zusätzliche stationäre Teleoperations- und menschliche Daten (im UMI-Stil) steigerten den Fortschritt bei neuen Objekten und Anweisungen von 36% auf 84%, und das vollständige Rezept erreichte 87.5% bei einer Obst-Aufgabe mit langem Horizont mit weniger als der Hälfte der Demonstrationszeit.
Loco-Manipulation aus SMPC-Demonstrationen mit sparse Offline-to-Online-RL lernen (Learning Loco-Manipulation From SMPC Demonstrations With Sparse Offline-to-Online RL)
Martin Schuck · RAI Institute / TU Munich
Alle Autoren
Martin Schuck1,2, Maks Sorokin1, Simone Manni1,3, Duy Ta1, Angela P. Schoellig2, Marco Hutter1,3, Simon Le Cleac'h1, Jan Brüdigam1
1RAI Institute2TU Munich3ETH Zurich
Die Autoren skalieren GPU-basiertes, samplingbasiertes MPC in der Simulation zu einem großen Offline-Datensatz von Loco-Manipulations-Demonstrationen. Anschließend trainieren sie mit sparse Rewards per Offline-to-Online-RL (FastTD3) und vermeiden so manuelles dichtes Reward Shaping.
Kernaussagen
Samplingbasiertes MPC benötigt kein Training und lässt sich in der Simulation innerhalb von Minuten zu einem guten Verhalten iterieren, was es zu einem günstigen Experten macht.
Rein mit sparse Rewards trainierte Policies ließen sich zero-shot auf Spot mit Arm übertragen, einschließlich Kistenschieben und Reifenrollen.
Dieselbe Pipeline funktionierte auch auf einem Unitree G1 und zeigt damit embodiment-übergreifende Anwendbarkeit.
CMP: Robustes Ganzkörper-Tracking für Loco-Manipulation durch Competence Manifold Projection (CMP: Robust Whole-Body Tracking for Loco-Manipulation via Competence Manifold Projection)
Ziyang Cheng · Tsinghua University (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Ziyang Cheng1, Haoyu Wei1, Hang Yin1, Xiuwei Xu1, Bingyao Yu1, Jie Zhou1, Jiwen Lu1
1Tsinghua University
Competence Manifold Projection macht Ganzkörper-Tracker robust gegenüber undurchführbaren oder Out-of-Distribution-Befehlen, indem sie diese auf Aktionen projiziert, die die Policy wirklich beherrscht. Es reduziert den MDP auf einen einstufigen Sicherheitstest, nutzt eine Kompetenzschätzung im Stil von GAE und korrigiert in einem isomorphen latenten Raum mit einer einzigen Normprüfung.
Kernaussagen
Statt katastrophal zu versagen, tut der Roboter sein Bestes, verwandelt etwa einen Schritt nach oben in einen Schritt nach vorn, wenn keine Kiste da ist, oder geht in die Hocke, wenn er sich ohne Stuhl setzen soll.
Die Überlebensrate in der realen Welt bei OOD-Befehlen stieg von 0% auf 87%, bei vernachlässigbarer zusätzlicher Latenz und vernachlässigbarem zusätzlichem Tracking-Fehler.
Die Sicherheit geht nicht auf Kosten der Agilität innerhalb der Verteilung, die weiterhin gimbalartiges Halten mit dem Endeffektor und das Fangen von Objekten in der Luft umfasst.
ResSafe: Sicherheitsfilterung mit residualem Reinforcement Learning für Humanoide lernen (ResSafe: Learning Safety Filtering with Residual Reinforcement Learning for Humanoids)
Gechen Qu · UC Berkeley
Alle Autoren
Gechen Qu1, Tong Zhang1, Bike Zhang1, Yen-Jen Wang1, Koushil Sreenath1, Claire Tomlin1, Jason Jangho Choi2
1UC Berkeley2UCLA
ResSafe friert eine rein auf Leistung ausgelegte Humanoiden-Policy ein und trainiert eine residuale RL-Policy, die Sicherheitskorrekturen hinzufügt. Die Belohnung ist schlicht +1 pro überlebtem Schritt mit einer kleinen Strafe auf die Korrektur.
Kernaussagen
Die Entkopplung von Sicherheit und Leistung ergab einen besseren Kompromiss als das Training einer einzigen Policy auf beide Ziele.
Bei Cart-Pole entsprach das gelernte Residuum weitgehend einem minimalen Sicherheitsfilter aus diskriminierenden Hyperebenen, mit etwas größerem Abstand.
Auf einem G1 mit zufälligen Nutzlasten stürzte ResSafe weit seltener als die Baselines und generalisierte auf ungesehene Referenz-Policies.
Navigation von Humanoiden in unübersichtlichen Umgebungen mit einem Ganzkörper-Vision-Language-Action-Modell (Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model)
1UC Berkeley2Peking University3NVIDIA4Tsinghua University5The University of Hong Kong6Princeton University
Die Autoren stellen eine Ganzkörper-VLA aus drei Systemen für die Navigation von Humanoiden durch unübersichtliche Innenräume vor. Ein Navigations-Foundation-Modell, ein Diffusion-Transformer-Aktionsexperte mit Echtzeit-Chunking und ein RL-Low-Level-Tracker werden auf mehr als 64,000 simulierten Trajektorien mit Sprache trainiert.
Kernaussagen
Planare 2D-Aktionsräume begrenzen die Navigation zwischen 3D-Hindernissen, die eine Koordination von Armen, Rumpf und Gang erfordert.
Die Trainingsdaten stammen ausschließlich aus der Simulation und nutzen Potentialfelder für das Ausweichen des Oberkörpers und Schritt-Retargeting für den Unterkörper.
Das Modell meldet State-of-the-Art-Ergebnisse auf 2D- und 3D-Navigations-Benchmarks und läuft mit Remote-Inferenz auf einem echten Unitree G1.
Spotlight S8 · Wahrnehmung, Navigation und autonome Systeme
Mi. 9:30 AM · Hilton Austin · Vorsitz: Hang Zhao
9 Beiträge
Spotlight
VisionSIM: Jenseits idealisierter Sensoren — ein multimodaler Simulator für die Roboterwahrnehmung (VisionSIM: Beyond Idealized Sensors — A Multi-Modal Simulator for Robot Perception)
1UW–Madison2Portland State University3Carnegie Mellon University
VisionSIM ist ein physikalisch fundierter Multisensor-Simulator, der Sensorrealismus als zentrales Anliegen behandelt. Er modelliert Kameras, Event-, SPAD-, Time-of-Flight- und Wärmebildsensoren mit Rohmesswerten und konfigurierbaren Parametern.
Kernaussagen
Bestehende Simulatoren decken entweder wenige Modalitäten mit hoher Wiedergabetreue oder viele Modalitäten mit idealisierten Modellen ab; VisionSIM will diese Kompromissgrenze verschieben.
Fehlermodi wie Störungen durch Umgebungslicht, Unschärfe, ToF-Phasenumbruch und verlaufsabhängige thermische Effekte ergeben sich natürlich aus der Sensorphysik.
Die Autoren veröffentlichen einen großen synchronisierten multimodalen Innenraum-Datensatz mit Ground-Truth-Annotationen.
1Tsinghua University2Xi'an Jiaotong University3Beijing University of Chemical Technology4Beijing Information Science and Technology University5Beijing Institute of Technology
MosaicIMU ist ein trägerkonditioniertes Mixture-of-Experts-Modell für neuronale Inertialodometrie über heterogene Plattformen hinweg. Es fusioniert vorhergesagte Geschwindigkeiten mit einem verlaufsbewussten EKF und bietet zwei Anpassungsmodi: einen leichtgewichtigen residualen Zweig für die Offline-Anpassung und routerbasierte Sample-Auswahl für die Online-Anpassung.
Kernaussagen
Feste Köpfe pro Träger behandeln die Trägeridentität starr, während die Komposition von Expertenmerkmalen pro Sample besser überträgt.
Das vortrainierte MosaicIMU verringerte den durchschnittlichen ATE und RTE über alle Träger um 40% bzw. 34%.
Bei der Online-Anpassung auf einem Campusfahrzeug mit Jetson Orin sank der Trajektorienfehler von 42.60 m auf 7.60 m.
Anchor3R: Streaming-3D-Rekonstruktion mit transienten Ankern für visuelles Mapping mit langem Horizont (Anchor3R: Streaming 3D Reconstruction with Transient Anchors for Long-Horizon Visual Mapping)
Peilin Tao · Institute of Automation, Chinese Academy of Sciences / University of Chinese Academy of Sciences / Horizon Robotics
1Institute of Automation, Chinese Academy of Sciences2University of Chinese Academy of Sciences3Horizon Robotics4HKUST (Guangzhou)
Anchor3R führt Streaming-3D-Rekonstruktion mit langem Horizont durch, indem es den aktuellen Frame als transienten Anker statt als feste Referenz behandelt. Es sagt relative Posen innerhalb eines begrenzten Fensters vorher und kombiniert Online-Motion-Averaging mit Loop Closure.
Kernaussagen
Obwohl nur auf Clips mit 48 Frames trainiert, rekonstruiert es Routen mit etwa 12,000 Bildern und fast 3 km Länge.
Das Neuaufbauen der Posen-Queries bei Ankerwechsel verhindert, dass veraltete Koordinatenannahmen sich fortpflanzen, und hält Training und Inferenz konsistent.
Ein Fenster fester Größe hält den GPU-Speicher begrenzt, ohne dass Chunk-Resets oder eine Ausrichtung zwischen Chunks nötig sind.
SidewalkBench ist ein GPU-simulierter Benchmark für rein kamerabasierte visuelle Navigation auf städtischen Gehwegen. Er kombiniert prozedurale und real gescannte Szenen mit ereignisgesteuertem Fußgängerverhalten und evaluiert Unit-Test-, fußgängerreaktive und Langstrecken-Szenarien.
Kernaussagen
Unter neun getesteten Modellen schneiden die auf Gehwegdaten trainierten weit besser ab als allgemeine Navigationsmodelle, und mehr Daten helfen zusätzlich.
Die Interaktion mit Fußgängern, etwa an Zebrastreifen und bei Stopp-Gesten, ist eine große Schwäche fast aller Modelle.
Selbst das beste Modell kommt auf Langstrecken-Routen im Schnitt auf 0.68 Fehler pro 100 m.
Von der Ankunft in einer Region zum Grounding auf Instanzebene bei Vision-and-Language-Navigation (From Region Arrival to Instance-Level Grounding in Vision-and-Language Navigation)
Xiangyu Shi · Adelaide University (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Die Autoren identifizieren bei Vision-and-Language-Navigation eine „Grounding-Lücke auf den letzten 3 Metern“: Agenten gelten innerhalb des Radius als erfolgreich, sind dem Ziel aber nicht zugewandt oder sehen es nicht. Sie schlagen Metriken auf Instanzebene, einen neuen Datensatz und REALM vor, ein Plug-and-Play-Verfeinerungsmodul.
Kernaussagen
Echter Erfolg sollte erfordern, nah am Zielobjekt anzuhalten, ihm zugewandt zu sein und es zu sehen.
REALM nutzt nur egozentrisches RGB und die Anweisung, hält sichtbarkeitsbewusst an und verankert das Ziel mit OWLv2, ohne Änderungen am Backbone.
Es wurde auf einem echten Roboter im Anschluss an UniNaVid sowie auf einem Unitree G1 für Navigations- und Greifaufgaben demonstriert.
OSCAR: Überlebenskurven von Hindernissen für adaptive Roboternavigation (OSCAR: Obstacle Survival Curves for Adaptive Robot Navigation)
Hshmat Sahak · University of Toronto (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Hshmat Sahak1, Aoran Jiao1, Nicholas Rhinehart1, Timothy Barfoot1
1University of Toronto
OSCAR lernt klassenspezifische Überlebensfunktionen dafür, wie lange Hindernisse in einem Wegenetz bestehen bleiben. Damit legt es für jede Begegnung eine Geduldsschwelle fest und entscheidet, ob gewartet oder umgeleitet wird; ein VLM klassifiziert dabei jedes Hindernis.
Kernaussagen
Feste Regeln wie immer warten, immer umleiten oder nur bei Menschen warten verschwenden Zeit, weil sie ignorieren, wie lange Hindernisse in einer bestimmten Umgebung tatsächlich bestehen.
Umleiten erzeugt rechtszensierte Beobachtungen, die Überlebensmodelle auf natürliche Weise verarbeiten.
In der Simulation verbessert sich OSCAR mit Erfahrung, nähert sich einem Orakel mit den wahren Überlebensfunktionen an und schlägt die heuristischen Baselines.
TRIAD Planner : Dreistufiges robustes Imitationslernen für autonomes Fahren (TRIAD Planner : Three-Level Robust Imitation Learning for Autonomous Driving)
Jiyun Kim · KAIST
Alle Autoren
Jiyun Kim1, Ahmad Mouri Zadeh Khaki1, Kyunghwan Choi1
1KAIST
TRIAD begegnet dem Distribution Shift bei Transformer-basierten Fahrplanern auf drei Ebenen: Es begrenzt übermäßige Attention auf den Ego-Zustand, ergänzt offline aus einem VLM abgeleitete Vorgaben zur Priorität anderer Verkehrsteilnehmer und nutzt eine CVaR-basierte Gewichtung des Tail-Risikos bei der Trajektorienauswahl.
Kernaussagen
Durch Imitationslernen trainierte Planer können Abkürzungen über Ego-Zustandsmerkmale nehmen und etwa beschleunigen, wo der Experte für einen Fußgänger angehalten hat.
Nur während des Trainings genutzte VLM-Prioritätsgewichte lenken die Attention auf relevante Verkehrsteilnehmer wie querende Fußgänger.
Die Closed-Loop-Leistung auf nuPlan verbessert sich ohne zusätzliche Inferenzzeit.
Kollaborative Planung für UAV-UGV-Teams unter operativen Constraints mittels maskierter, fehlerbeschränkter neuro-symbolischer Diffusion (Collaborative Planning for UAV-UGV Teams under Operational Constraints via Masked Error-bounded Neuro-Symbolic Diffusion)
Zihao Deng · UMass Amherst (Vortragende(r) nicht genannt; Erstautor(in) angezeigt)
Alle Autoren
Zihao Deng1, Qianhuang Li1, Maggie Wigness2, John G. Rogers III2, Donghyun Kim1, Hao Zhang1
1UMass Amherst2DEVCOM Army Research Laboratory
Die Autoren planen gemeinsame Aktionen für UAV-UGV-Teams, bei denen UGVs als mobile Ladestationen dienen, mit einem maskierten neuro-symbolischen Diffusionsmodell. Logikinduzierte Zulässigkeit erzwingt beim Sampling Constraints zu Energie, Befahrbarkeit und Aufladen.
Kernaussagen
Regeln der Prädikatenlogik erster Stufe über einem heterogenen Graphkontext machen harte operative Constraints innerhalb des Diffusions-Samplings durchsetzbar.
Fehlerbeschränkte Inferenzplanung wählt die nächste zu demaskierende Position durch Minimierung der prädiktiven Entropie, was die Optimalität der Pläne verbessert.
Der Ansatz wurde in einer ROS-Stadtsimulation und in einem Mixed-Reality-Aufbau mit Crazyflie-UAVs und LIMO-UGVs validiert.
SCoCaT: Erfolgskonditioniertes Constrained Reinforcement Learning für das Andocken von Raumfahrzeugen (SCoCaT: Success Conditioned Constrained Reinforcement Learning for Spacecraft Docking)
Aman Arora · University of Luxembourg
Alle Autoren
Aman Arora1, Ricard M Castan1, Matteo El-Hariry1, Miguel Olivares-Mendez1
1University of Luxembourg
SCoCaT behebt einen Fehlermodus von terminierungsbasiertem Constrained RL (CaT) bei zielorientierten Aufgaben wie dem Andocken von Raumfahrzeugen, bei dem Agenten in Zielnähe schweben, um Verletzungen zu vermeiden. Es ergänzt einen Erfolgs-Critic, dessen Return über frühe Terminierungen hinweg bootstrappt.
Kernaussagen
Die Autoren leiten einen Faktor kappa her, der erklärt, wie stochastische Terminierungen den Wert in Zielnähe schrumpfen lassen und das Schwebeverhalten verursachen.
Die Summe der Advantages aus dem Erfolgs-Critic und dem gedämpften CaT-Strang innerhalb von PPO stellt das Erreichen des Ziels ohne Constraint-Verletzungen wieder her.
Die Methode brachte eine 250-fache Steigerung der Aufgabenerfüllung auf einer schwimmenden Plattform und ließ sich zero-shot auf einen realen Prüfstand mit Triebwerken übertragen.
Mi. 3:00 PM · Bass Hall · Vorsitz: Yuke Zhu & Peter Stone
1 Beitrag
Keynote
Atlas: Ein einheitliches Weltmodell für Generierung und Rekonstruktion (Atlas: A Unified World Model for Generation and Reconstruction)
Fei-Fei Li · Stanford University / World Labs
Nach einer Einführung durch ihren ehemaligen Doktoranden Yuke Zhu argumentiert Fei-Fei Li, dass sich die Kernbedürfnisse der Robotik (die Welt repräsentieren, die Folgen von Aktionen vorhersagen und Daten simulieren) auf Probleme der Weltmodellierung abbilden lassen. Sie stellt Atlas von World Labs vor, einen von Grund auf trainierten multimodalen autoregressiven Diffusion Transformer, der Text, Bilder, Video, Tiefe oder Gray-Box-Eingaben entgegennimmt und kamerakonditionierte Frames ausgibt. Atlas deckt dichte Rekonstruktion, spärliche Rekonstruktion aus wenigen Ansichten und reine Generierung in einem Modell ab, veranschaulicht durch die Rekonstruktion des Main Quad in Stanford aus 2, 8 und 33 Fotos vom Boden aus. Sie zeigt starke Ergebnisse unabhängiger Dritter zur kameragesteuerten Generierung, Ergebnisse zur Tiefen- und Gaussian-Splat-Rekonstruktion, eine destillierte Echtzeitversion mit 15 fps und erste Sim-to-Real-Anwendungen für Roboter. Eine geplante Premiere eines Werbevideos scheiterte an AV-Problemen, was gegen Ende zu einer langen Pause führte.
Kernaussagen
Li beschreibt die Kernidee von Atlas als „viewpoint is all you need“: die Vorhersage des nächsten Blickpunkts mit starker Kamerakonditionierung, analog zur Next-Token-Prediction.
Ein einziges Modell deckt das gesamte Spektrum von dichter über spärliche Rekonstruktion bis hin zu reiner Textgenerierung ab.
Auf einem Benchmark Dritter mit etwa einer halben Million menschlicher Urteile belegte Atlas bei kameragesteuerter Generierung mit deutlichem Abstand den ersten Platz.
Atlas schlug spezialisierte Modelle bei der Tiefenschätzung über sieben Datensätze und war beim Rekonstruktionsfehler von Gaussian Splats konkurrenzfähig.
Eine destillierte Echtzeitversion läuft mit 15 fps, und World Labs testet Atlas-Welten zum Training von Navigations- und Manipulationsrobotern mit Zero-Shot-Einsatz in der realen Welt.
Aufzeichnung Tag 3, Nachmittag · 27 Min. · wird auf YouTube abgespielt
Kamingespräch
Mi. 3:00 PM · Bass Hall · Vorsitz: Yuke Zhu & Peter Stone
1 Beitrag
Kamingespräch
Kamingespräch: Fei-Fei Li & Lisa Su (Fireside Chat: Fei-Fei Li & Lisa Su)
Fei-Fei Li (Stanford University / World Labs), Lisa Su (AMD), Peter Stone (UT Austin / Sony AI; moderator)
Peter Stone moderiert ein Gespräch zwischen Lisa Su (Chair und CEO von AMD) und Fei-Fei Li vor dem Hintergrund der laufenden Übernahme von World Labs durch AMD und Lis künftiger Rolle als Chief Scientist von AMD. Su beschreibt Physical AI und Robotik als Chance im Umfang von Hunderten Milliarden Dollar, die Hardware-Software-Co-Design und Rechenleistung in jeder Größenordnung erfordert, von der Cloud bis zum Edge. Li argumentiert, dass KI Rechenleistung ist, und bezeichnet die unzureichende Ausstattung des öffentlichen Sektors als eines der größten Versäumnisse dieses Moments; Su sagt zu, dass AMD Rechenleistung für die akademische Forschung bereitstellen wird. Bei den Publikumsfragen geht es darum, ob AMD ein Robotikteam haben wird, ob sich eine Promotion noch lohnt, um energieeffiziente KI im Vergleich zu den 20 Watt des Gehirns und um Ratschläge für Studierende.
Kernaussagen
Su erwartet, dass kein einzelnes Modell über alle Anwendungen hinweg gewinnt: Frontier-LLMs werden durch spezialisierte Modelle ergänzt, die günstiger, energieeffizienter und latenzärmer sind.
Li glaubt, dass die Robotik die Rechenleistung auf die nächste Stufe heben wird, sowohl beim Training als auch am Edge.
Li fordert Rechenleistung für den öffentlichen Sektor (mit Verweis auf die NAIRR-Initiative) als unverzichtbar für Grundlagenforschung, Ausbildung von Fachkräften und unabhängige Evaluation von KI.
Su sagt, AMD habe bereits eine Forschungsinitiative zu Robotik und Physical AI und plane, unter Li deutlich mehr zu investieren.
Beide bezeichnen eine Promotion als lohnend für alle, die von Neugier getrieben sind, und Li merkt an, dass die Effizienz des Gehirns Milliarden Jahre Evolution widerspiegelt, was nicht mit Trainingskosten verwechselt werden sollte.
Ihr Rat zum Abschluss: an zeitlosen Werten wie Neugier, Integrität und Furchtlosigkeit festhalten (Li) und auf die schwierigsten Probleme zulaufen (Su).
Aufzeichnung Tag 3, Nachmittag · 35 Min. · wird auf YouTube abgespielt
Podiumsdebatte
Mi. 4:00 PM · Bass Hall · Vorsitz: Vincent Vanhoucke
1 Beitrag
Podium
Debatte: „Das aktuelle Rezept aus Behavior-Cloning-Pretraining und domänenspezifischem Fine-Tuning wird zu kommerziell tragfähigen generalistischen Robotern führen“ (Debate: "The current recipe of behavior cloning pre-training and in-domain fine-tuning will lead to commercially viable generalist robots")
Vincent Vanhoucke (Waymo), Chelsea Finn (Stanford University / Physical Intelligence), Pulkit Agrawal (MIT / Eka Robotics), Marc Toussaint (Technical University Berlin), Leslie Kaelbling (MIT), Edward Johns (Imperial College London / Machenta), Yonatan Bisk (Carnegie Mellon University)
Vincent Vanhoucke moderiert eine formelle Debatte über die These, dass das aktuelle Rezept aus Behavior-Cloning-Pretraining plus domänenspezifischem Fine-Tuning zu kommerziell tragfähigen generalistischen Robotern führen wird. Er definiert „generalistisch“ als durch Endnutzer innerhalb einer klar abgegrenzten Domäne zero-shot auf neue Aufgaben umstellbar und „kommerziell tragfähig“ als profitabel durch Kundenumsätze. Chelsea Finn, Pulkit Agrawal und Marc Toussaint argumentieren für die These und verweisen auf große domänenspezifische Datenmengen, Optimierung auf Zuverlässigkeit und schmale, aber lukrative Domänen wie Pick-and-Place. Leslie Kaelbling, Edward Johns und Yonatan Bisk argumentieren dagegen und verweisen auf die Kosten, den Zustandsraum mit menschlichen Demonstrationen abzudecken, auf heterogene Architekturen und auf die Notwendigkeit von Reasoning über Imitation hinaus. Umfragen im Publikum vor und nach der Debatte zeigten einen Saal, der zur Contra-Seite neigte, mit kaum veränderten Meinungen.
Kernaussagen
Finn argumentiert, dass Zuverlässigkeit der Schlüssel zu kommerziellem Wert ist und aus großen domänenspezifischen Datenmengen plus auf Erfolg optimiertem Post-Training entsteht – so seien auch LLMs nützlich geworden.
Kaelbling argumentiert, dass BC keine „explosive Generalisierung“ gezeigt hat, weil physische Aufgaben anders als Sprache nicht darauf ausgelegt wurden, erlernbar zu sein, und dass gelernte Modelle sich besser entflechten lassen als Policies.
Johns argumentiert, dass es für die meisten Aufgaben unwirtschaftlich ist, Menschen für das Sammeln aufgabenspezifischer Daten zu bezahlen (Wäschefalten ist die Ausnahme), und sieht Simulation als wahrscheinlichen Weg.
Agrawal argumentiert, dass Planung im Sinne von System 2 durch LLMs weitgehend gelöst ist, der Engpass in kontaktreicher Steuerung im Sinne von System 1 liegt und die richtige Metrik der Durchsatz (Geschwindigkeit mal Zuverlässigkeit) ist, nicht die Genauigkeit.
Toussaint argumentiert, dass sich schmale kommerzielle Domänen mit Daten abdecken lassen, auch wenn dies nicht die beste Wissenschaft ist, während Bisk argumentiert, dass Imitation allein nicht das Reasoning über Ungesehenes hervorbringen kann, das sicherheitskritische Einsätze benötigen.
Ein Großteil der Debatte drehte sich um Definitionen, etwa ob Simulation und RL-Fine-Tuning zum „aktuellen Rezept“ zählen.
Aufzeichnung Tag 3, Nachmittag · 48 Min. · wird auf YouTube abgespielt
Abschluss, Auszeichnungen und Verabschiedung
Mi. 5:00 PM · Bass Hall
2 Beiträge
Abschluss
Musikalisches Zwischenspiel: Von einem Roboter dirigiertes Streichquartett (Musical Interlude: Robot-Conducted String Quartet)
Peter Stone · UT Austin
General Chair Peter Stone spielt Violine in einem Streichquartett mit dem Cellisten Shu Scott, dem Bratschisten Alan Chen und der Violinistin Mary Brown, die alle Verbindungen zur UT Austin haben. Sie spielen den letzten Satz von Dvořáks „Amerikanischem“ Streichquartett und „Spider Dreams“ des Turtle Island String Quartet. Eigentlich sollte ein Roboter dirigieren, doch er kam wegen eines technischen Defekts nicht heraus. Anschließend dankt Yuke Zhu Stone und gibt einen Ausblick auf die Preisverleihung.
Kernaussagen
Der geplante Roboter-Dirigent trat wegen eines technischen Defekts nicht auf, was Stone scherzhaft als einen weiteren AV-Ausfall des Tages bezeichnete.
Das Zwischenspiel sollte zeigen, dass Spitzenforschende auch in anderen Bereichen herausragen können.
Das Zwischenspiel leitete direkt zur Abschlusszeremonie und zur Verleihung der Best-Paper-Awards über.
Yuke Zhu (UT Austin / NVIDIA), Georgia Chalvatzaki (TU Darmstadt), Katerina Fragkiadaki (Carnegie Mellon University), Vincent Vanhoucke (Waymo), Ken Goldberg (UC Berkeley), Peter Stone (UT Austin / Sony AI)
General Chair Yuke Zhu dankt dem Organisationskomitee, den Gutachtenden, der Robot Learning Foundation, etwa 75 Freiwilligen und den Sponsoren und merkt an, dass sich die Konferenz in diesem Jahr ungefähr verdreifacht hat. Die Vorsitzende des Preiskomitees, Katerina Fragkiadaki, erläutert, dass das Komitee alle 21 Vortragspaper gelesen, sechs Finalisten ausgewählt (SuperMimic, Play2Perfect, GRAIL, RoboTTT, What Are We Actually Benchmarking in Robot Manipulation? und das Paper zur Umordnung mittels destillierter Baumsuche) und zwei Gewinner gekürt hat. Der Best Student Paper Award ging an RoboTTT und der Best Conference Paper Award an SuperMimic. Vincent Vanhoucke kündigt ganzjährige Transactions on Robot Learning und einen Test of Time Award ab dem nächsten Jahr an, und Ken Goldberg reflektiert über eine „Umsatzkrise“ in der Robotik und kündigt die CoRL 2027 in Paris an.
Kernaussagen
Best Student Paper Award: RoboTTT: Context Scaling for Robot Policies.
Best Conference Paper Award: SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model.
Bewertet wurden die Preise nach Bedeutung und langfristiger Wirkung, Originalität, technischer Fundiertheit, Klarheit sowie Reproduzierbarkeit und Offenheit.
Die neuen Transactions on Robot Learning nehmen ganzjährig Einreichungen an, wobei die besten Paper auf der CoRL präsentiert werden, und ab dem nächsten Jahr startet ein Test of Time Award für Paper ab 2017.
Goldberg argumentiert, das Fachgebiet müsse nun Zuverlässigkeit, Durchsatz und Interpretierbarkeit liefern, um Umsätze zu erzielen, und kündigt die CoRL 2027 in Paris an.