La Conferencia sobre Aprendizaje de Robots (CoRL) 2026 (Austin, Texas, 9–12 de noviembre) transmitió todo su programa principal en cuatro largas grabaciones. Aquí se dividen en presentaciones individuales: conferencias magistrales, presentaciones orales, spotlights, charlas de patrocinadores y el panel de debate. Cada entrada tiene un resumen breve, conclusiones clave y un reproductor que empieza y termina en esa charla.
Los resúmenes se redactaron a partir de los subtítulos de la transmisión y de los resúmenes de los artículos. Cada artículo enlaza a arXiv y a su página de proyecto cuando existen, y a OpenReview. Los títulos están traducidos, con el original en inglés entre paréntesis; los nombres y las afiliaciones se mantienen en inglés.
Aviso: Esta página fue generada con Claude Opus 5.5 y no ha sido revisada por completo, por lo que puede contener errores. La traducción al español también fue hecha con IA. Conviene verificar los detalles en la grabación o el artículo originales. Todas las charlas, artículos, diapositivas y grabaciones pertenecen a sus autores y a CoRL 2026.
Panorama de la conferencia
CoRL 2026 triplicó su tamaño y en gran medida convergió en sus ingredientes (grandes políticas preentrenadas, video humano, modelos del mundo, planificadores basados en modelos de frontera), mientras discutía abiertamente si esa receta produce robots por los que alguien esté dispuesto a pagar.
envíos
2,094
frente a ~700 en 2025, según los presidentes del programa; 687 aceptados
tasa de aceptación
32.8%
similar a la de años anteriores; presentaciones orales ~3% de los artículos aceptados, 72 spotlights
asistentes
~4,800
aproximadamente el doble que en 2025, según los presidentes generales
revisores
2,400+
más 23 presidentes de área sénior, un nivel nuevo este año
resultados de última hora aceptados
39 de 89
nuevas sesiones de robótica agéntica y de real-a-simulación-a-real
rechazos directos por citas alucinadas
~12
la primera vez que CoRL las filtró
La décima edición de CoRL recibió 2,094 envíos, unas tres veces los aproximadamente 700 de 2025, y alrededor de 4,800 asistentes en tres sedes de Austin. Los presidentes del programa mantuvieron la tasa de aceptación del 32.8% y una sola sesión paralela al añadir un nivel solo de pósteres y spotlights de 3 minutos. Las principales palabras clave de los envíos fueron manipulación, aprendizaje por imitación, representaciones de percepción/control, RL y modelos fundacionales para robots, y los artículos aceptados siguieron de cerca esa distribución. Una nueva sesión de resultados de última hora sobre robótica agéntica y real-a-simulación-a-real respondió a modelos de frontera lanzados apenas unos meses antes.
En el escenario, el panorama técnico estaba más definido que el estratégico. Physical Intelligence, NVIDIA, Google DeepMind y muchos laboratorios académicos presentaron el mismo stack tecnológico: una gran política preentrenada con BC, datos humanos egocéntricos para escalar, modelos del mundo para datos y evaluación, y un modelo de frontera encima para la planificación. El desacuerdo giró en torno a si este stack tecnológico llega a un despliegue fiable y rentable. Las encuestas antes y después del debate de clausura sobre esa cuestión se inclinaron en contra de la moción y apenas se movieron. Ken Goldberg (UC Berkeley) describió el campo como inmerso en una 'crisis de ingresos', lo que significa que ahora tiene que ofrecer fiabilidad, rendimiento e interpretabilidad.
Leer el panorama completoOcultar el panorama completo
Temas
Modelos de frontera arriba, políticas rápidas abajo
La mayoría de los sistemas colocan un razonador lento sobre un controlador aprendido rápido. Hang Zhao (Tsinghua University / Galaxea AI) informó que los modelos de frontera usados como políticas paso a paso bajo un reloj real cayeron a un 15-20% de éxito en RoboCasa, y argumentó que la mayoría de los fallos ocurren en los traspasos entre capas. Boston Dynamics afirmó que ningún VLM estándar era lo bastante fiable para verificar la finalización de tareas sin ajuste fino. En el debate, Vincent Vanhoucke (Waymo) dijo que los modelos de propósito general superaban a los modelos robóticos de la conferencia en algunos benchmarks de robótica; Pulkit Agrawal (MIT / Eka Robotics) respondió que a esos modelos todavía les faltan datos de Sistema 1 ricos en contacto.
Modelos del mundo usados como políticas, simuladores y evaluadores
DreamZero y GR00T 2 eliminan el ruido de video y acciones de forma conjunta. Los autores de DreamZero encontraron que los fallos se originan sobre todo en la generación de video, por lo que mejores backbones de video deberían traducirse en mejores acciones. SuperMimic ganó el premio al Mejor Artículo al entrenar un rastreador para humanoides a través de un único modelo dinámico diferenciable aprendido en unas tres horas de GPU. Tesla advirtió que entrenar dentro de un modelo del mundo, en lugar de solo evaluar con uno, permite que las políticas exploten sus errores físicos. Otro spotlight mostró que los modelos del mundo pueden ser envenenados.
Los datos humanos son la principal fuente de escala, pero necesitan un puente
EgoScale mostró que la pérdida de validación con datos humanos sigue una ley de escalamiento log-lineal que acompaña la tasa de éxito en robots reales. También encontró que las tareas diestras más difíciles necesitaban una etapa de entrenamiento intermedio alineada (unas 4 horas de teleoperación emparejadas con 50 horas de datos humanos equivalentes). Ego2Robot encontró que la precisión de la pose de la mano limita sus mejoras en tareas de precisión.
La fuerza y el tacto se están incorporando a los VLA
Varios artículos atribuyeron los fallos de los VLA en tareas ricas en contacto a la ausencia de señales de fuerza o a calendarios de ruido de flow matching que subponderan las pequeñas acciones cercanas al contacto. Las soluciones son baratas: estimaciones de torque aprendidas para brazos comerciales, flechas táctiles dibujadas sobre imágenes y expertos de fuerza añadidos al final del postentrenamiento. Wolfram Burgard (University of Technology Nuremberg) y Sharpa argumentaron que los modelos fundacionales para robots necesitan fuerza y tacto.
El RL se aplicó sobre todo encima de una política generalista preentrenada, no como sustituto de ella. RL Token ejecuta un pequeño actor-crítico sobre embeddings comprimidos del VLA para corregir el paso más difícil de una tarea en cuestión de horas; sus episodios de inserción de Ethernet fueron más rápidos que los de un teleoperador experto. π0.7, en cambio, se condiciona en metadatos de calidad para poder aprender de datos de calidad mixta, y Play2Perfect muestra que el preentrenamiento de RL mediante juego en simulación hace aprendible el ensamblaje con recompensa dispersa.
Un finalista al premio al mejor artículo mostró que una política DINO más MLP casi iguala las mejores puntuaciones reportadas en LIBERO, y que pocas de las mejoras reportadas son estadísticamente significativas. RoboColosseum estimó que se necesitan 400-500 comparaciones por cada conclusión significativa. LIBERO-CF encontró que los VLA a menudo ignoran el lenguaje cuando ven objetos de las tareas de entrenamiento.
Cifras de despliegue y la cuestión de los ingresos
Las charlas de la industria reportaron métricas operativas. Atlas secuenciando piezas en Hyundai: 98.6% de finalización con una tasa de intervención del 9.5%, pero el tiempo de ciclo es aproximadamente un 50% demasiado lento para ser rentable. La celda de árboles de levas de Walden en Toyota nunca ha detenido la línea. Gemini Robotics 2.5 reportó un 96% de kitting autónomo. El debate se dividió sobre si pagar a personas para recolectar datos del dominio puede llegar a ser económico fuera de tareas como la lavandería.
Seúl aceptó 263 artículos, de aproximadamente 700 envíos según los presidentes de 2026, y un recuento no oficial situó la asistencia presencial en 2,441. Austin recibió 2,094 envíos y tuvo unos 4,800 asistentes, y para gestionarlos añadió un nivel solo de pósteres, presidentes de área sénior, un rechazo en primera ronda antes de la réplica y un filtrado de citas.
Los premios pasaron de los resultados en tareas a la maquinaria de aprendizaje
En 2025 los premios al Mejor Artículo fueron para el control unificado de posición/fuerza en loco-manipulación con patas y para el ensamblaje con dos brazos de Fabrica, y π0.5 y DexUMI fueron finalistas. Los ganadores de 2026 fueron un modelo del mundo aprendido usado para entrenar el control de humanoides (SuperMimic) y el escalamiento de contexto (RoboTTT).
Los lanzamientos de modelos ahora se miden en fábricas
Google DeepMind anunció Gemini Robotics 1.5 en torno a CoRL 2025. En Austin, Gemini Robotics 2.5 llegó con un piloto de kitting en una línea de producción. Physical Intelligence pasó de π0.5 a π0.7. El panel especial de 2025 discutió el aprendizaje de humanoides; el de 2026 debatió la viabilidad comercial.
De los VLA y real2sim a los agentes y los modelos del mundo
Una encuesta de 2025 señaló a los VLA, Real2Sim2Real y la detección táctil como los temas principales de CoRL. Los tres continuaron en 2026, y Real2Sim2Real obtuvo su propia sesión de resultados de última hora. Lo nuevo es la sesión de robótica agéntica y los modelos de acción del mundo entrenados conjuntamente con video y acciones, que no fueron temas de 2025.
Mirando hacia 2027
Las normas de evaluación se endurecerán en París
Predicción: más artículos reportarán intervalos de confianza y usarán conjuntos de prueba reservados o posteriores al lanzamiento, y los revisores cuestionarán las mejoras en LIBERO y SimplerEnv. Evidencia: un finalista al premio al mejor artículo precisamente sobre esto, la oferta de evaluación gratuita de RoboColosseum y los llamados en conferencias magistrales a usar métricas de plazos e intervenciones por hora.
Las interfaces entre capas se convierten en objeto de investigación
Predicción: el trabajo se desplazará hacia lo que pasa entre el Sistema 1 y el Sistema 2: señales de fallo que suben, intención de fuerza o de contacto que baja. Evidencia: el análisis de fallos en los traspasos de Zhao, la afirmación de Agrawal de que el Sistema 1 es el cuello de botella y los entornos agénticos de NVIDIA y Boston Dynamics.
Los modelos del mundo se juzgarán por si se puede entrenar dentro de ellos
Predicción: los artículos sobre modelos del mundo tendrán que mostrar que las políticas entrenadas dentro de ellos no explotan errores, y que el éxito predicho dentro del modelo coincide con el éxito en el mundo real, no solo que el video se vea bien. Evidencia: la advertencia de Tesla, el éxito todavía subestimado de MemWorld y el ataque de envenenamiento.
El rendimiento reemplaza a la tasa de éxito en las afirmaciones sobre despliegue
Predicción: las charlas de la industria en 2027 empezarán por el tiempo de ciclo, el tiempo medio entre intervenciones y el número de robots por operador remoto. Boston Dynamics pronosticó el primer turno de 8 horas de Atlas en 2027, y Goldberg planteó el reto del año como una cuestión de ingresos. Seguirá en disputa si el preentrenamiento con BC más datos del dominio supera ese listón.
Conclusiones clave
El campo ha convergido en gran medida en un mismo stack tecnológico; la pregunta abierta es económica, no de arquitectura.
Los modelos de frontera ayudan como planificadores, pero fracasaron como controladores directos paso a paso bajo un reloj real.
Los datos humanos egocéntricos escalan, pero la destreza precisa todavía requirió un entrenamiento intermedio alineado entre robot y humano.
La fuerza y el tacto pueden añadirse a VLA existentes de forma barata, y hacerlo corrige fallos de contacto específicos.
La mayor parte del RL ahora apunta al paso cuello de botella de una política generalista preentrenada en lugar de entrenar desde cero.
Los benchmarks de simulación populares pueden resolverse en gran medida por memorización, y la mayoría de las mejoras reportadas están dentro del ruido.
El premio al Mejor Artículo fue para el entrenamiento del control de humanoides dentro de un modelo del mundo diferenciable aprendido.
Los despliegues alcanzan alrededor del 99% de finalización con intervenciones, pero siguen siendo demasiado lentos para ser rentables.
Bienvenida y palabras de apertura (Welcome and Opening Remarks)
Yuke Zhu (UT Austin / NVIDIA), Peter Stone (UT Austin / Sony AI), Georgia Chalvatzaki (TU Darmstadt), Ani Majumdar (Princeton University), Roberto Martin-Martin (UT Austin)
El presidente general Yuke Zhu inaugura la décima edición de CoRL, señala que la asistencia se duplicó y que los envíos aproximadamente se triplicaron hasta casi 2,100 artículos, y explica el formato al estilo South by Southwest repartido entre el Hilton, el JW Marriott y el Bass Concert Hall de UT. Los presidentes del programa describen el nuevo programa de tres niveles (presentaciones orales, spotlights de 3 minutos y solo pósteres), una tasa de aceptación del 32.8%, la nueva sesión de resultados de última hora sobre robótica agéntica y real-a-simulación-a-real, los presidentes de área sénior y una política que rechazó directamente alrededor de una docena de artículos por citas alucinadas. Luego, los responsables de talleres, demostraciones, organización local e inclusión repasan los talleres de medio día, las 17 demostraciones, las sedes, el almuerzo, el Wi-Fi, las becas de viaje y el cuidado infantil, y Peter Stone cierra con una presentación de Texas Robotics y la nueva UT School of Computing antes de agradecer a los patrocinadores.
Conclusiones clave
Los envíos pasaron de unos 700 a casi 2,100, lo que obligó a adoptar un formato de presentación de tres niveles para mantener la conferencia en una sola sesión paralela.
La tasa de aceptación se mantuvo cerca de la de años anteriores, en un 32.8%, y la distribución de palabras clave de los artículos aceptados coincidió de cerca con la del total de envíos.
Por primera vez, los artículos con múltiples citas alucinadas o incorrectas fueron señalados y alrededor de una docena fueron rechazados directamente, mientras que otros usos de IA en la redacción se dejaron a criterio de los autores.
Un rechazo en primera ronda eliminó algo más de un tercio de los envíos antes de la réplica, de modo que el esfuerzo de revisión se concentró en artículos con al menos un defensor.
La inscripción de estudiantes se redujo a $200, por debajo del costo, y fue subsidiada por los patrocinadores para reducir las barreras para los estudiantes.
Los talleres pasaron a ser de medio día para fomentar la discusión interactiva frente a programas de charlas tipo minicongreso, y se aceptaron 32 de 78 propuestas válidas.
Spotlight S1 · Políticas generalistas, memoria y transferencia
lun 9:00 AM · Hilton Austin · Moderación: Yash Narang
9 charlas
Spotlight
MolmoAct2: modelos de razonamiento de acciones para el despliegue en el mundo real (MolmoAct2: Action Reasoning Models for Real-World Deployment)
Jiafei Duan · Allen Institute for AI / University of Washington / National University of Singapore
Todos los autores
Haoquan Fang1,2, Jiafei Duan1,2,3, Donovan Clay1,2, Sam Wang1,4, Shuo Liu2, Weikai Huang1,2, Xiang Fan1,2, Wei-Chuan Tsai2, Shirui Chen1,2, Yi Ru Wang1,2, Shanli Xing2, Jaemin Cho1,2,5, Jae Sung Park1, Ainaz Eftekhar1,2, Peter Sushko1, Karen Farley1, Angad Wadhwa2, Cole Harrison6, Winson Han1, Ying-Chun Lee2, Eli VanderBilt1, Rose Hendrix1, Suveen Ellawela7, Lucas Ngoo7, Joyce Chai8, Jason Ren1,2,9, Ali Farhadi1,2, Dieter Fox1,2, Ranjay Krishna1,2
1Allen Institute for AI2University of Washington3National University of Singapore4University of Pennsylvania5Johns Hopkins University6Amazon7Cortex AI8University of Michigan9University of North Carolina at Chapel Hill
Los autores presentan MolmoAct2, un modelo fundacional para robótica completamente abierto con una receta abierta que cubre el preentrenamiento, el entrenamiento intermedio y la adaptación, que conecta un VLM especializado espacialmente con un experto de acciones y razona de forma adaptativa sobre la profundidad en lugar de regenerarla en cada paso. Supera a líneas base sólidas sin ajustes adicionales en benchmarks abiertos de razonamiento corporeizado y también fue evaluado a ciegas por una empresa externa tras el ajuste fino.
Conclusiones clave
El razonamiento sobre la profundidad se actualiza de forma adaptativa en lugar de regenerar cada token en cada paso de tiempo, lo que mantiene eficiente el control aumentado con razonamiento.
Por primera vez se usó una evaluación a ciegas por terceros para valorar el modelo ajustado.
Los autores sostienen que la apertura da frutos: los modelos y datos de MolmoAct se han descargado más de 1.5 millones de veces en Hugging Face, lo que les ayuda a saber qué se transfiere.
1Peking University2Eastern Institute of Technology, Ningbo3Shanghai Jiao Tong University
Inspirados en las neuronas espejo, los autores muestran que las representaciones de acciones de los VLA pierden su alineación con la semántica preentrenada de visión y lenguaje durante el ajuste fino, y que esta alineación se correlaciona con el éxito en la tarea. Dividen las características en una vía semántica compartida, alineada con un VLM congelado, y una vía privada que conserva los detalles de ejecución, lo que mejora varios VLA (incluido pi0) en simulación y en robots reales.
Conclusiones clave
La alineación semántica de las representaciones de acciones se erosiona de forma medible durante el ajuste fino y sigue tanto el éxito en las ejecuciones como la generalización fuera de distribución.
Alinear todas las características con la semántica perjudica la ejecución, por lo que se necesita una división entre características compartidas y privadas para preservar los detalles físicos.
Las mejoras son mayores en ejes de generalización como las tareas composicionales que en las tareas dentro del dominio.
MEM: memoria corporeizada multiescala para modelos visión-lenguaje-acción (MEM: Multi-Scale Embodied Memory for Vision Language Action Models)
Marcel Torne · Physical Intelligence / Stanford University
Todos los autores
Marcel Torne1,2, Karl Pertsch1, Homer Walke3, Kyle Vedder1, Suraj Nair1, brian ichter1, Allen Z. Ren1, Haohuan Wang1, Jiaming Tang1,4, Kyle Stachowicz1,3, Karan Dhabalia1, Michael Robert Equi1, Quan Vuong1, Jost Tobias Springenberg1, Sergey Levine1, Chelsea Finn1, Danny Driess1
Los autores añaden memoria multiescala a los VLA: una memoria visual a corto plazo de los últimos segundos, comprimida por un codificador de video y entregada a la política de bajo nivel, más una memoria textual a largo plazo en la que el VLM predice de forma recurrente un resumen de los eventos pasados. Esto permite que las políticas manejen tareas de hasta 15 minutos, como preparar una receta y limpiar la cocina.
Conclusiones clave
Alimentar ingenuamente el historial de video sin procesar es inviable: una hora a 50 Hz con 256 tokens por imagen equivale a unos 50 millones de tokens.
Las ablaciones muestran que se necesitan tanto la memoria textual a largo plazo como la memoria de video a corto plazo para resolver las tareas de horizonte largo.
La memoria permite la adaptación en contexto: la política detecta un intento fallido y prueba una estrategia diferente en lugar de repetir el mismo error.
PRTS: un sistema de razonamiento y asignación de tareas basado en primitivas mediante representaciones contrastivas (PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations)
Yang Zhang · TeleAI, China Telecom / Tsinghua University (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Yang Zhang1,2, Jiangyuan Zhao1,3, Chenyou Fan1,4, Fangzheng YAN1, Tian Li1, Haitong Tang1, Sen Fu1, Xuaner Wu1, Qizhen Weng1, Weinan Zhang3, Xiu Li2, Chi Zhang1, Chenjia Bai1, Xuelong Li1
1TeleAI, China Telecom2Tsinghua University3Shanghai Jiao Tong University4Fudan University
PRTS reformula el preentrenamiento de VLA como RL contrastivo condicionado a objetivos, tratando las instrucciones de lenguaje como objetivos para que los embeddings de estado-acción capturen el progreso hacia el objetivo sin anotación de recompensas; lo combina con la predicción de tokens de acción y lo escala a 400 millones de muestras. La política resultante se recupera de fuertes interferencias humanas, sigue instrucciones nuevas en modo zero-shot y maneja situaciones no vistas al despejar bandejas en tareas de horizonte largo.
Conclusiones clave
Los pasos con la misma instrucción se tratan como positivos y los pasos posteriores reciben más peso, de modo que el embedding codifica el progreso temporal hacia el objetivo.
El preentrenamiento contrastivo no necesita etiquetas de recompensa adicionales, y el postentrenamiento posterior usa clonación de comportamiento estándar con un nuevo experto de acciones de flow matching.
La política manejó un caso de tazón vacío ausente en todas las demostraciones, lo que sugiere que las representaciones conscientes del progreso ayudan a la recuperación.
Aprender qué decirle a tu VLA: direccionamiento mayormente inofensivo de modelos visión-lenguaje-acción (Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering)
Hyun Joe Jeong · Carnegie Mellon University
Todos los autores
Hyun Joe Jeong1, Gokul Swamy1, Andrea Bajcsy1
1Carnegie Mellon University
Los autores aprenden una política de retroalimentación lingüística que guía a un VLA congelado buscando secuencias de lenguaje perturbadas localmente, ejecutándolas en lazo cerrado y destilando las mejores en un VLM mediante ajuste fino por rechazo. Un cabezal de mejora con predicción conforme decide cuándo intervenir, lo que ofrece una garantía de no causar daño, y la tasa de éxito aumenta con pi0.5 y MolmoAct2 en simulación y en hardware.
Conclusiones clave
Las correspondencias de lenguaje a acción de los VLA son frágiles, por lo que reformular una instrucción puede cambiar el comportamiento de forma impredecible.
La predicción conforme en el cabezal de mejora permite que el sistema vuelva a la instrucción original cuando es poco probable que la guía ayude.
Guiar solo a través del lenguaje mejora el rendimiento del VLA sin actualizar los pesos de la política subyacente.
Cuando la visión se impone al lenguaje: evaluación y mitigación de fallos contrafactuales en VLA (When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs)
Yu Fang · University of North Carolina at Chapel Hill
Los autores presentan LIBERO-CF, un benchmark de más de 50 tareas contrafactuales que muestra que los VLA a menudo ignoran el lenguaje y repiten tareas de entrenamiento bien aprendidas debido a atajos visuales. Proponen Counterfactual Action Guidance, un esquema de inferencia de doble rama que amplifica la diferencia entre las predicciones de acciones condicionadas al lenguaje y las no condicionadas, lo que mejora el anclaje del lenguaje en simulación y con pi0.5 en robots reales.
Conclusiones clave
Los VLA en LIBERO alcanzan un alto éxito incluso con entrada solo visual, lo que revela una fuerte dependencia de las señales visuales.
Los fallos contrafactuales se desencadenan por la presencia de objetos de las tareas de entrenamiento; retirarlos ayuda a que la política siga la instrucción.
CAG no necesita demostraciones adicionales ni cambios en la arquitectura o los pesos del VLA base.
ZETA: un estudio controlado de la transferencia de VLA entre corporeizaciones zero-shot para manipulación sobre mesa (ZETA: A Controlled Study of Zero-Shot Cross-Embodiment VLA Transfer for Tabletop Manipulation)
Mi Yan · Peking University / Galbot (no se nombró al presentador; se muestra el primer autor)
1Peking University2Galbot3Renmin University of China4Xiamen University Malaysia5The University of Hong Kong6Beihang University
Los autores separan la transferencia estricta zero-shot entre corporeizaciones de la transferencia con exposición en el preentrenamiento, y construyen un benchmark controlado con 14 robots objetivo no vistos en simulación y en el mundo real, donde solo cambia el robot. Estudian la representación, la diversidad de fuentes, los objetivos auxiliares y la exposición al objetivo.
Conclusiones clave
Representar estados y acciones como deltas en el marco de referencia propio de la pinza elevó el progreso medio de 60 a 76 en simulación y de 56 a 90 en robots reales.
Más robots de origen ayudan en unos 18 puntos, pero solo si cada robot sigue recibiendo suficientes datos con un presupuesto fijo.
Reemplazar apenas el 5% de los datos de entrenamiento con datos del robot objetivo elevó el robot de Google de 51 a 69, por lo que los resultados estrictos y los expuestos en el preentrenamiento deben reportarse por separado.
EmbodiSteer: direccionamiento de políticas visuomotoras agnósticas a la corporeización con guía en el espacio articular para el despliegue zero-shot entre corporeizaciones (EmbodiSteer: Steering Embodiment-Agnostic Visuomotor Policies with Joint-Space Guidance for Zero-Shot Cross-Embodiment Deployment)
EmbodiSteer mantiene congelada una política visuomotora cartesiana, entrenada con datos de una pinza de mano, y traslada el muestreo de difusión al espacio articular del robot objetivo mediante la cinemática directa y el jacobiano. Una guía basada en optimización en cada paso de eliminación de ruido equilibra la holgura frente a colisiones con los cambios en el movimiento del efector final, lo que permite un despliegue zero-shot y consciente del cuerpo en nueve robots simulados y dos reales.
Conclusiones clave
Eliminar el ruido en el espacio articular deja el rendimiento en la tarea casi sin cambios y añade conciencia de cuerpo completo.
Una guía ingenua de colisiones basada en gradientes aparta la pinza de la tarea, por lo que la restricción debe equilibrarse con el movimiento del efector final.
En tareas reales, la tasa de éxito casi se duplicó y las colisiones bajaron del 97% al 7% sin entrenamiento específico para cada robot.
Los autores descomponen la brecha de generalización composicional en tareas secuenciales en desplazamiento marginal de instrucciones, desplazamiento composicional de instrucciones y desplazamiento de contexto-acción, y la usan para preguntarse qué combinaciones de instrucciones necesita ver realmente un robot. Los experimentos muestran que basta una cobertura escasa pero bien elegida, y que los fallos con cobertura escasa se deben a la guía mediante instrucciones y no a la falta de habilidades.
Conclusiones clave
La cobertura combinatoria completa es innecesaria; una cuarta parte de los datos cuidadosamente elegida puede igualar al entrenamiento completo.
Añadir una sola demostración por tarea corrige muchos fallos de cobertura escasa, lo que apunta a la guía mediante instrucciones como cuello de botella.
Cuando las instrucciones dependen unas de otras, se requiere cobertura relacional de los pares dependientes, y las políticas modulares con indicadores oráculo de alto nivel fallan.
lun 9:30 AM · Hilton Austin · Moderación: Chen Feng
1 charla
Magistral de carrera temprana
Organizar la IA física a través de escalas temporales (Organizing Physical AI Across Timescales)
Hang Zhao · Tsinghua University (IIIS) / Galaxea AI
Presentado por Chen Feng, Hang Zhao argumenta que la inteligencia robótica debería dividirse por escala de tiempo y no por función: razonamiento S2 a lo largo de segundos, políticas S1 a decenas de hercios y control S0 a cientos de hercios. En un estudio en RoboCasa con un reloj real, los modelos de frontera usados como políticas paso a paso directas o agénticas se desplomaron a un 15-20% de éxito, mientras que los diseños orquestados que combinan un modelo lento con habilidades aprendidas rápidas resistieron. Se apoya en lecciones del sistema dual de DriveVLM en autos de producción y del parkour robótico, y luego presenta tres formas de mantener rápido el S1: FastWAM, que aprende de video durante el entrenamiento pero omite la generación de video en la prueba (G0-7); desactivar la cadena de pensamiento en la inferencia en G0.5; y el tokenizador de acciones en streaming ActionCodec 2. Concluye argumentando que las interfaces entre capas necesitan una retroalimentación más rica hacia arriba e intención de fuerza o contacto hacia abajo, y pide que los benchmarks reporten el éxito bajo un plazo junto con el tiempo de inferencia.
Conclusiones clave
Los modelos de frontera lentos funcionan bien cuando se combinan con una capa inferior rápida, pero usados como políticas directas paso a paso bajo un reloj real fallan en la mayoría de las tareas.
Los límites entre capas deberían trazarse donde cambia el tiempo de reacción requerido: tarea y escena en segundos, movimiento mano-objeto a decenas de hercios, contacto y fuerza a cientos de hercios.
Omitir la cadena de pensamiento en la inferencia no marcó diferencia en alrededor del 90% de las tareas y duplicó la velocidad, y ayudó principalmente en tareas largas de varias etapas.
Omitir la generación de video futuro en la prueba aceleró un modelo de acción del mundo más de cuatro veces, y el G0-7 de 16B funciona a 60 ms por acción en una RTX 5090.
La mayoría de los fallos ocurren en los traspasos entre capas, porque las capas inferiores no pueden informar fallos hacia arriba y los comandos solo de movimiento omiten la fuerza.
Zhao sugiere que S2 corresponde a la nube, S1 a servidores de borde compartidos por varios robots y S0 al propio robot.
Oral O1 · Políticas generalistas y escalamiento de contexto
lun 10:30 AM · Hilton Austin · Moderación: Michael Ryoo
3 charlas
Oral
π0.7: un modelo fundacional robótico generalista controlable con capacidades emergentes (π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities)
Ashwin Balakrishna, Lucy Xiaoyang Shi · Physical Intelligence
Todos los autores
Bo Ai1, Ali Amin1, Raichelle Aniceto1, Ashwin Balakrishna1, Greg Balke1, Kevin Black1, George Elledge Bokinsky1, Shihao Cao1, Thomas Charbonnier1, Vedant Choudhary1, Foster Collins1, Ken Conley1, Grace B Connors1, James Darpinian1, Karan Dhabalia1, Maitrayee Dhaka1, Jared Di Carlo1, Danny Driess1, Michael Robert Equi1, Adnan Esmail1, Yunhao Fang1, Chelsea Finn1, Catherine Glossop1, Thomas Godden1, Ivan Goryachev1, Lachy Groom1, Haroun Habeeb1, Hunter Hancock1, Karol Hausman1, Gashon Hussein1, Victor Hwang1, brian ichter1, Connor Jacobsen1, Szymon Jakubczak1, Rowan Jen1, Tim Jones1, Gregg Kammerer1, Benjamin Katz1, Liyiming Ke1, Mairbek Khadikov1, Chandra Kuchi1, Marinda Lamb1, Devin LeBlanc1, Sergey Levine1, Xinyu Li1, Adrian Li-Bell1, Vladislav Lialin1, Zhonglin Liang1, Wallace Lim1, Yao Lu1, Enyu Luo1, Vishnu Mano1, Nandan Marwaha1, Aikys Mongush1, Liam Murphy1, Suraj Nair1, Karl Pertsch1, Allen Z. Ren1, Gavin Schelske1, Charvi Sharma1, Baifeng Shi1, Lucy Xiaoyang Shi1, Laura Smith1, Jost Tobias Springenberg1, Kyle Stachowicz1, Will Stoeckle1, Jiaming Tang1, James Tanner1, Shalom Tekeste1, Marcel Torne1, Kyle Vedder1, Quan Vuong1, Anna Walling1, Haohuan Wang1, Jason Wang1, XuDong Wang1, Christopher Whalen1, Sam Whitmore1, Blake Williams1, Charles Xu1, Sukwon Yoo1, Lili Yu1, Wuming Zhang1, Zhuoyang Zhang1, Ury Zhilinsky1
1Physical Intelligence
Physical Intelligence presenta π0.7, un modelo fundacional robótico generalista entrenado con prompts multimodales ricos: imágenes de subobjetivos, instrucciones detalladas de subtareas y metadatos que describen cómo se realizó una tarea (p. ej., calidad, errores, velocidad). Sin ajustes adicionales, un único modelo iguala o a veces supera al π*0.6 postentrenado con RL específico para cada tarea en doblado de ropa, preparación de espresso y plegado de cajas, y también realiza tareas de lanzamientos anteriores de PI sin ajuste fino. Los metadatos permiten que el modelo aprenda de datos de teleoperación y evaluación de calidad mixta, y los autores destacan una generalización composicional emergente, como doblar camisas en una configuración bimanual UR5 sin datos de ropa en UR5. En la sesión de preguntas explican que las etiquetas de calidad provienen en gran parte de anotación humana a posteriori, y que la velocidad es una señal que se correlaciona bien con la calidad.
Conclusiones clave
Sin prompts de metadatos, añadir datos de ropa de calidad progresivamente menor hizo caer el rendimiento, mientras que con metadatos el rendimiento siguió mejorando a medida que crecían los datos.
Condicionar en metadatos de calidad permite que el modelo separe los comportamientos buenos de los malos, de modo que en la prueba basta con pedir un comportamiento de alta calidad, de forma similar a pedirle a un LLM que actúe como experto.
π0.7 transfirió el doblado de ropa a un brazo industrial bimanual UR5 pese a grandes diferencias de corporeización respecto de los brazos ligeros usados para la recolección de datos.
Determinar la calidad de los datos sigue siendo un problema abierto e iterativo; PI se apoya en anotaciones a posteriori refinadas según lo que se correlaciona con el rendimiento en el mundo real.
Being-H0.5: escalado del aprendizaje robótico centrado en humanos para la generalización entre corporeizaciones (Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization)
Los autores presentan Being-H0.5, un VLA que usa datos de interacción de manos humanas como ancla universal entre corporeizaciones robóticas, para abordar la escasez y el desequilibrio de los datos de robots de unas 30 corporeizaciones. Su corpus combina movimiento de manos reconstruido a partir de video humano egocéntrico, unas 14,000 horas de datos de robots y unas 5,000 horas de datos de visión y lenguaje, entrenados en un espacio de acciones compartido basado en ranuras con tareas de generación, descripción y continuación de movimiento. La especialización por robot usa un experto de acciones de mezcla de flujos, un mecanismo de compuerta que preserva la variedad para el desplazamiento de observaciones y un fragmentado asíncrono universal que extiende RTC con retardos por robot. Un único checkpoint generalista en cinco corporeizaciones se mantiene cerca de los especialistas por robot y rinde mejor en generalización.
Conclusiones clave
El preentrenamiento centrado en humanos redujo la brecha entre generalista y especialista, que crecía sustancialmente al entrenar desde cero.
Una tarea recolectada solo en un Unitree G1 se transfirió a un robot diferente con una tasa de éxito distinta de cero gracias al preentrenamiento, mientras que el modelo entrenado desde cero falló por completo.
Tratar la mano humana como una corporeización más en un espacio compartido de ranuras de acción permite que el movimiento de la muñeca humana supervise las ranuras del efector final del robot con la misma pérdida.
Las etiquetas de movimiento de manos provienen sobre todo de pipelines de reconstrucción filtrados por métricas heurísticas de calidad, complementados con conjuntos de datos de código abierto con etiquetas de manos.
RoboTTT: escalado de contexto para políticas de robots (RoboTTT: Context Scaling for Robot Policies)
Yunfan Jiang · NVIDIA / Stanford University
Todos los autores
Yunfan Jiang1,2, Yevgen Chebotar1, Ruijie Zheng1, Fengyuan Hu1, Yunhao Ge1, Jimmy Wu1, Tianyuan Dai1,3, Scott Reed1, Li Fei-Fei2, Yuke Zhu1,3, Linxi Fan1
1NVIDIA2Stanford University3The University of Texas at Austin
RoboTTT escala el contexto visuomotor de una política robótica a 8,000 pasos de tiempo insertando capas de entrenamiento en tiempo de prueba (TTT), cuyos pesos rápidos se actualizan mediante descenso de gradiente tanto en el entrenamiento como en la inferencia, a lo largo de las salidas por paso de tiempo de los bloques de acción DiT de GR00T N1.7. El entrenamiento usa sequence action forcing (niveles de ruido independientes por fragmento de acciones) y máscaras de pérdida que separan el contexto de los objetivos de imitación, lo que permite la imitación en contexto a partir de videos humanos y la destilación DAgger, en la que el modelo aprende a corregir sus propios fallos. En tareas de ensamblaje de horizonte largo alcanza un 79% de finalización media de tareas con latencia de inferencia constante, y es el único método que completa las diez etapas del ensamblaje de un gear-bot. El modelo también tuvo entrenamiento intermedio con video humano de horizonte largo (EgoScale).
Conclusiones clave
El rendimiento en lazo cerrado aumentó de forma constante con la longitud del contexto, un 63% mejor con contexto de 8K que con 1K, mientras que una alternativa basada en gated DeltaNet no escaló.
Los pesos rápidos actúan como un estado recurrente de tamaño fijo, lo que da memoria y latencia constantes sin importar la longitud del contexto.
Muestrear los niveles de ruido de forma independiente por fragmento de acciones estabiliza el entrenamiento secuencial sobre trayectorias robóticas correlacionadas en el tiempo.
Colocar una demostración con mano humana en el contexto permitió que el robot realizara configuraciones de ensamblaje no vistas en un solo intento.
Oral O2 · Modelos del mundo y representaciones temporales
lun 11:00 AM · Hilton Austin · Moderación: Andrea Bajcsy
3 charlas
Oral
Los modelos de acción del mundo son políticas zero-shot (World Action Models are Zero-shot Policies)
Shenyuan Gao · NVIDIA
Todos los autores
Seonghyeon Ye1, Yunhao Ge1, Kaiyuan Zheng1, Shenyuan Gao1, Sihyun Yu1, George Kurian1, Suneel Indupuru1, You Liang Tan1, Chuning Zhu1, Jiannan Xiang1, Ayaan Naveed Malik1, Kyungmin Lee1, William Liang1, Nadun Ranawaka Arachchige1, Jiasheng Gu1, Yinzhen Xu1, Guanzhi Wang1, Fengyuan Hu1, Avnish Narayan1, Johan Bjorck1, Jing Wang1, Gwanghyun Kim1, Dantong Niu1, Ruijie Zheng1, Yuqi Xie1, Jimmy Wu1, Qi Wang1, Ryan Julian1, Danfei Xu1, Yilun Du1, Yevgen Chebotar1, Scott Reed1, Jan Kautz1, Yuke Zhu1, Linxi Fan1, Joel Jang1
1NVIDIA
Los autores presentan DreamZero, un modelo de acción del mundo autorregresivo de 14B construido a partir de un modelo de difusión de video preentrenado y ajustado para eliminar conjuntamente el ruido de futuros fotogramas de video y de acciones con un objetivo de teacher forcing. La eliminación de ruido autorregresiva por fragmentos permite el uso de caché KV y que el modelo se condicione en observaciones reales durante la ejecución, y las optimizaciones de sistema y de modelo reducen la inferencia por fragmento de 5.7 s a 0.15 s (una aceleración de 38x en GB200). En configuraciones AgiBot y DROID-Franka supera a líneas base VLA, incluidas algunas preentrenadas entre corporeizaciones, en tareas vistas y no vistas, y mantiene su ventaja tras el postentrenamiento específico para cada tarea.
Conclusiones clave
Entrenar con datos diversos y no repetitivos de distintos entornos y tareas permite que el modelo herede la generalización zero-shot del modelo de video.
Hacer que un modelo de video fuera lo bastante rápido para el control en tiempo real fue el principal desafío de ingeniería.
Los autores observaron que las predicciones de video y de acciones se mantienen bien alineadas, y que los fallos se originan sobre todo en la generación de video, por lo que mejores backbones de video deberían producir mejores acciones.
No se usaron datos de fallos en el preentrenamiento; usarlos para la adaptación en tiempo de prueba queda para trabajo futuro.
Modelo del mundo condicionado por acciones y aumentado con memoria para la manipulación robótica (Memory-augmented Action-conditioned World Model for Robot Manipulation)
1Dalian University of Technology2Samsung R&D Institute China-Beijing
MemWorld aborda los modelos del mundo condicionados a acciones que distorsionan los objetos cuando estos salen y vuelven a entrar en el campo de visión de la cámara de muñeca durante ejecuciones largas. Su memoria basada en surfels vincula las superficies de la escena con los momentos en que fueron observadas; las poses futuras de la cámara calculadas a partir del próximo fragmento de acciones se usan para renderizar y puntuar los surfels según visibilidad, relevancia para la tarea y recencia, recuperando los top-K fotogramas históricos como contexto para un modelo del mundo multivista. En 34 trayectorias difíciles de DROID mejora la consistencia visual respecto de Ctrl-World, sigue más de cerca el rendimiento real de las políticas y sus ejecuciones imaginadas pueden usarse para ajustar políticas. La charla la dio una persona que no era autora porque los autores no pudieron viajar, y se omitió la sesión de preguntas.
Conclusiones clave
Las acciones futuras del robot son una señal directa de qué observaciones pasadas recuperar, porque determinan hacia dónde mirará a continuación la cámara de muñeca.
La correlación entre el éxito en el modelo del mundo y en el mundo real para π0 y π0.5 en cinco tareas mejoró de 0.85 a 0.97, aunque el éxito sigue subestimado.
Ajustar π0.5 con 20–30 ejecuciones imaginadas exitosas seleccionadas por tarea elevó el éxito medio en el mundo real en tres tareas de horizonte largo del 58% al 72%.
La consistencia multivista y las restricciones físicas explícitas siguen siendo desafíos abiertos.
TEMPO: aprendizaje de contexto temporal para la manipulación robótica dinámica (TEMPO: Learning Temporal Context for Dynamic Robot Manipulation)
Jimin Heo, Zhenyang Feng · UC Irvine
Todos los autores
Zhenyang Feng1, Jimin Heo1, Erik B. Sudderth1, Unnat Jain1
1UC Irvine
TEMPO se centra en tareas de manipulación dinámica (entrega de una botella por parte de una persona que camina, atrapar un objeto que cae, atrapar un objeto lanzado con un golpe y verter en una cesta en movimiento), en las que los VLA de un solo fotograma fallan incluso con métodos de reducción de latencia como RTC. Añade dos ingredientes que faltaban: tokens de movimiento obtenidos mediante atención temporal sobre las características de fotogramas recientes de un modelo fundacional de video congelado (SAM 2 por defecto, unos 11 ms por fotograma), y un historial propioceptivo compacto de los comandos articulares recientes que se entrega tanto al VLM como al experto de acciones. El historial resuelve casos en los que estados visualmente similares requieren acciones opuestas. Todo funciona con cómputo a escala académica, y el código y los datos son de código abierto.
Conclusiones clave
Reducir solo la latencia de inferencia no resuelve las tareas dinámicas; las políticas también necesitan la velocidad del objeto y su propio historial de acciones.
En la entrega de la botella, TEMPO redujo a la mitad los fallos completos y casi duplicó los éxitos respecto del VLA base, que falló por completo en 18 de 50 episodios.
Cada ingrediente por sí solo supera al VLA base, juntos alcanzan el 74%, y las mejoras se mantuvieron en tres backbones VLA diferentes.
La comprensión del movimiento está limitada por el preentrenamiento del modelo fundacional de video, por lo que los movimientos muy rápidos, como pelotas lanzadas, todavía pueden fallar.
lun 11:30 AM · Hilton Austin · Moderación: Ed Johns
3 charlas
Oral
Diversidad que realmente se puede medir: una métrica de diversidad rápida y sin modelo para conjuntos de datos de robótica (Diversity You Can Actually Measure: A Fast, Model-Free Diversity Metric for Robotics Datasets)
Sreevardhan Sirigiri · The University of Sydney
Todos los autores
Sreevardhan Sirigiri1, Nathan Samuel de Lara2, Christopher Agia3, Florian Shkurti2,4, Fabio Ramos1,5
1The University of Sydney2University of Toronto3Stanford University4Allen Institute for AI5NVIDIA
Los autores proponen la entropía de firmas, una medida de diversidad no paramétrica para conjuntos de datos de demostraciones robóticas: cada demostración se trata como un camino sobre estados, acciones y observaciones (embebidas) aplanados, se transforma mediante la transformada de firmas y se compara con el kernel de firmas. La entropía se calcula en forma cerrada a partir de los valores propios de la matriz del kernel, con una alternativa volumétrica basada en el determinante. También presentan FACTUAL, un algoritmo de curación sin modelo que selecciona de forma voraz el subconjunto que maximiza la entropía. En RoboMimic, FACTUAL supera a la poda aleatoria y a veces al conjunto de datos completo, y se observa una tendencia similar con un VLA pequeño en un robot real.
Conclusiones clave
La entropía de firmas se correlacionó fuertemente con el éxito de las políticas en RoboMimic, con coeficientes de Pearson de 0.74 a 1 en arquitecturas que van desde RNN hasta políticas de difusión.
La transformada de firmas maneja trayectorias de distintas longitudes preservando la geometría del camino, lo que evita la necesidad de una distribución de probabilidad intratable.
FACTUAL no necesita un modelo auxiliar, acceso a la política ni ejecuciones, lo que lo hace mucho más ligero que otros métodos de curación.
La entropía del conjunto de datos se satura a medida que se añaden demostraciones, y la velocidad de saturación refleja cuán diversos son los datos subyacentes.
1Allen Institute for AI2TU Darmstadt3University of Washington4UCLA5Princeton University
MolmoBot es una familia de políticas de manipulación entrenadas solo con datos simulados que se transfieren zero-shot a robots reales. El motor de MolmoBot se basa en el ecosistema de recursos MolmoSpaces para muestrear escenas, objetos y receptáculos, aleatorizar agresivamente las articulaciones del robot, la iluminación, las texturas y las cámaras, y generar demostraciones a partir de una máquina de estados programada con reintentos y ruido en las acciones. El resultado son los datos de MolmoBot, con 1.7 millones de demostraciones en unos 94,000 entornos. Las políticas (MolmoBot basado en Molmo 2, un MolmoBot-SPOC ligero y MolmoBot-Pi0) se probaron con 120 ensayos reales por política en una configuración Franka DROID y en un manipulador móvil RB-Y1, y todo es de código abierto.
Conclusiones clave
MolmoBot-Pi0 comparte la arquitectura de π0 pero se entrena solo con datos sintéticos, y aun así rinde con solidez en el mundo real, lo que muestra que los datos de simulación por sí solos pueden entrenar VLA robustos.
La regla práctica de los autores es que todo lo que se pueda aleatorizar debe aleatorizarse; la aleatorización agresiva de cámaras hizo que las políticas fueran robustas a grandes movimientos de cámara sin ignorar la cámara externa.
Las ablaciones muestran que la escala de datos ayuda de forma constante, mientras que la diversidad de clases de objetos y de entornos se satura a partir de un umbral en tareas simples de recogida.
Los objetos deformables aún no son compatibles, pero el nuevo soporte nativo de deformables de MuJoCo abre esa dirección.
¿Qué estamos evaluando realmente en la manipulación robótica? (What Are We Actually Benchmarking in Robot Manipulation?)
Tianchong Jiang · Toyota Technological Institute at Chicago
Todos los autores
Tianchong Jiang1, Xiangshan Tan1, Samuel Wheeler2, Luzhe Sun1, Tewodros W. Ayalew3, Matthew Walter1
1Toyota Technological Institute at Chicago2Argonne National Laboratory3University of Chicago
Los autores examinan cinco benchmarks de manipulación ampliamente reportados e identifican cuatro formas en que una puntuación alta puede inducir a error: atajos, mejoras dentro del ruido, fragilidad ante pequeños desplazamientos dentro de la distribución y ventajas de datos confundidas con generalización. Una política simple DINO más MLP, sin preentrenamiento robótico ni comprensión del lenguaje, casi iguala los mejores resultados reportados en LIBERO porque las distribuciones de reinicio apenas varían, y pocas de las mejoras reportadas en SimplerEnv y LIBERO son estadísticamente significativas. Muestrear las poses de prueba a partir del rango de entrenamiento más amplio reduce la puntuación de todas las políticas, y una política diminuta entrenada con demostraciones programadas en simulación se acerca a las mejores puntuaciones de SimplerEnv. Atribuyen la mayoría de los problemas a conjuntos de prueba públicos, fijos y estrechos, y proponen conjuntos de prueba posteriores al lanzamiento o extremadamente diversos, además de pautas explícitas sobre intervalos de confianza.
Conclusiones clave
Benchmarks como LIBERO y CALVIN pueden resolverse en gran medida memorizando dónde actuar, ya que los estados iniciales de prueba están casi cubiertos por las demostraciones de entrenamiento.
Los artículos rara vez reportan desviaciones estándar o resultados por ejecución, por lo que a menudo las pequeñas mejoras no pueden distinguirse del azar.
Como los protocolos de evaluación no restringen las fuentes de datos de entrenamiento, una puntuación en SimplerEnv por sí sola no puede demostrar generalización de lo real a la simulación.
Cualquier benchmark público y fijo terminará sobreajustado, cada vez más ahora que los agentes LLM pueden iterar contra él, por lo que se necesitan conjuntos de prueba ocultos o muy diversos.
lun 1:30 PM · Hilton Austin · Moderación: Carlo Sferrazza
3 charlas
Patrocinador
Escalar la destreza robótica hacia aplicaciones del mundo real (Scaling Robotic Dexterity Toward Real-World Applications)
Wei 'Reed' Lu · Sharpa
Lu plantea la manipulación diestra como la última pieza sin resolver de los robots de propósito general, con un cuello de botella en datos que deben capturar contactos, fuerzas y recuperación. Describe tres vías complementarias en Sharpa: ampliar las fuentes de datos mediante el codiseño de hardware y software (la mano táctil W2, el robot D01 y el guante exoesqueleto AE01, la teleoperación con autonomía compartida y la captura visuotáctil centrada en humanos), una capa de interacción táctil rápida, el 'Sistema 0', por debajo de las políticas de Sistema 1/2, y el aprendizaje táctil entre corporeizaciones mediante un espacio de tokens consciente de la morfología. Cierra con la cronología de la empresa y el despliegue de una heladería robótica completamente autónoma.
Conclusiones clave
Los datos de teleoperación son lentos y costosos, mientras que el video carece de contacto y fuerza, por lo que Sharpa combina la captura con guantes centrada en humanos con datos de robots en lugar de reemplazar una cosa por la otra.
Una capa de interacción de bajo nivel que usa sensado cercano al punto de contacto se presenta como el lugar donde más importa el sensado táctil de alta calidad ('el último milímetro').
Proyectar sensores táctiles heterogéneos en un espacio de tokens compartido y consciente de la morfología permite que un único experto táctil transfiera experiencia entre sensores y corporeizaciones.
El despliegue en una tienda real que prepara de principio a fin un pedido de helado de 55 pasos se usa como prueba integral de fiabilidad de todo el stack.
Escalar el aprendizaje robótico mediante datos y simulación (Scaling Robot Learning Through Data and Simulation)
Christian Ureno · Lightwheel
Ureno presenta el ciclo de Lightwheel que integra datos humanos egocéntricos, simulación validada físicamente y evaluación para entrenar políticas robóticas. Repasa los conjuntos de datos egocéntricos EgoSuite (una publicación abierta de 10k horas que escala hacia 100k), el pipeline de lo real a la simulación SimFoundry, con una fábrica de mediciones para calibrar fricción, amortiguamiento y objetos deformables como cables, y RoboFinals como benchmark de evaluación, además de nuevos entornos de RL construidos a partir de tareas industriales reales. En la sesión de preguntas explica que los datos de oscilación medidos en el mundo real se usan para deducir por ingeniería inversa los parámetros del simulador.
Conclusiones clave
Se plantea que entrenar una política requiere tres cosas: ejemplos útiles, un lugar donde practicar y una forma de medir.
Los recursos deformables como los cables se calibran haciendo coincidir las curvas de oscilación y asentamiento simuladas y reales para cerrar la brecha entre lo real y la simulación.
Lightwheel sostiene que los entornos de RL construidos a partir de tareas industriales reales son más valiosos que las tareas de teleoperación sobre mesa.
La construcción de entornos se realiza de forma agéntica, con ingenieros de simulación que revisan cada paso para garantizar la fidelidad física.
Del sueño a la acción: modelos de acción del mundo y robótica agéntica (From Dreaming to Doing: World Action Models and Agentic Robotics)
Jim Fan · NVIDIA
Fan argumenta que la llegada de un potente modelo de frontera ('Astra') no vuelve obsoleto un Sistema 1 rápido, y que la verdadera pregunta es qué hace que una habilidad sea buena, enseñable y guiable. Presenta GR00T 2, un modelo de acción del mundo de 2B parámetros que predice conjuntamente futuros fotogramas de video y acciones en una sola pasada de difusión, además de una variante Turbo para cómputo en el borde, demostrada en tareas diestras de horizonte largo como el cambio de memorias en centros de datos y procedimientos de laboratorio de química. Muestra la transferencia zero-shot 'cross adapt' desde dispositivos vestibles humanos, guantes de captura de movimiento, exoesqueletos DexUMI y simulación, y tres formas de acoplar el modelo de frontera con GR00T (guía visual, edición de acciones y el entorno agéntico Aspire). Cierra anunciando publicaciones abiertas de pesos de modelos, SimFoundry, Aspire, la suite de anotación Flora, 100k horas de datos humanos y diseños de hardware.
Conclusiones clave
El modelo 'sueña' fotogramas futuros en el espacio de píxeles y actúa a partir de ellos, decodificando acción y video conjuntamente.
El ajuste fino solo con datos recolectados por humanos (pinzas UMI, guantes de captura de movimiento, exoesqueletos DexUMI) se transfirió zero-shot a hardware robótico diferente.
Pintar indicaciones sobre los píxeles permite que un gran modelo de razonamiento guíe a una política pequeña, trasladando hacia arriba tareas cognitivas como la recursión de la Torre de Hanói.
Un entorno agéntico que alterna entre la política aprendida y habilidades de recuperación de tipo code-as-policy permitió un ensamblaje casi continuo durante toda la noche.
NVIDIA anunció que los pesos de GR00T 2 y Turbo, junto con la receta cross-adapt, se publicarían como código abierto en diciembre.
lun 2:00 PM · Hilton Austin · Moderación: Ken Goldberg
1 charla
Magistral de carrera temprana
¿Cómo pueden los robots aprender a interactuar y coordinarse con otros? (How Can Robots Learn to Interact and Coordinate with Others?)
Negar Mehr · UC Berkeley
Mehr, presentada por Ken Goldberg, usa una tarea cooperativa de transporte con dos robots para mostrar por qué aprender a interactuar es distinto del aprendizaje de un solo agente. Para la imitación, explica que la clonación de comportamiento multiagente debe ocuparse de la explotabilidad más que de la brecha de valor, usa políticas de difusión descentralizadas para manejar la coordinación multimodal y aprende eliminadores de ruido residuales que añaden coordinación sobre políticas congeladas de un solo agente. Para el RL, muestra modelos fundacionales que actúan como 'entrenadores' que descomponen tareas, escriben código de recompensas y de composición, y realizan la asignación de crédito, lo que permite tareas que MAPPO por sí solo no podía resolver. Por último, plantea el aprendizaje continuo como un consenso temporal en el espacio de pesos, resuelto con actualizaciones primal-dual del método de multiplicadores, que ajusta pi-0.5 en tareas nuevas sin olvidar las tareas de preentrenamiento y sin replay.
Conclusiones clave
En la imitación multiagente, una pequeña desviación de un agente puede arruinar la tarea conjunta, por lo que la cobertura de datos de modos de fallo e interacción importa aún más que en entornos de un solo agente.
Las políticas de difusión descentralizadas ejecutadas con horizonte deslizante pueden acordar implícitamente un único modo de coordinación sin comunicarse.
Congelar las políticas preentrenadas de un solo agente y aprender solo un residuo de coordinación a partir de pocas demostraciones conserva las habilidades individuales y permite el trabajo en equipo.
Usar un modelo fundacional estándar como asignador de crédito superó a las líneas base estándar de RL multiagente en una tarea de coordinación en un almacén.
Iterar sobre el código de composición de habilidades generado por el entrenador elevó la tasa de éxito de un humanoide al pulsar botones de alrededor del 20% al 90% en dos rondas.
El consenso temporal sin replay (TACO) conservó el rendimiento en las tareas de preentrenamiento donde el ajuste fino supervisado lo olvidó, y además evitó objetos duplicados u obsoletos en el mapeo dinámico.
BitVLA: modelos visión-lenguaje-acción de 1 bit para manipulación robótica (BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation)
Hongyu Wang · Institute of Computing Technology, Chinese Academy of Sciences / University of Chinese Academy of Sciences (no se nombró al presentador; se muestra el primer autor)
1Institute of Computing Technology, Chinese Academy of Sciences2University of Chinese Academy of Sciences
Los autores presentan BitVLA, un VLA nativo de 1-bit con pesos ternarios construido sobre BitNet b1.58, que usa una etapa de Quantize-then-Distill para comprimir el codificador visual. Iguala la manipulación al nivel de OpenVLA-OFT usando 11x menos memoria y funcionando 4.4x más rápido, e incluye un runtime de inferencia dedicado.
Conclusiones clave
Reemplazar las capas lineales por capas con pesos ternarios y activaciones de 8-bit elimina la mayoría de las multiplicaciones-acumulaciones en coma flotante, lo que abre la puerta a aceleradores especializados en el borde.
Un profesor de precisión completa que alinea los latentes del codificador visual cuantizado ayuda a preservar la precisión tras la compresión.
Un runtime dedicado con pesos ternarios empaquetados funcionó 3.52x más rápido que PyTorch en la misma GPU.
EagleVLA: hacia el control robótico a bordo en tiempo real mediante inferencia asíncrona alineada con la previsión (EagleVLA: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference)
1Peking University2TLAIC3PrimeBot Research Institute4AIRS
Los autores apuntan al despliegue de VLA en dispositivos embarcados de bajo consumo como Jetson Orin, donde la inferencia larga provoca un desajuste entre percepción y ejecución y reacciones lentas. Predicen los estados ocultos futuros del VLM a partir de las acciones ya comprometidas para que el experto de acciones actúe desde el paso de tiempo futuro, programan las llamadas al VLM frente al experto de acciones según la confianza de la predicción y añaden un motor de inferencia embarcado.
Conclusiones clave
La inferencia asíncrona por sí sola oculta la latencia, pero deja al robot actuando sobre observaciones desactualizadas; predecir la representación futura corrige esto.
La programación basada en la confianza permite que el experto de acciones, de bajo costo, funcione solo cuando las predicciones futuras son fiables, lo que reduce el tiempo de reacción.
En el doblado de ropa en el mundo real se obtuvieron trayectorias más suaves que con la inferencia síncrona y las líneas base de fragmentación en tiempo real.
REACT: eliminación de ruido continua y doble desacoplamiento para el control robótico reactivo con modelos VLA (REACT: Rolling Denoising and Dual Decoupling for Reactive Robot Control with VLA Models)
1Shanghai Jiao Tong University2PrimeBot3ShanghaiTech University4Zhejiang University5National University of Singapore
REACT aborda el compromiso entre fragmentos de acciones largos y suaves y la replanificación reactiva en VLA basados en flujos, manteniendo un búfer de acciones deslizante cuyos bloques se encuentran en etapas escalonadas de eliminación de ruido y se refinan con cada nueva observación. El doble desacoplamiento ejecuta de forma asíncrona el sensado, la codificación del VLM, la eliminación de ruido y la ejecución.
Conclusiones clave
Una inferencia más rápida o la ejecución asíncrona por sí solas no aumentan el 'rendimiento de entrada', es decir, la frecuencia con la que las nuevas observaciones influyen en las acciones.
La eliminación de ruido deslizante permite refinar cada bloque ejecutado a lo largo de varias observaciones recientes, lo que mejora a la vez la suavidad y la capacidad de respuesta.
Entrenar con niveles de ruido escalonados por bloque dio una convergencia más rápida y un menor error de predicción en lazo abierto.
TARC: control robótico adaptativo en el tiempo (TARC: Time-Adaptive Robotic Control)
Arnav Sukhija · ETH Zurich
Todos los autores
Arnav Sukhija1, Lenart Treven1, Jin Cheng1, Florian Dorfler1, Stelian Coros1, Andreas Krause1
1ETH Zurich
TARC es un marco de RL en el que la política produce tanto una acción como el tiempo durante el cual mantenerla, con un presupuesto de actualizaciones de control, de modo que la frecuencia de control pasa a ser aprendida. En un cuadrúpedo, la frecuencia se mantiene baja cuando está de pie y se dispara cuando lo empujan, y en un VLA pi-0 decide de forma adaptativa cuándo replanificar.
Conclusiones clave
El problema con restricciones se reduce a un MDP estándar con un costo por actualización, por lo que se puede aplicar cualquier algoritmo de RL estándar.
TARC igualó a una política fija de 50 Hz con menos de la mitad de la frecuencia de control, mientras que una política de frecuencia fija con la misma frecuencia media rindió peor.
La replanificación adaptativa en pi-0 mantuvo la misma tasa de éxito y ahorró alrededor del 38% de las pasadas hacia adelante.
Diffusion ReRoll: eliminación de ruido revisable para la predicción secuencial robótica (Diffusion ReRoll: Revisable Denoising for Robotic Sequential Prediction)
Seonsoo Kim · Agency for Defense Development
Todos los autores
Seonsoo Kim1, Seongil Hong1, Jun-Gill Kang1
1Agency for Defense Development
Diffusion ReRoll vuelve a añadir ruido de forma selectiva a las regiones de una secuencia que se han estabilizado mientras otras siguen eliminando ruido, lo que permite que las partes anteriores y posteriores de un horizonte se revisen mutuamente. Se evalúa en planificación con OGBench, aprendizaje de políticas en LIBERO/RoboCasa, predicción unificada de video y acciones, y navegación en el mundo real con inferencia embarcada a 5 Hz.
Conclusiones clave
La difusión de secuencia completa puede comprometerse con una decisión errónea y simplemente volverla más limpia, y el diffusion forcing causal no permite que el contexto posterior revise un prefijo temprano.
Las mejoras por volver a añadir ruido crecen con el número de eventos de re-ruido hasta saturarse, y las máscaras de atención causal limitan el beneficio.
En navegación real manejó distribuciones espaciales fuera de distribución y giros cerrados en los que fallaron las líneas base de secuencia completa y causales.
Atacar modelos del mundo para comprometer los pipelines de aprendizaje robótico (Targeting World Models to Compromise Robot Learning Pipelines)
Ethan Rathbun · Northeastern University
Todos los autores
Ethan Rathbun1, Ahmed Agha1, Saaduddin Mahmud2, Christopher Amato1, Alina Oprea1, Eugene Bagdasarian2
1Northeastern University2University of Massachusetts Amherst
Los autores muestran que los modelos del mundo usados para generar datos sintéticos de entrenamiento robótico son un punto de entrada sigiloso para el envenenamiento: perturbaciones imperceptibles en las imágenes de demostraciones de apariencia segura pueden inyectar prompts maliciosos en modelos condicionados por texto o introducir puertas traseras en la dinámica de modelos condicionados a acciones. Las ejecuciones envenenadas se propagan luego a políticas VLA y PPO.
Conclusiones clave
Perturbar un fotograma de contexto podía hacer que un modelo del mundo condicionado por texto generara una tarea diferente y dañina (p. ej., colocar un arma en una caja de regalo) a partir de un prompt inocuo.
Una puerta trasera hace que las predicciones del modelo del mundo colapsen a menos que el agente realice una acción objetivo cuando ve un disparador, algo que luego aprende una política de RL.
Los autores lo consideran el primer ataque de puerta trasera inyectado únicamente atacando un modelo del mundo, e instan a crear cadenas de suministro de modelos del mundo más seguras.
Optimización de políticas basada en modelos por fragmentos (Chunk-wise Model-based Policy Optimization)
Weixi Song · Zhejiang University / Shanghai Innovation Institute / Westlake University (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Weixi Song1,2,3, Donglin Wang3, Yong-Lu Li2,4
1Zhejiang University2Shanghai Innovation Institute3Westlake University4Shanghai Jiao Tong University
Los autores reemplazan las ejecuciones recurrentes del modelo del mundo por un modelo del mundo por fragmentos que proyecta un estado latente y un fragmento de acciones predicho a un fragmento latente futuro en una sola pasada, optimizando la expansión de valor sin retropropagación a través del tiempo. Lo evalúan en HumanoidBench y despliegan marcha bípeda en un cuadrúpedo Unitree Go2.
Conclusiones clave
La predicción a nivel de fragmento evita la acumulación de errores de un paso y la inestabilidad de los gradientes a través de ejecuciones recurrentes.
En HumanoidBench alcanzó un rendimiento sólido con alrededor del 50% del tiempo de entrenamiento y una inferencia 30x más rápida que TD-MPC2.
El método descubrió la marcha bípeda en un cuadrúpedo real más rápido que SAC.
FedGuide: alineación de priors de difusión y guía mediante línea base de valor para el aprendizaje por refuerzo federado heterogéneo (FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning)
Zhilin He · Carnegie Mellon University
Todos los autores
Zhilin He1, Gauri Joshi1
1Carnegie Mellon University
FedGuide aborda el RL federado entre clientes con distintas dinámicas, recompensas y estados iniciales mediante priors de difusión personalizados agregados a través de una mezcla de expertos basada en transporte óptimo, además de una línea base de valor DICE para estabilizar el PPO regularizado por el prior. Se evalúa en locomoción con MuJoCo y en manipulación con Meta-World.
Conclusiones clave
Promediar directamente las políticas locales borra los modos de comportamiento especializados que necesita cada cliente heterogéneo.
Agregar los priors de comportamiento en el espacio de distribuciones preservó múltiples modos de recompensa donde el promedio de políticas colapsaba a uno solo.
Se atribuyó a la línea base de valor DICE una volatilidad del retorno sustancialmente menor a lo largo de las rondas de entrenamiento.
MoRE: mezcla de expertos para modelos del mundo robóticos multifísicos (MoRE: Mixture-of-Experts for Multi-Physics Robotic World Models)
Ziyu Zhu · UIUC / Georgia Tech
Todos los autores
Ziyu Zhu1,2, Shaowei Liu1, Albert J. Zhai1, Henry Che1, Wei-Chiu Ma3, Shenlong Wang1
1UIUC2Georgia Tech3Cornell University
MoRE es un modelo del mundo 3D basado en puntos que dirige las interacciones del robot hacia expertos de movimiento para dinámicas rígidas, deformables y prensiles sobre un codificador compartido, entrenado con Isaac Sim y datos reales. Integrado con MPC, un único modelo empuja cajas rígidas, manipula tela blanda y realiza uso de herramientas en varios pasos en un robot real.
Conclusiones clave
Un único modelo dinámico compartido tiende a difuminar regímenes de interacción distintos, algo que evita una mezcla de expertos con un enrutador.
MoRE mejoró la precisión de predicción respecto de métodos anteriores en benchmarks rígidos, deformables y prensiles.
Usar un solo modelo del mundo dentro de MPC permitió diversas tareas de manipulación reales sin modelos por material.
lun 3:30 PM · Hilton Austin · Moderación: Dieter Fox
1 charla
Conferencia magistral
Desafíos para hacer realidad la IA corporeizada (Challenges to Realize Embodied AI)
Wolfram Burgard · University of Technology Nuremberg
Presentado por Dieter Fox, Burgard describe la investigación en robótica como Sísifo empujando una y otra vez una roca cuesta arriba con tres tecnologías: la robótica probabilística, el aprendizaje profundo y, ahora, los modelos fundacionales. Atribuye a los métodos probabilísticos la localización con precisión milimétrica y el auge de los autos autónomos, pero sostiene que su dependencia de mapas HD confina los sistemas a una autonomía de Nivel 4 dentro de zonas delimitadas, y que la necesidad del aprendizaje profundo de ontologías predefinidas se desmorona en hogares desordenados. Luego repasa el trabajo de sus grupos con modelos fundacionales en navegación sin mapas (FlowNav, MetricNet), habilidades encadenadas por LLM, agarre semántico, predicción táctil, control explícito de wrench e interpretabilidad de agentes de navegación con visión y lenguaje. Cierra con llamados a una incertidumbre calibrada, a incorporar fuerza y tacto en los modelos fundacionales para robots, a un cómputo académico compartido a gran escala y a un 'CERN de la robótica'.
Conclusiones clave
Combinar la percepción profunda con la estimación probabilística del estado requiere incertidumbres calibradas, lo que se vuelve aún más difícil con los modelos fundacionales.
Burgard espera que los robots lleguen a las plantas de fábrica mucho antes que a los hogares desordenados, de forma análoga a cómo la conducción autónoma tuvo éxito en entornos más estructurados.
La navegación sin mapas todavía necesita algo de geometría métrica, ya que la navegación basada en difusión sin escala provocó colisiones que los waypoints escalados de MetricNet corrigieron.
Añadir control explícito de fuerza/wrench a las políticas de imitación mejoró sustancialmente el rendimiento en tareas ricas en contacto frente al control de posición más rigidez.
Los agentes de navegación con visión y lenguaje más avanzados tuvieron menos del 70% de precisión frente a regiones relevantes anotadas por humanos, lo que motiva más trabajo en interpretabilidad.
Sostiene que la academia debe unir recursos en modelos fundacionales abiertos para robots que incluyan fuerza y tacto para seguir el ritmo de la industria.
lun 4:30 PM · Hilton Austin · Moderación: Matt Walter
3 charlas
Patrocinador
Innovaciones en autonomía en GM (Innovations in Autonomy at GM)
Sean Harris · General Motors
Harris describe el giro de GM desde el programa de robotaxis de Cruise hacia la autonomía personal, con el objetivo de un producto para autopista sin necesidad de mirar la vía en 2028. Contrasta el RL de autojuego en un simulador que funciona más de 50,000x más rápido que el tiempo real, que supera el rendimiento humano y aprende a recuperarse pero usa entradas simplificadas y puede no sentirse humano, con el aprendizaje por imitación sobre cientos de miles de horas de registros de conducción. Esboza formas de combinarlos y describe usos de VLM a bordo y fuera del vehículo, como el razonamiento sobre la escena, la minería de datos, la clasificación de incidencias y la crítica.
Conclusiones clave
Comportamientos robustos de incorporación y cesión del paso surgieron con menos de dos horas de entrenamiento por autojuego en el simulador rápido de GM.
El autojuego ofrece cobertura de eventos raros y evita el problema de acumulación de errores de DAgger, mientras que la imitación ofrece distribuciones realistas y un comportamiento similar al humano.
Entre las combinaciones posibles están anclar el RL a una política de imitación, destilar un profesor de RL o aprender recompensas a partir de la conducción humana.
Los VLM son útiles para el razonamiento de alto nivel a nivel de carril en escenas de accidentes y para la minería de eventos raros y no estructurados, como escombros en la vía.
Cho presenta el objetivo de BitRobot de obtener datos del mundo real mediante crowdsourcing, incluido el dispositivo de captura RoboCap montado en la cabeza con seis cámaras, cámaras de muñeca sincronizadas de forma inalámbrica, la integración con guantes táctiles y conjuntos de datos abiertos como RoboCap 10K, un conjunto con referencia LiDAR, un gran conjunto de navegación urbana y 500 horas de humanoides en hogares reales. Luego, Duan presenta RoboColosseum, un gran esfuerzo de evaluación en el mundo real con cientos de robots, un equipo de evaluación de 30 personas y cientos de entornos, que ofrece modalidades de ajuste fino y abierta.
Conclusiones clave
RoboCap 10K ofrece 10,000 horas de trabajo ocupacional en entornos reales recolectadas en 11 países, con pose de manos y SLAM.
Las primeras evaluaciones de RoboColosseum encontraron que ningún modelo domina en todos los escenarios y que ningún modelo de humanoide alcanzó el éxito completo.
Duan informa que se necesitan aproximadamente de 400 a 500 comparaciones para extraer conclusiones estadísticamente significativas sobre los modelos.
RoboColosseum ofrece 10,000 horas de evaluación gratuita en el mundo real a laboratorios académicos.
Infraestructura de datos para la IA física (Data Infrastructure for Physical AI)
Kun Wang · MaxInsights
El cofundador y CTO de MaxInsights presenta la empresa como un gran proveedor de datos humanos egocéntricos para el aprendizaje robótico, con más de dos millones de horas entregadas. Comparte evidencia interna sobre la calidad de los datos, un preentrenamiento que usa solo datos egocéntricos y alcanza tasas de éxito similares a las de un modelo entrenado con unas diez veces más datos mixtos, y un esquema de anotación lingüística detallado con etiquetas por mano y por fase. También adelanta un conjunto de datos de anotaciones abierto y un ciclo de retroalimentación de evaluación y corrección en entornos reales.
Conclusiones clave
Se informó que preentrenar con unas 600 horas de sus datos egocéntricos igualaba aproximadamente a una línea base entrenada con más de 6,000 horas de datos de robots más datos egocéntricos en simulación.
Las anotaciones lingüísticas se estructuran en torno a la claridad del objetivo, la consistencia temporal y el detalle de ejecución, etiquetadas por separado para la mano izquierda y la derecha con una granularidad de alrededor de un segundo.
MaxInsights planea publicar como código abierto un conjunto de datos de anotaciones con etiquetas de contacto a nivel de dedos, de las que, según afirma, carecen los conjuntos de datos egocéntricos existentes.
Un modelo de razonamiento que verifica los resultados y envía retroalimentación correctiva a la política forma parte de su ciclo de retroalimentación de datos del mundo real.
Spotlight S3 · Aprendizaje a partir de humanos, destreza y cooperación
mar 8:30 AM · Hilton Austin · Moderación: Danfei Xu
9 charlas
Spotlight
Ego2Robot: síntesis escalable de datos robóticos a partir de datos humanos egocéntricos (Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data)
Ye Wang · Renmin University of China / Alibaba Inc. (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Ye Wang1,2, Pei Lin2,3,4, Xiong-Hui Chen2, Haoqi Yuan2, Zhixuan Liang2, Yiyang Huang2, Anzhe Chen2, Zixing Lei2, Jie Zhang2, Tao Zhang1, Haoyang Li2, Tong Zhang2, Chenxi Xiao3, Ziyuan Jiao4,5, Qin Jin1
1Renmin University of China2Alibaba Inc.3ShanghaiTech University4Beijing Institute for General Artificial Intelligence5Beihang University
Los autores presentan Ego2Robot, un pipeline que convierte videos egocéntricos de manipulación humana en datos de entrenamiento para robots: redirige las poses de la mano a acciones de la pinza, rellena por inpainting los brazos humanos, reproduce el movimiento en simulación, superpone el robot renderizado en la escena original y luego filtra los clips de baja calidad. Usan una versión ampliada del benchmark RoboTwin para medir cómo estos datos sintéticos ayudan a preentrenar modelos fundacionales para robots en los ejes de apariencia, disposición de la escena, corporeización y semántica de la tarea.
Conclusiones clave
Una mezcla equilibrada de datos sintetizados de Ego2Robot y datos reales de robots funciona mejor para el preentrenamiento, y mezclar datos sintetizados en formato robótico supera a mezclar los videos egocéntricos sin procesar.
Las mayores mejoras aparecen en la variación de iluminación y de color del robot, la robustez ante desplazamientos de cámara, la transferencia entre corporeizaciones y las instrucciones que involucran objetos no vistos, y añadir más cuerpos robóticos sigue mejorando la transferencia.
La precisión de la estimación de la pose de la mano limita actualmente las mejoras en las tareas más precisas con robots reales.
1Shanghai Jiao Tong University2Eastern Institute of Technology, Ningbo3Peking University4ShanghaiTech University
Los autores usan la mirada humana como señal de intención independiente de la corporeización: un modelo preentrenado con un gran conjunto de datos egocéntrico anotado con manos y mirada primero predice tokens de intención de forma autorregresiva y luego genera acciones, al estilo de una cadena de pensamiento. El postentrenamiento solo necesita una pequeña cantidad de datos de robots sin anotaciones de mirada, combinada con datos humanos de la tarea.
Conclusiones clave
La intención de alto nivel se transfiere entre corporeizaciones con mucha más facilidad que las acciones de bajo nivel, por lo que sirve de puente para la transferencia de humano a robot.
Editar manualmente la intención predicha cambia la trayectoria del robot sobre la marcha, y modelar la intención eleva el éxito en las tareas.
Los datos humanos ayudan tanto en el preentrenamiento como en el postentrenamiento y permiten que el robot tenga éxito en escenarios vistos solo en videos humanos.
Teleoperación eficiente y fiable mediante autonomía compartida real-sim-real (Efficient and Reliable Teleoperation through Real-to-Sim-to-Real Shared Autonomy)
Shuo Sha · Columbia University
Todos los autores
Shuo Sha1, Yixuan Wang1, Binghao Huang1, Antonio Loquercio2, Yunzhu Li1
1Columbia University2University of Pennsylvania
Los autores proponen un marco de autonomía compartida de lo real a la simulación y de vuelta a lo real, en el que un copiloto de RL residual, entrenado en simulación frente a un sustituto humano de k vecinos más cercanos ajustado con menos de cinco minutos de teleoperación real, asiste a los operadores en tareas ricas en contacto como enroscar tuercas, engranar engranajes e insertar clavijas. El humano aporta la intención de alto nivel mientras el copiloto se encarga de la alineación de contacto de bajo nivel.
Conclusiones clave
Dividir los roles, con el humano aportando la intención y el RL encargándose del control de contacto de bajo nivel, hace la teleoperación más fiable sin necesidad de resolver la autonomía completa.
La teleoperación asistida por el copiloto eleva el éxito, reduce el tiempo de finalización y la carga de trabajo, y sigue la intención del operador, como variar la velocidad de inserción.
Las políticas de difusión entrenadas con demostraciones asistidas por el copiloto superan a las entrenadas con la misma cantidad de datos de teleoperación directa.
FlowDAgger: adaptación con humano en el bucle de políticas robóticas generativas en el espacio latente (FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space)
1Microsoft Research2University of Washington3Microsoft4ETH Zurich
Michael Murray presenta FlowDAgger, que adapta políticas congeladas de flow matching y de difusión (como pi0.5, Cosmos Policy y políticas de difusión simples) a partir de un puñado de correcciones humanas hechas con un space mouse, entrenando una pequeña política de guía latente. Su ingrediente clave es la inversión de acciones: una optimización de punto fijo proyecta cada corrección de vuelta al latente de ruido que la produciría, y se usa dentro de un ciclo al estilo DAgger.
Conclusiones clave
Supervisar directamente el espacio latente con correcciones invertidas logra avances en decenas de episodios, mientras que explorar el espacio de ruido puede requerir miles.
Como solo se entrena una pequeña política latente, el método preserva el prior preentrenado y evita el olvido catastrófico observado con el ajuste fino supervisado, y funciona en una GPU de consumo.
Las mejoras son mayores en tareas con cuellos de botella de alta precisión.
BiDexGrasp: agarres diestros bimanuales coordinados para distintas geometrías y tamaños de objetos (BiDexGrasp: Coordinated Bimanual Dexterous Grasps across Object Geometries and Sizes)
Mu Lin · Sun Yat-sen University / Tsinghua University
1Sun Yat-sen University2Tsinghua University3Peking University4Jiangxing Intelligence (Guizhou) Technology Inc.5Stanford University
Los autores presentan BiDexGrasp, un pipeline de síntesis de agarres diestros bimanuales y un modelo generativo. La inicialización basada en regiones y la optimización desacoplada hacen la síntesis 40 veces más rápida y producen un conjunto de datos de casi 10 millones de agarres, mientras que un módulo de coordinación bimanual y anclas de agarre adaptativas al objeto se encargan de la coordinación y de la gran variación de tamaños.
Conclusiones clave
Inicializar ambas manos en regiones prometedoras y desacoplar su optimización hace la síntesis de agarres bimanuales mucho más eficiente, con más del doble de la tasa de éxito de síntesis de la línea base.
El generador aprendido mejora el éxito en unos 25 puntos porcentuales respecto de la línea base.
En pruebas reales alcanza un 74.6% de éxito en 260 ensayos con 30 objetos, incluida la transferencia a otras manos robóticas.
KPGrasp: flow matching escalable de puntos clave para la generación de agarres diestros (KPGrasp: Scalable Keypoint Flow Matching for Dexterous Grasp Generation)
Yuansen Huang · Peking University / Galbot (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Yuansen Huang1,2, Jiayi Chen1,2, Haoran Liu1,2, Yubin Ke1,2, Bing Han2,3, Jiangran Lyu1,2, Mi Yan1,2, Li Yi2,4, He Wang1,2
1Peking University2Galbot3Xi'an Jiaotong University4Tsinghua University
KPGrasp representa los agarres diestros como puntos clave 3D de la mano en el marco de referencia del objeto y entrena un transformer de estilo DiT solo con la pérdida estándar de flow matching, recuperando los ángulos articulares con un paso ligero de cinemática inversa y sin pérdidas de contacto ni refinamiento en tiempo de prueba.
Conclusiones clave
En Dexonomy alcanza un 76.3% de éxito con 2.4 mm de penetración y se transfiere zero-shot a DexGraspAnything con un 63.8% de éxito.
Una parametrización de puntos clave completamente euclidiana evita la acumulación de errores cinemáticos, simplifica el equilibrio de pérdidas y escala mejor con los datos, el modelo y el tamaño de lote.
El agarre en el mundo real a partir de nubes de puntos parciales de una sola vista tiene éxito en 83 de 100 ensayos con 20 objetos.
WM-Craftnet: modelo de sinestesia del mundo para una manipulación diestra en la mano robusta y generalizable (WM-Craftnet: World Synesthesia Model for Robust and Generalizable Dexterous In-Hand Manipulation)
Xiaojing Tan · Sharpa Robotics
Todos los autores
Jie Yin1, Zeyuan Zhao1, Xiaojing Tan1, Yang Liu1, Chiyu Wang1, Xinyang Gu1
1Sharpa Robotics
WM-Craftnet entrena un modelo del mundo recurrente de espacio de estados al estilo Dreamer con profundidad, tacto, propiocepción, acciones pasadas y recompensas para una mano humanoide de 20 grados de libertad (20-DoF). Su estado latente, entrenado para reconstruir una profundidad limpia a partir de sensores ruidosos, condiciona una política de rotación en la mano en lazo cerrado en lugar de usarse para la imaginación.
Conclusiones clave
La reconstrucción de profundidad limpia regulariza el sensado ruidoso y mejora la robustez de simulación a realidad (sim-to-real), mientras que el despliegue usa solo los sensores sin procesar.
Un modelo del mundo preentrenado con solo nueve objetos sirve como prior reutilizable que permite que una política posterior generalice a 49 objetos sin identificadores de objetos ni información privilegiada.
El historial recurrente estima el estado de contacto actual, lo que permite recuperarse de perturbaciones y recentrar el objeto a partir de agarres iniciales difíciles.
1Zeno AI2The University of Sydney3Zhejiang University
Los autores proponen Sequential Asymmetric Imitation (SAI), que permite a un único teleoperador entrenar políticas acopladas para dos manipuladores móviles bimanuales: primero se aprende el robot A con un compañero humano, luego se enseña el robot B junto a la política congelada de A, y finalmente A se ajusta con correcciones en las que debe esperar, ceder o recuperarse. Entre las tareas están extender un mantel y enderezar un cuadro.
Conclusiones clave
Hacer que el compañero aprendido forme parte del proceso de enseñanza permite que B se adapte a los tiempos y errores reales de A, sin demostraciones sincronizadas con dos operadores.
SAI supera a políticas de imitación entrenadas de forma independiente con la misma arquitectura y presupuesto, principalmente al aprender cuándo esperar y cómo mantener el soporte compartido.
Las líneas base de paso de mensajes funcionan bien con comunicación fiable, pero se degradan con retardos y pérdida de paquetes.
Déjalo mejor de lo que lo encontraste: cooperación guiada por valor en tareas secuenciales (Leave It Better Than Found: Value-Guided Cooperation in Sequential Tasks)
Mario Gomez Andreu · University of Cambridge / ETH Zurich
Todos los autores
Mario Gomez Andreu1,2, Michael Amir1, Antonio Marino1, Tianxu An2, Marco Hutter2, Amanda Prorok1
1University of Cambridge2ETH Zurich
Mario Gomez Andreu presenta PAVE, un método ad hoc para la continuación de tareas secuenciales en el que un robot líder optimiza en línea un compromiso entre su propio objetivo y la función de valor del seguidor en el estado de traspaso, usando su propia política como prior. Un indicador de fuera de distribución impide que el líder confíe en el valor del seguidor en estados que este nunca vio durante el entrenamiento.
Conclusiones clave
Compartir la función de valor ya existente de un seguidor entrenado con RL permite la cooperación sin datos de entrenamiento conjuntos, lo que importa cuando los robots provienen de fabricantes distintos.
Las estimaciones de valor del seguidor son excesivamente confiadas fuera de distribución, por lo que filtrarlas con un indicador OOD es esencial.
El método eleva el éxito del seguidor en unos 28 puntos porcentuales manteniendo alto el éxito del líder, e iguala a una línea base de ajuste fino con información privilegiada.
Oral O4 · Aprendizaje por refuerzo y razonamiento de movimiento
mar 9:00 AM · Hilton Austin · Moderación: Katerina Fragkiadaki
3 charlas
Oral
RL Token: arranque del RL en línea con modelos visión-lenguaje-acción (RL Token: Bootstrapping Online RL with Vision-Language-Action Models)
Charles Xu · Physical Intelligence
Todos los autores
Charles Xu1, Jost Tobias Springenberg1, Michael Robert Equi1, Ali Amin1, Adnan Esmail1, Sergey Levine1, Liyiming Ke1
1Physical Intelligence
Charles Xu presenta RL Token, de Physical Intelligence, que adapta un VLA pi0.6 para exponer un único 'token de RL' comprimido, aprendido mediante un codificador-decodificador que debe reconstruir los embeddings completos de la capa final, como observación para un pequeño actor-crítico en línea. El actor se condiciona en el fragmento de acciones muestreado por el VLA y se regulariza hacia él, y el RL en línea con etiquetas humanas de éxito e intervenciones se centra solo en la parte más difícil de una tarea, como alinear un destornillador o pasar una brida.
Conclusiones clave
Los embeddings preentrenados del VLA son un backbone de percepción mucho mejor para el RL con redes pequeñas que los codificadores genéricos; cambiar de un ResNet-10 al token de RL aproximadamente duplicó la velocidad del RL posterior en las ablaciones.
Condicionar el actor gaussiano de RL en la propuesta de acción del VLA evita colapsar a la media de una política de flujo multimodal y facilita el aprendizaje.
En la inserción de Ethernet, el episodio mediano de la política de RL es de 66 pasos, frente a 230 con SFT y unos 150 de un teleoperador experto, y la mitad de sus episodios superan al episodio de teleoperación más rápido.
El RL en línea focalizado en el cuello de botella de una tarea toma horas en lugar de los días que requiere el RL iterativo sobre el VLA completo.
1Amazon FAR2UC Berkeley3Stanford University4The University of Hong Kong5Carnegie Mellon University
Hongsuk Choi presenta FPO++, que hace estable el RL de gradiente de política con flow matching (FPO) para el control robótico mediante dos cambios: regiones de confianza por muestra que recortan el cociente de cada paso de tiempo de ruido, y una región de confianza asimétrica que mantiene el recorte de PPO para ventajas positivas y usa SPO para las negativas. El método entrena desde cero la locomoción y el seguimiento de movimiento de humanoides, desplegados en robots reales, y ajusta políticas de manipulación basadas en imágenes.
Conclusiones clave
El FPO original colapsaba en tareas robóticas complejas; el recorte por muestra más las regiones de confianza asimétricas dan retornos altos y consistentes entre semillas y umbrales.
Alejar el flujo de las acciones con ventaja negativa puede inflar la brecha posterior del ELBO, algo que evita la regularización al estilo SPO.
Las políticas de flujo aprenden correlaciones articulares con significado semántico y preservan la exploración durante más tiempo que el PPO gaussiano, lo que produce marchas más naturales.
El muestreo con ruido cero en la inferencia da acciones más suaves y fiables incluso con pocos pasos de integración.
¿Conducir rápido o lento? Guía neurosimbólica para la predicción de movimiento en la movilidad terrestre multimodal (Driving, Fast or Slow? Neuro-Symbolic Guidance for Motion Prediction in Multi-Modal Ground Mobility)
Simon Kohaut, Felix Divo · TU Darmstadt
Todos los autores
Simon Kohaut1, Felix Divo1, Julius Hahnewald1, Benedict Flade2, Julian Eggert2, Kristian Kersting1,3,4,5, Devendra Singh Dhami6
1TU Darmstadt2Honda Research Institute3hessian.AI4Centre for Cognitive Science5DFKI6TU Eindhoven
Simon Kohaut y Felix Divo presentan TraCS (Trajectory Compliance-Shaping), que fusiona las propuestas de predictores de movimiento de caja negra con un modelo probabilístico de lógica de primer orden de las normas de tráfico locales mediante un pool de opiniones log-lineal, con una compuerta de confianza aprendida que decide cuándo aplican las normas. Un ciclo agéntico de codificador, juez y verificador traduce normas de tráfico en lenguaje natural a programas de lógica probabilística en Resin que pueden evaluarse en milisegundos.
Conclusiones clave
Los LLM de frontera usados como agentes de programación tradujeron los textos de las normas a programas correctos, y el juez y el verificador importaron más en los modelos más débiles.
En Argoverse 2 con QCNet, DeMo y otros backbones, las mejoras globales son pequeñas pero se concentran en la cola de mayor error, especialmente para peatones.
Aplicar siempre las normas o barajar los pesos de confianza aprendidos no ayuda, por lo que saber cuándo los agentes siguen las normas es tan importante como las normas mismas.
Las infracciones de normas y las predicciones erróneas señaladas por el panorama de cumplimiento pueden orientar la recolección de datos futura.
mar 9:30 AM · Hilton Austin · Moderación: Georgia Chalvatzaki
1 charla
Magistral de carrera temprana
Aprender sin empezar de cero: ampliar lo que los robots pueden aprender en el mundo real (Learning Without Starting Over: Expanding What Robots Can Learn in the Real World)
Roberto Martin-Martin · University of Texas at Austin
Presentado por Georgia Chalvatzaki, Martin-Martin argumenta que, como ningún robot puede preentrenarse para todos los escenarios futuros, lo que importa es el 'potencial de aprendizaje' de un robot: cuánta capacidad nueva obtiene a partir de una experiencia limitada en el mundo real. Partiendo de un experimento que va de un bebé que golpea objetos a martillar, muestra que la forma en que se reutiliza el conocimiento previo determina lo que aún se puede aprender. Luego repasa el trabajo de su laboratorio sobre espacios de acción aprendidos para un RL seguro en el mundo real (SLAC, políticas de difusión indexadas por modos), la extracción de estructura a partir de demostraciones y correcciones humanas (SafeMimic, la simulación de daños OopsieVerse, Oopsie-Recover) y la elección de qué datos usar para entrenar o recolectar (DataMIL, GUILD). Cierra con la memoria y el aprendizaje continuo mediante registros de experiencia, retroalimentación humana anclada y VLA adaptados con LoRA.
Conclusiones clave
Ajustar una habilidad autosupervisada de golpear aprende a martillar más rápido que aprender desde cero, mientras que congelarla aprende lo más rápido pero se estanca, por lo que la forma de reutilización importa tanto como el prior.
Un espacio de acciones latente, independiente de la tarea y sesgado hacia la seguridad, aprendido en simulación, permitió que manipuladores móviles aprendieran tareas ricas en contacto con menos de una hora de RL en el mundo real y casi sin interrupciones por seguridad.
Un puñado de correcciones anotadas con lenguaje, convertidas en costos programáticos con compuertas, mejoró un VLA congelado en alrededor de un 35%, y en alrededor de un 20% en situaciones nuevas.
Seleccionar los datos de coentrenamiento según su efecto predicho sobre la política objetivo supera a las heurísticas de similitud de imagen o de lenguaje, e incluso ayuda a un robot que no está presente en Open X-Embodiment.
Los adaptadores LoRA secuenciales con RL on-policy permiten que un VLA adquiera nuevas habilidades con un olvido medio casi nulo, lo que lo convierte en un sustrato prometedor para el aprendizaje continuo.
La seguridad aprendida ofrece garantías probabilísticas y no formales, por lo que la evaluación futura dependerá de probar cuán seguras son las políticas.
Oral O5 · Aprendizaje diestro, agarre y ensamblaje
mar 10:30 AM · Hilton Austin · Moderación: Masha Itkina
3 charlas
Oral
EgoScale: escalado de la manipulación diestra con datos humanos egocéntricos diversos (EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data)
Ruijie Zheng presenta EgoScale, que preentrena un VLA al estilo GR00T con video humano egocéntrico a gran escala convertido en acciones mediante SLAM y estimación de la pose de la mano y redirigido a una mano Sharpa de 22-DoF; luego realiza un entrenamiento intermedio con datos humanos y robóticos alineados (unas 4 horas de teleoperación emparejadas con 50 horas de datos humanos de las mismas tareas, registrados con guantes y cámaras de muñeca) antes del postentrenamiento en nuevas tareas diestras.
Conclusiones clave
Combinar el preentrenamiento con datos humanos con un entrenamiento intermedio alineado da el mayor éxito en cinco tareas diestras, y solo esta combinación logra un éxito no trivial en las más difíciles, como desenroscar una botella y transferir con una jeringa.
La pérdida de validación con datos humanos sigue una ley de escalamiento log-lineal respecto de la cantidad de datos humanos y se correlaciona con el rendimiento en robots reales.
Surge la transferencia en un solo intento: una tarea nueva, como doblar una camisa, se aprende a partir de una única trayectoria de teleoperación más unas 100 demostraciones humanas.
La misma receta se transfiere a un Unitree G1 con una mano diferente, con movimientos más suaves que las líneas base.
1Peking University2PrimeBot3Beijing Institute for General Artificial Intelligence
OpenDexGrasp genera agarres diestros orientados a tareas a partir de instrucciones en lenguaje libre. Combina OpenDex-Scale (1.24 millones de agarres sintetizados etiquetados con descripciones de tareas por un VLM) con OpenDex-Align (unos 27k agarres funcionales demostrados por humanos y transferidos entre instancias de objetos), y un modelo que acopla un VLM preentrenado con un codificador de geometría 3D y predice conjuntamente la affordance de la tarea y la pose de la mano.
Conclusiones clave
Combinar una amplia cobertura sintética con datos más pequeños de alta calidad alineados con humanos mejora la calidad física y funcional de los agarres.
Predecir la affordance junto con el agarre vincula la instrucción lingüística con el lugar donde la mano debe hacer contacto.
Reemplazar el backbone VLM preentrenado causa la mayor caída en las ablaciones, y los agarres con el robot real tienen éxito el 72% de las veces.
Los fallos restantes involucran objetos cuya pose debe cambiarse sustancialmente antes de que sea posible un agarre funcional.
Play2Perfect: ¿qué importa en el preentrenamiento mediante juego diestro para el ensamblaje de precisión? (Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?)
Tyler Ga Wei Lum, Kushal Kedia · Stanford University / Cornell University
Todos los autores
Tyler Ga Wei Lum1, Kushal Kedia2, Karen Liu1, Jeannette Bohg1
1Stanford University2Cornell University
Tyler Lum y Kushal Kedia presentan Play2Perfect, en el que una mano de varios dedos se preentrena primero con RL mediante 'juego', alcanzando poses objetivo 6D aleatorias con miles de objetos aleatorios, y luego se ajusta con una recompensa dispersa definida a partir de CAD para ensamblajes precisos de horizonte largo, como inserciones de medio milímetro y atornillar la pata de una mesa. Las políticas se entrenan completamente en simulación y se despliegan zero-shot con seguimiento de objetos mediante FoundationPose.
Conclusiones clave
Con el preentrenamiento mediante juego, el ensamblaje alcanza un alto éxito en 2 a 5 horas de ajuste fino, mientras que el RL desde cero se queda en 0% tras 24 horas y el RL con recompensa densa tarda 33 veces más en igualarlo.
Las políticas preentrenadas con juego agarran con varios dedos y se mantienen por encima del 80% de éxito bajo perturbaciones de fuerza, mientras que el RL con recompensa densa aprende estrategias frágiles que fallan.
Un juego eficaz requiere objetivos 6D completos (no solo de traslación), tolerancias estrictas de 1 cm, muchos objetos y objetivos aleatorios nuevos en cada episodio, todo lo cual enfatiza la manipulación en la mano.
El juego por sí solo maneja el movimiento en espacio libre pero falla en el contacto; el ajuste fino enseña estrategias de búsqueda ricas en contacto, y los objetos pequeños siguen siendo difíciles por la oclusión.
Oral O6 · Fuerza, control táctil y planificación de manipulación
mar 11:00 AM · Hilton Austin · Moderación: Ian Abraham
3 charlas
Oral
FACTR 2: aprender a sensar fuerzas externas en brazos robóticos comerciales mejora el aprendizaje de políticas (FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning)
Jason Jingzhou Liu, Steven Oh · Carnegie Mellon University / Waseda University
Todos los autores
Steven Oh1,2, Jason Jingzhou Liu1, Tony Tao1, Philip Han1, Kenneth Shaw1, Satoshi Funabashi2, Ruslan Salakhutdinov1, Deepak Pathak1
1Carnegie Mellon University2Waseda University
Jason Liu y Steven Oh presentan FACTR 2, que dota a brazos de bajo costo de sensado de fuerza externa con NEXT: una LSTM entrenada en aproximadamente un minuto con unos 10 minutos de posiciones articulares, velocidades y corrientes de motor en espacio libre predice el torque en espacio libre, de modo que el residuo durante el contacto es el torque externo. Esta estimación alimenta la teleoperación con retroalimentación de fuerza en brazos como Piper, YAM y Nero, y FIRST la usa para segmentar las demostraciones en fases libre, previa al contacto y de contacto, y sobremuestrear las dos últimas durante el entrenamiento por clonación de comportamiento.
Conclusiones clave
En un Franka, las estimaciones de NEXT siguen a los sensores de torque integrados durante el contacto y se mantienen cerca de cero en movimiento libre.
Usar el torque externo tanto como entrada de la política como para remuestrear los segmentos previos al contacto y de contacto dio los mejores resultados en tareas de horizonte largo como el ensamblaje de correas.
Sobremuestrear las fases de contacto reduce allí la pérdida de validación y produce más comportamientos de recuperación cuando falla la alineación.
Unos 10 minutos de datos de movimiento libre fueron suficientes, ya que 30 a 40 minutos no mejoraron el rendimiento.
PACE: condicionamiento táctil por roles temporales para políticas de inserción basadas en fragmentos (PACE: Temporal-Role Tactile Conditioning for Chunk-Based Insertion Policies)
Zane (presenting for the authors) · Xiaomi Robot Technology
Todos los autores
Zhiyuan Chen1, Shixiong Xu1, Shuai Chen1, You Yangwei1
1Xiaomi Robot Technology
Presentado por Zane en nombre del primer autor, Zhiyuan Chen (Xiaomi Robotics), quien no pudo asistir por retrasos en su visa. PACE asigna a un flujo táctil compartido tres roles temporales en una política de inserción basada en fragmentos: una vía de fase que modula las características del transformer a partir del estado de contacto suavizado, una vía de eventos que activa una corrección residual sobre las primeras acciones del fragmento ante cambios bruscos de contacto, y un cabezal auxiliar de predicción táctil futura que se usa solo en el entrenamiento. Las demostraciones se recolectaron con un sistema de teleoperación con retroalimentación de fuerza Sigma.7.
Conclusiones clave
PACE alcanza un 90.7% de éxito medio en cinco tareas reales de inserción, frente al 46% de la línea base más fuerte con concatenación táctil, y un 88.7% en Manipulation-Net, incluida una holgura estrecha de 0.1 mm.
La vía de eventos es la que más aporta, ya que eliminarla reduce el éxito al 66.7%.
La retroalimentación de fuerza durante la teleoperación redujo la fuerza de contacto máxima media de 16.7 N a 10 N.
El diseño se transfiere entre sensores (fuerza-torque, corrientes articulares) y backbones como la política de difusión.
Reorganización multiobjeto de horizonte largo mediante búsqueda en árbol destilada sobre acciones continuas (Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions)
Kallol Saha presenta DISCO, una receta al estilo AlphaGo para la reorganización de múltiples objetos en horizonte largo: una política de recoger y colocar propone acciones como aristas en un árbol MCTS sobre acciones continuas usando ensanchamiento progresivo, y los éxitos y fallos se destilan periódicamente de vuelta en la política y en una función de valor, todo ejecutado en paralelo en simulación en GPU. Las políticas finales funcionan sin búsqueda en la prueba en tareas de llenado de estantes, apilamiento y recogida de mesas, incluida la transferencia de simulación a realidad (sim-to-real).
Conclusiones clave
El ensanchamiento progresivo, que añade hijos a medida que los nodos se visitan más, hace tratable la búsqueda en árbol sobre espacios de acción continuos.
DISCO supera a beam search, MPPI, RL y a ablaciones con búsqueda uniforme o un factor de ramificación fijo.
Tanto la política como la función de valor mejoran en cada ronda de destilación, de modo que el razonamiento de horizonte largo se aprende a partir de datos de horizonte corto.
Una política inicial entrenada solo con clonación de comportamiento falla en tareas reales de horizonte largo que la política DISCO destilada completa.
Oral O7 · Datos, control y habilidades de humanoides
mar 11:30 AM · Hilton Austin · Moderación: Koushil Sreenath
3 charlas
Oral Finalista del premio
GRAIL: generación de locomanipulación humanoide a partir de modelos del mundo (GRAIL: Generating Humanoid Loco-Manipulation from World Models)
Tianyi Xie · NVIDIA / UCLA
Todos los autores
Tianyi Xie1,2, Haotian Zhang1, Jinhyung Park1, Zi Wang1, Bowen Wen1, Jiefeng Li1, Xueting Li1, Qingwei Ben1, Haoyang Weng1, Yufei Ye1, David Minor1, Tingwu Wang1, Chenfanfu Jiang2, Sanja Fidler1, Jan Kautz1, Linxi Fan1, Yuke Zhu1, Zhengyi Luo1, Umar Iqbal1, Ye Yuan1
1NVIDIA2UCLA
Los autores proponen generar datos de loco-manipulación de humanoides en lugar de recolectarlos: a partir de una sola imagen de una escena 3D construida, prompts de texto guían a un modelo fundacional de video para producir demostraciones humanas (sentarse, empujar, cargar, subir escaleras, subir a bordillos). El movimiento humano y de los objetos se reconstruye usando la geometría privilegiada de la escena y los parámetros de la cámara, se redirige a los robots eligiendo un personaje humano de altura equivalente y se vuelve físicamente válido con un rastreador de cuerpo completo consciente de la escena y del terreno. Una política visual destilada de estos rastreadores y entrenada completamente en simulación se despliega zero-shot en humanoides reales.
Conclusiones clave
GRAIL generó más de 35k movimientos físicamente válidos, y el conjunto de datos público tenía alrededor de un cuarto de millón de descargas en el momento de la charla.
Una política de recogida entrenada solo con datos de GRAIL se transfirió zero-shot al robot real con un 80% de éxito en objetos no vistos.
Generar virtualmente miles de variantes de escaleras ofrece una cobertura de terrenos que la captura de movimiento no puede lograr en la práctica, y la política de escaleras generalizó a escaleras interiores y exteriores no vistas.
Los autores todavía redirigen a partir de videos humanos porque los modelos de video y los estimadores de pose están maduros para humanos, pero esperan la generación directa de video de humanoides una vez que ambos se ajusten para robots.
SuperMimic: escalado del control de cuerpo completo de humanoides con un único modelo del mundo diferenciable (SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model)
SuperMimic escala el seguimiento general de movimientos de humanoides aprendiendo un único modelo del mundo diferenciable de la dinámica, compartido entre todos los movimientos y ajustado a partir de transiciones del simulador, y entrenando a través de él la política de seguimiento con gradientes de primer orden (al estilo SHAC) más un crítico, en un único bucle alternado. Liao muestra una demostración en vivo del modelo del mundo y del seguidor reaccionando a perturbaciones, y sostiene que amortizar un solo modelo entre movimientos mantiene estable el error del modelo a medida que crecen los datos. El seguidor general resultante se transfiere a un Unitree G1 real pese a haber sido entrenado en imaginación.
Conclusiones clave
Liao informa que entrenó un seguidor general en unas tres horas con una GPU, frente a más de 100 GPU durante una semana para SONIC, una reducción de aproximadamente mil veces en horas de GPU, aunque reconoce un conjunto de datos más pequeño y una GPU más rápida.
Los rollouts en imaginación son más de 10x más rápidos que la simulación, y los gradientes de primer orden a través del modelo requieren muchos menos pasos que PPO sobre el mismo modelo.
Con un entrenamiento más largo, el método alcanzó cero fallos de seguimiento en unos 100,000 movimientos.
El código se publicó como código abierto durante la charla; otros ya lo habían reimplementado y extendido a speed-runs, humanoides accionados por músculos y manipulación con recompensa dispersa sin referencias.
RoboNaldo: tiros de fútbol humanoides precisos, estables y potentes mediante aprendizaje por refuerzo con currículo guiado por movimiento (RoboNaldo: Accurate, Stable and Powerful Humanoid Soccer Shooting via Motion-Guided Curriculum Reinforcement Learning)
Hongyang Li · Archon Robotics / The University of Hong Kong
1The University of Hong Kong2Archon Robotics3The Chinese University of Hong Kong
RoboNaldo entrena una única política humanoide de bajo nivel para disparar a portería en fútbol mediante un currículo guiado por movimiento en tres etapas: primero sigue una referencia humana de un pateo, luego aprende a disparar con precisión mediante recompensas de tarea dispersas inicializando el balón cerca del golpe seguido, y finalmente unifica locomoción y disparo con una referencia adaptativa anclada hacia el balón y un planificador heurístico para el momento del pateo. Un LiDAR a bordo detecta un balón reflectante y una cámara en el pecho lee objetivos AprilTag en la portería; el sistema se probó en un Unitree G1 en campos interiores y exteriores.
Conclusiones clave
Inicializar el balón cerca del golpe seguido convierte la política de seguimiento en un buen punto de partida para PPO y resuelve el problema de exploración con recompensa dispersa.
Las tasas de contacto en el robot real superaron el 90%, con un 100% de éxito en la condición de pateo con balón estático, según lo informado en la charla.
La velocidad máxima del balón superó los 10 m/s, lo que el ponente estimó en aproximadamente el 60% del disparo de un jugador profesional.
La brecha de simulación a realidad (sim-to-real) sigue siendo la principal fuente de fallos, en especial la estabilidad después del pateo en campos exteriores.
mar 1:30 PM · Hilton Austin · Moderación: Neel Bhatt
3 charlas
Patrocinador
Construir robots de propósito general con Gemini (Building general purpose robots with Gemini)
Kanishka Rao · Google DeepMind
Rao plantea que el problema central de la robótica es combinar el razonamiento de propósito general con el control diestro de cuerpo completo, abordado tanto desde los modelos de frontera como desde los modelos robóticos. Repasa Gemini Robotics 2.0 (control de cuerpo completo del humanoide Apollo, manos diestras, colaboración entre varios robots) y anuncia Gemini Robotics 2.5, entrenado en más de 200 tareas, con mayor seguridad y un piloto de preparación de kits (kitting) en una línea de producción de Mercedes-Benz/Apptronik. También anuncia MuJoCo 4 y MuJoCo Playground 1.0, y describe el uso de modelos Gemini de frontera como agentes para construir simuladores a partir de registros reales, analizar rollouts e incluso enseñar a un humanoide a jugar cornhole.
Conclusiones clave
Entrenar en más de 200 tareas diestras elevó el éxito aproximadamente un 30-100% respecto al modelo anterior, y las tareas aprendidas previamente también mejoraron.
El piloto de kitting en la línea de producción alcanzó un 96% de éxito autónomo.
Los modelos de frontera ya están acelerando el desarrollo de modelos robóticos mediante ciclos real-simulación-real y análisis automatizado de fallos, y se usaron en la construcción de Gemini Robotics 2.5.
Rao predice que los modelos de frontera asumirán una parte mayor de la robótica y que el control robótico agéntico en lazo cerrado llegará a medida que estos modelos se vuelvan más rápidos.
Acciones y agentes para un comportamiento de horizonte verdaderamente largo (Actions and Agents for True Long-Horizon Behavior.)
Alberto Rodriguez · Boston Dynamics
Rodriguez informa sobre un despliegue temprano de Atlas en la planta de Hyundai en Savannah realizando secuenciación de piezas: tomar piezas de contenedores de proveedores, escanear códigos de barras con ambas manos, insertarlas en orden en las ranuras correctas y descartar piezas caídas o defectuosas. El sistema usa un 'job harness' en la nube construido en torno a un modelo de razonamiento Gemini ER ajustado (Sistema 2) que lee una descripción textual del trabajo y las asignaciones de la fábrica, y un único modelo de acción a bordo del robot en una NVIDIA Thor (Sistema 1), postentrenado con unas 400 horas de datos de teleoperación. Defiende un único modelo de acción frente a la descomposición en habilidades, y la calidad de los datos por encima de la escala.
Conclusiones clave
La finalización de extremo a extremo fue del 98.6% incluyendo intervenciones, con una tasa de intervención del 9.5%, aproximadamente una intervención cada 20 minutos.
El tiempo de ciclo es de unos dos minutos por tarea, aproximadamente un 50% más lento que el ritmo de una por minuto necesario para generar valor económico; Boston Dynamics prevé el primer turno de producción de 8 horas de Atlas en 2027.
Ningún VLM de frontera disponible comercialmente fue lo bastante confiable para verificar la finalización de tareas y guiar con precisión de ranura sin ajuste fino.
Rodriguez ve el RL a gran escala en simulación como una vía hacia datos de alta calidad, y muestra comportamientos diestros emergentes en políticas que solo usan RGB.
La plataforma de referencia para la IA física (The Reference Platform for Physical AI)
Sven Parusel · Franka Robotics / Agile Robots
Parusel describe el objetivo de Franka de ser la plataforma de referencia de hardware y software para la investigación en IA física, a partir del brazo Franka Research 3 de 7 grados de libertad con sensores de par y su Franka Control Interface de 1 kHz. Presenta el sistema de doble brazo FR3 Duo y un nuevo FR3 Duo móvil con base holonómica, junto con una gama de interfaces de teleoperación. También destaca el pipeline de datos que Franka publicó recientemente como código abierto, que abarca teleoperación, captura de sensores, etiquetado, entrenamiento e inferencia, y el artículo del benchmark DualBench.
Conclusiones clave
Más de 2,000 publicaciones en un solo año usaron robots Franka, y en CoRL 2024 más de la mitad de los artículos con un solo brazo los usaron.
La medición del par en las articulaciones y el acceso completo al modelo (jacobianos, matriz de masas) mediante una interfaz de alta frecuencia son las características a las que Parusel atribuye su uso en investigación con contacto intenso y en HRI.
Una configuración estandarizada de doble brazo con cámaras y pinzas fijas busca que los laboratorios puedan reproducir el trabajo de los demás y combinar datos sobre una corporeización común.
Franka publicó como código abierto su pipeline de recolección de datos y entrenamiento, e invita a contribuir con nuevos dispositivos de entrada y herramientas de etiquetado.
Spotlight S4 · Tacto, fuerza y manipulación rica en contacto
mar 2:00 PM · Hilton Austin · Moderación: Yunzhu Li
9 charlas
Spotlight
DeTac: desacoplamiento de doble rama de señales de textura y fuerza en sensores táctiles basados en visión (DeTac: Dual-branch Decoupling of Texture and Force Signals in Vision-Based Tactile Sensors)
Zhirui Zhang · Peking University / AI2 Robotics (no se nombró al presentador; se muestra el primer autor)
1Peking University2AI2 Robotics3Shanghai Jiao Tong University
DeTac es un marco generativo de doble rama que separa las imágenes de marcadores y el sombreado limpio a partir de una sola imagen de un sensor táctil basado en visión con marcadores, usando una rama de sombreado basada en difusión y una rama ligera de marcadores con pérdidas entre ramas, entrenado con datos reales emparejados.
Conclusiones clave
El desacoplamiento concurrente en dos ramas evita el dilema del tamaño de la máscara y la acumulación de errores de los pipelines en serie de enmascarar y luego rellenar (inpainting).
Eliminar la interferencia de los marcadores permitió que un clasificador de telas entrenado con datos sin marcadores clasificara correctamente imágenes de sensores con marcadores.
FingerEye: aprendizaje de manipulación diestra con sensado visotáctil continuo (FingerEye: Learning Dexterous Manipulation with Continuous Vision-Tactile Sensing)
Zhixuan Xu · National University of Singapore
Todos los autores
Zhixuan Xu1, YICHEN LI1,2, Wu Xuanye2,3, Qiu Tianyu2,4, Lin Shao1,2
1National University of Singapore2RoboScience3Huazhong University of Science and Technology4South China University of Technology
FingerEye es un sensor de yema de dedo con dos cámaras detrás de una placa transparente flexible que proporciona visión antes del contacto y señales táctiles después, combinado con una política que codifica cada grupo de observaciones por separado y los lee mediante atención por grupo.
Conclusiones clave
Las vistas binoculares desde la yema del dedo mejoraron el éxito en 10 puntos porcentuales frente a una sola cámara.
Los diagnósticos de atención mostraron que la fusión ingenua depende en exceso de señales globales fáciles, lo que motiva rutas separadas por modalidad.
DAVATaR: aprendizaje táctil aumentado visualmente y consciente de la profundidad a través de la interfaz aire-agua (DAVATaR: Depth-Aware Visually Augmented Tactile Learning Across the Air-Water Interface)
DAVATaR aborda la manipulación a través de la interfaz aire-agua con una pinza impermeable que transmite fluídicamente la presión de las yemas a la electrónica situada sobre el agua, combinada con la medición de la profundidad de inmersión y aumentos visuales para reflejos, oclusión y refracción en una política transformer multimodal.
Conclusiones clave
Añadir la medición de la profundidad de inmersión elevó el éxito del 25% al 61% en una tarea donde la visión por sí sola no podía recuperar el estado.
La percepción táctil por sí sola no basta cuando la visión está muy distorsionada, sobre todo ante variaciones del nivel del agua.
Tacto visible: renderizar el contacto para políticas visuomotoras (Visible Touch: Rendering Contact for Visuomotor Policies)
Metin Alp Dogan · UCLA (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Metin Alp Dogan1, Edward Sun1, Feng Xu1, Daniel Wu1, Allen Peng1, Dennis Hong1, Yuchen Cui1
1UCLA
Visible Touch representa las lecturas de un sensor táctil magnético de bajo costo como flechas superpuestas en las imágenes de la cámara, de modo que las políticas existentes basadas en imágenes y los VLA puedan ajustarse con información de contacto sin cambios de arquitectura.
Conclusiones clave
La superposición elevó a un MiniVLA preentrenado de aproximadamente el 51% al 79.8% de éxito promedio, con mayores mejoras en tareas de horizonte largo con múltiples agarres.
En tareas reales con pi-0.5, las superposiciones de múltiples flechas superaron a la alimentación de una vista separada de cámara táctil.
Desmitificando cuándo y por qué fallan los VLA en tareas ricas en contacto y cómo solucionarlo (Demystifying When and Why VLAs Fail in Contact-Rich Tasks and How to Fix Them)
Carlota Parés Morlans · Stanford University (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Carlota Parés Morlans1, Nils Kuhn1, Y. Isabel Liu1, Alberta Longhini1, Jeannette Bohg1
1Stanford University
Los autores atribuyen los fallos de los VLA en tareas con contacto intenso a fallos de precisión, causados porque el programa de ruido de flow matching subpondera las acciones pequeñas cercanas al contacto, y a fallos de fuerza; corrigen los primeros cambiando a un programa de ruido logit-normal y los segundos con una inyección de fuerza consciente del tiempo y activada por el contacto.
Conclusiones clave
Sustituir el programa beta por uno logit-normal en el postentrenamiento es una corrección directa, sin parámetros ni datos adicionales.
En 2,500 rollouts reales sobre cinco tareas, el método alcanzó un 66% de éxito, 25 puntos por encima de la mejor línea base.
Nunca es tarde para la fuerza: acelerar el postentrenamiento de VLA con inyección reactiva de fuerza (Never Too Late for Force: Accelerating VLA Post-Training with Reactive Force Injection)
Wendi Chen · Shanghai Jiao Tong University / Shanghai Innovation Institute
Todos los autores
Yi Wang1,2, Wendi Chen1,2, Zimo Wen1, Han Xue1, Xueqi Li2,3, Wenye Yu1,2, Zhijie Chen1, Hao Yang1, Jun Lv4, Chuan Wen1, Cewu Lu1,2,4
1Shanghai Jiao Tong University2Shanghai Innovation Institute3Southern University of Science and Technology4Noematrix Ltd.
LIFT añade percepción de fuerza a un VLA preentrenado durante el postentrenamiento injertando un experto de acción reactivo con memoria de fuerza que actualiza las acciones dentro de cada fragmento, inicializado para preservar el conocimiento preentrenado, con datos de fuerza recopilados mediante DAgger en línea.
Conclusiones clave
Se necesita el historial de fuerza, no solo la lectura actual, para distinguir una inserción en curso de una ya completada.
La inyección de fuerza tardía e inicializada en cero mantuvo la generalización visual del VLA a nuevos objetos, manteles e iluminación.
Control de impedancia con descomposición de restricciones a partir de una política generativa para la manipulación de objetos articulados (Constraint-Decomposed Impedance Control from Generative Policy for Articulated Object Manipulation)
Kyungseo Park · Seoul National University
Todos los autores
Kyungseo Park1, Byeongdo Lim1, Jungbin Lim1, Minseok Choi1, Frank C. Park1
1Seoul National University
Para objetos articulados, los autores muestrean varias trayectorias de una política generativa al cerrar el agarre, las convierten en twists del cuerpo y usan PCA para encontrar el subespacio de movimiento factible; luego fijan ganancias de impedancia altas a lo largo de él y bajas en el resto.
Conclusiones clave
La diversidad del muestreo de la política puede convertirse en compliancia por direcciones sin un modelo del objeto.
En un Franka real, el impulso de fuerza que viola las restricciones se redujo alrededor de un 72% y la fuerza máxima alrededor de un 70%.
TAM: módulo de adaptación de par para una transferencia de movimiento robusta en manipulación (TAM: Torque Adaptation Module for Robust Motion Transfer in Manipulation)
Dongwon Son · KAIST
Todos los autores
Dongwon Son1, Florian Shkurti2,3, Jason Lee2,4, Naman Shah2, Beomjoon Kim1, Dieter Fox2,4
1KAIST2Allen Institute for AI3University of Toronto4University of Washington
TAM es un módulo ligero entrenado completamente en simulación que corrige los comandos de par de bajo nivel a partir del historial reciente de movimiento, de modo que las políticas se transfieren a través de brechas de simulación a realidad, cargas útiles e instancias de robot, sin importar cómo producen sus acciones.
Conclusiones clave
Como todas las políticas comparten la interfaz de par, un solo adaptador mejoró el empuje de cajas, el equilibrio de una pelota con MPC, la clonación de comportamiento y el seguimiento con carga útil.
Una política de clonación de comportamiento entrenada solo en simulación pasó del 50% al 72% de éxito en el mundo real, casi igualando su tasa de éxito en simulación.
Combinar muestreo con restricciones y aprendizaje por refuerzo para la manipulación (Combining Constrained Sampling and Reinforcement Learning for Manipulation)
Marc Toussaint · Technical University Berlin / Robotics Institute Germany / Fraunhofer HHI
Todos los autores
Marc Toussaint1,2,3, Cornelius V. Braun1, Armand Jordana4, Sayantan Auddy1, Eckart Cobo-Briesewitz1, Denis Shcherba1,3, Tilman Burghoff1, Justin Carpentier5,6
1Technical University Berlin2Robotics Institute Germany3Fraunhofer HHI4LAAS-CNRS5Inria6PSL Research University
Toussaint propone trasladar el problema de exploración del RL al muestreo con restricciones: se muestrean estados físicamente factibles (contactos, conos de fricción, estabilidad estática) a partir de una variedad de restricciones derivada de primeros principios, y se usan como distribuciones de reinicio y currículos para políticas de manipulación condicionadas por objetivos.
Conclusiones clave
Los reinicios muestreados con restricciones permiten que el RL aprenda a reorientar un cubo en la mano con la mano boca abajo, donde los reinicios ingenuos se estancan por completo.
Los avances en Monte Carlo y en muestreo sobre variedades deberían trasladarse directamente a una mejor exploración en RL.
Spotlight S5 · Manipulación deformable, geometría y morfología
mar 2:30 PM · Hilton Austin · Moderación: Rudi Lioutikov
9 charlas
Spotlight
Aprendizaje de dinámicas residuales guiadas por la física para la simulación de objetos deformables (Learning Physics-Guided Residual Dynamics for Deformable Object Simulation)
Shivansh Patel · UIUC (no se nombró al presentador; se muestra el primer autor)
PGRD combina un simulador masa-resorte optimizable con una red aprendida que predice correcciones residuales, modelando objetos deformables como cuerdas y un plumero con un mango rígido y plumas blandas, y se usa con MPPI para reubicar cuerdas con objetivos generados a partir de lenguaje mediante un modelo de imágenes.
Conclusiones clave
El modelo híbrido mantuvo rígido el mango de un objeto heterogéneo mientras deformaba sus plumas, algo que las líneas base puramente masa-resorte y aprendidas no lograron.
Generar imágenes objetivo a partir de lenguaje natural elimina la necesidad de especificar a mano los objetivos de objetos deformables.
WireCraft es un benchmark basado en Isaac para la manipulación industrial de objetos lineales deformables, con tareas de inserción de conectores, enrutamiento por clips y asentamiento en canales, modelos de cable configurables, tipos de conectores y geometría aleatorizada.
Conclusiones clave
Las políticas con estado privilegiado insertan de forma confiable, pero las políticas de RL basado en visión, de imitación y VLA caen bruscamente, y la inserción con holguras estrechas sigue siendo un problema abierto.
Mezclar datos de simulación con demostraciones reales elevó el éxito de inserción real del 15% al 80%.
Manipulación robusta de tela mediante refinamiento en tiempo de inferencia con simulador en el bucle (Enabling Robust Cloth Manipulation via Inference-Time Simulator-in-the-Loop Refinement)
Xin Liu · National University of Singapore / Shanghai Jiao Tong University (no se nombró al presentador; se muestra el primer autor)
1National University of Singapore2Shanghai Jiao Tong University
Los autores usan el simulador de tela FLASH como modelo directo en tiempo de inferencia: una red de real a simulación recupera una malla de tela a partir de una sola imagen RGB, y MPPI refina el plan de una política destilada con 256 rollouts paralelos antes de cada acción ejecutada.
Conclusiones clave
El sistema completo dobló tela con éxito el 90% de las veces con un brazo y el 80% con dos brazos, frente a alrededor del 10-30% sin refinamiento.
La elección del simulador importó: FLASH tuvo éxito un 95-100% en comparaciones controladas, mientras que Isaac Sim y Newton se quedaron en el 60% o menos.
Robustez sin arrugas: simulación paralela y MPC robusto para manipulación deformable certificada (Robustness without Wrinkles: Parallel Simulation and Robust MPC for Certified Deformable Manipulation)
CORD-SLS combina un simulador diferenciable de objetos deformables paralelizado en GPU, con contacto suavizado, y un MPC robusto en tiempo real con realimentación de salida, usando predicción conforme para acotar el error de real a simulación, para la manipulación certificada de cuerdas y telas.
Conclusiones clave
El suavizado del contacto produce gradientes que además hacen que los gradientes analíticos de política converjan en menos pasos que PPO.
En hardware, los tubos robustos lograron cero colisiones con obstáculos pese a los errores de dinámica y de medición.
Codificación espacial invariante al ruido para políticas de manipulación 3D con profundidad corrupta (Noise-Invariant Spatial Encoding for 3D Manipulation Policies under Depth Corruption)
Zhiyuan Yang · A*STAR SIMTech / NTU (no se nombró al presentador; se muestra el primer autor)
NISE aprende características espaciales para políticas de manipulación 3D directamente a partir de profundidad ruidosa, usando supervisión entre vistas sobre qué geometría es consistente entre cámaras y una atención 3D marginalizada con gaussianas que resta peso a las posiciones de puntos inciertas.
Conclusiones clave
Con ruido de profundidad saturado, NISE superó a la línea base más fuerte por 33-40 puntos porcentuales en dos benchmarks de simulación.
Con objetos reales transparentes y reflectantes, aproximadamente duplicó los éxitos de la línea base, por ejemplo 16 frente a 6 de 30 en una tarea de verter con tubos de ensayo.
SERF: mapa de características espaciotemporal del entorno y del robot para manipulación móvil de horizonte largo (SERF: Spatiotemporal Environment and Robot Feature Map for Long-Horizon Mobile Manipulation)
Sunghwan Kim · UC San Diego
Todos los autores
Sunghwan Kim1, Byeonghyun Pak2, Kehan Long1, Yulun Tian3, Nikolay Atanasov1
1UC San Diego2Agency for Defense Development3University of Michigan
SERF condiciona una política VLA de manipulación móvil con un mapa espaciotemporal de puntos neuronales tanto del entorno como del cuerpo del robot, actualizado en línea mediante seguimiento rígido a nivel de objeto y cinemática directa, y tokenizado en múltiples marcos de referencia.
Conclusiones clave
En comparación con una política pi-0.5 solo con imágenes, la política condicionada por el mapa alcanzó los subobjetivos de forma más directa y completó más de ellos.
Un mapa 3D explícito le da a la política un mecanismo para acumular contexto del que carecen los modelos fundacionales basados solo en imágenes.
Grafos de escena 3D articulados para manipulación móvil en mundo abierto (Articulated 3D Scene Graphs for Open-World Mobile Manipulation)
Martin Büchner · University of Freiburg (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Martin Büchner1, Adrian Röfer1, Tim Engelbracht2, Tim Welschehold1, Zuria Bauer2, Hermann Blum2,3, Marc Pollefeys2, Abhinav Valada1
1University of Freiburg2ETH Zurich3University of Bonn
MoMa-SG construye grafos de escena 3D semántico-cinemáticos a partir de videos RGB-D de interacción: segmenta las interacciones, estima las articulaciones como twists a partir de puntos seguidos y las vincula con objetos de vocabulario abierto, incluidos los elementos descubiertos dentro de contenedores.
Conclusiones clave
Un único modelo de twist regularizado estima de forma robusta tanto articulaciones prismáticas como de revolución.
El grafo permitió tareas de horizonte largo en un Toyota HSR y en un cuadrúpedo, como abrir un refrigerador y sacar la leche a partir de una orden en lenguaje natural.
RAM: alcanzabilidad entre morfologías (RAM: Reachability Across Morphologies)
Tim Walter · Technical University of Munich
Todos los autores
Tim Walter1, Xinyu Chen2,3, Jonathan Külz1, Matthias Althoff1
1Technical University of Munich2German Electron Synchrotron3University of Hamburg
RAM es un modelo neuronal implícito condicionado por la morfología que predice si una pose es alcanzable, teniendo en cuenta las autocolisiones, entrenado con 30 mil millones de muestras sobre 30,000 morfologías.
Conclusiones clave
RAM alcanzó un 84% de exactitud balanceada en morfologías no vistas, superando a la IK aprendida por 15 puntos y ejecutándose más de 500x más rápido.
Al ser diferenciable, acelera la optimización de morfologías en más de un orden de magnitud con diseños comparables.
Dale forma a tu cuerpo: gradientes de valor para el diseño de robots con múltiples corporeizaciones (Shape Your Body: Value Gradients for Multi-Embodiment Robot Design)
Nico Bohlinger · TU Darmstadt
Todos los autores
Nico Bohlinger1, Jan Peters1,2,3,4
1TU Darmstadt2Robotics Institute Germany3DFKI4hessian.AI
Los autores entrenan una única política generalista de locomoción y un crítico sobre 50 robots con patas con una fuerte aleatorización de la corporeización; luego congelan el crítico y retropropagan a través de él para optimizar los parámetros de diseño.
Conclusiones clave
Entrenar una sola vez sustituye una nueva ejecución de RL de codiseño por cada diseño y permite optimizar miles de diseños en segundos.
Los diseños optimizados a menudo superan a los originales de los fabricantes, y los gradientes de valor muestran qué parámetros, como la configuración de los actuadores, limitan el rendimiento.
mar 3:30 PM · Hilton Austin · Moderación: Ani Majumdar
1 charla
Conferencia magistral
Aprendizaje en las fábricas (Learning in the factories)
Russ Tedrake · MIT / Walden Robotics
Tedrake, presentado por Ani Majumdar, describe cómo fundar Walden Robotics (una spin-out del Toyota Research Institute iniciada en enero de 2026) cambió su visión de la robótica, y sostiene que la tecnología está lista y que el siguiente obstáculo es convertir los robots de propósito general en productos. Relata el primer despliegue de Walden, la carga de árboles de levas en una planta de Toyota con estrictos requisitos de disponibilidad y seguridad, usando autonomía compartida al estilo HG-DAGGER con asistentes remotos y actualizaciones semanales del modelo por vía inalámbrica (OTA). Luego argumenta que los datos de despliegue en campo son los más valiosos, y presenta un experimento en el que los modelos preentrenados más fuertes recopilaron menos datos de intervención pero mejoraron más con ellos. Cierra con la monitorización de fallos en tiempo de ejecución para una supervisión de pocos a muchos, lecciones del Sistema de Producción Toyota (jidoka, detener la línea, los cinco porqués) y la fabricación de robots a escala con Toyota.
Conclusiones clave
El despliegue de árboles de levas de Walden nunca ha detenido la línea de producción, porque la asistencia remota humana sumada a la IA alcanza un éxito cercano al 100%.
Tras un entrenamiento reciente de un modelo grande, el tiempo medio entre intervenciones subió a unos 340 segundos, lo que según Tedrake podría permitir que tres asistentes remotos supervisen 50 robots.
En el ajuste fino con autonomía compartida sobre tareas nuevas, el modelo base más fuerte recibió la menor cantidad de datos de intervención (alrededor de 1.36 horas frente a unas 2 horas del más débil) pero fue el que más mejoró, por lo que los modelos base más fuertes hacen más valiosos los datos de despliegue.
La tasa de autonomía es una mejor métrica para modelos débiles y el tiempo medio entre intervenciones lo es para modelos fuertes, porque la naturaleza de las intervenciones cambia a medida que los modelos mejoran.
Entrenar solo con datos de intervención pasa por alto las causas raíz; Tedrake aboga por un análisis post mortem al estilo Toyota y una recopilación de datos dirigida tras los fallos.
Considera que el cuello de botella actual es fabricar robots a escala, no la IA, y lo aborda haciendo que los robots construyan robots y asociándose con Toyota para la producción en masa.
mar 4:30 PM · Hilton Austin · Moderación: Dhruv Shah
3 charlas
Patrocinador
Construir un humanoide autónomo para el hogar (Building an Autonomous Humanoid for the Home)
Jonathan Tompson · Meta Robotics Studio (Reality Labs)
Tompson, líder de modelado en Meta Robotics Studio, describe el objetivo del equipo: un humanoide doméstico que sea a la vez útil (tareas domésticas autónomas) y agradable (seguro, amigable, comunicativo), construido de forma integral desde los actuadores hasta los modelos de frontera. Sin mostrar hardware, esboza el enfoque de modelado: un modelo fundacional diestro generalista entrenado con datos humanos egocéntricos de las gafas Aria, datos al estilo UMI y algo de teleoperación robótica, refinado con DAGGER. Sostiene que los activos existentes de Meta (el SLAM y el seguimiento de manos de Quest, modelos de visión como SAM 3 y SAM 3D, un simulador basado en FEM, el modelo de frontera Muse y la experiencia en hardware de consumo) le dan una ventaja.
Conclusiones clave
Meta reutiliza directamente en su robot la infraestructura de SLAM y seguimiento de manos de los visores Quest.
Tompson tiene ahora la firme convicción de que la simulación, incluida la simulación FEM de telas, esponjas y contacto rígido fino, es esencial para la robótica general.
Los modelos de visión explícitos están ganando importancia como herramientas que los agentes invocan para el filtrado de datos, el control de calidad y la estimación de estado.
Meta está incorporando datos de robótica a su modelo de frontera y aplicando postentrenamiento con RL para mejorar la invocación agéntica de herramientas en tareas robóticas.
Escalar la inteligencia robótica: de la experiencia humana a robots que se automejoran (Scaling Robot Intelligence: From Human Experience to Self-Improving Robots)
Yongjian Shen · AGIBOT
Shen presenta el ecosistema de IA física de AGIBOT basado en el despliegue: más de 20,000 robots producidos en tres años, incluidos despliegues en una fábrica de tabletas y más de 100 robots en el metro de Guangzhou. Aborda el conjunto de datos abierto AgiBot World (más de 1 millón de trayectorias, con nuevas versiones anotadas para razonamiento); el último modelo de razonamiento-mundo-acción de AGIBOT, que combina razonamiento de tareas, predicción de estados futuros y generación de acciones, y se entrena con teleoperación y datos humanos egocéntricos; el aprendizaje por experiencia colectiva a nivel de flota con 96 robots; y Genie Master, que convierte la experiencia de despliegue en memoria reutilizable. Cierra con un benchmark de manipulación construido por la comunidad, que esa semana sumó cuatro nuevas categorías, y con la validación en el mundo real de recursos de simulación. Varios videos de demostración no se reprodujeron durante la charla.
Conclusiones clave
El aprendizaje por experiencia colectiva se ejecutó en 96 robots físicos a la vez, lo que AGIBOT considera la primera demostración a esta escala.
En un experimento de reabastecimiento de una tienda de conveniencia durante cinco días, Genie Master elevó el éxito del flujo de trabajo del 28.6% al 85.7%.
Los recursos de simulación del benchmark están ajustados para coincidir con el mundo real de modo que se puedan medir las brechas de simulación a realidad, y cuenta con unas 20 instituciones colaboradoras y más de 190 equipos que lo usan.
Construir modelos fundacionales para robótica en Tesla (Building Foundational Models for Robotics at Tesla)
Patrick Cho · Tesla
Cho explica cómo Tesla usa modelos del mundo aprendidos para construir políticas robustas, primero para el robotaxi Cybercab y luego para Optimus. Tesla usa los modelos del mundo para evaluar contrafactuales tras intervenciones de seguridad, evaluar nuevas políticas en lazo cerrado sobre escenarios recopilados y entrenar políticas. Esto último exige modelos causales, condicionados por acciones, consistentes entre múltiples cámaras, de baja latencia y físicamente precisos. Muestra escenarios poco frecuentes generados (ramas que caen, un elefante, conducir a través de un acuario) y rollouts de locomoción y manipulación de Optimus condicionados por acciones a nivel de articulación y comparados con la verdad de referencia.
Conclusiones clave
Usar un modelo del mundo para entrenar, y no solo para evaluar, eleva mucho la exigencia, porque las políticas explotarán cualquier imprecisión física.
Es necesario generar escenarios de cola no vistos porque las intervenciones del robotaxi se han vuelto demasiado escasas para hacer pruebas con ellas.
Para Optimus, modelar la física del propio robot requiere datos de la corporeización objetivo, lo que según Tesla motiva escalar la producción de Optimus.
Los modelos del mundo se entrenan desde cero internamente para que funcionen como generadores de video generales condicionados por las acciones reales del automóvil o del robot.
Spotlight S6 · Optimización, planificación agéntica y evaluación
mié 8:30 AM · Hilton Austin · Moderación: Negar Mehr
8 charlas
Spotlight
RoboKit: aceleración de la optimización diferenciable en paralelo para el aprendizaje robótico (RoboKit: Accelerating Parallel Differentiable Optimization for Robot Learning)
Jianglong Ye · UC San Diego
Todos los autores
Jianglong Ye1, Xuanbin Peng1, Conor Mc Gartoll1, Changwei Jing1, Lai Wei1, Jiali Chen1, Xueyan Zou1, Xiaolong Wang1
1UC San Diego
Los autores presentan RoboKit, una herramienta de optimización por lotes a nivel de kernel con jacobianos analíticos y múltiples optimizadores que abarca IK, planificación de movimiento, retargeting, agarre y MPC basado en simulación. También comparan la optimización con solucionadores aprendidos para mostrar dónde ayudan los métodos neuronales.
Conclusiones clave
RoboKit reporta una IK aproximadamente 10x más rápida que los marcos previos, retargeting físico 2x más rápido y calibración basada en renderizado 16x más rápida, resolviendo 2,000 problemas de IK en unos 70 ms.
Para problemas bien planteados como la IK y la planificación de movimiento, la optimización ya funciona bien y los métodos aprendidos solo la igualan.
El aprendizaje ayuda cuando la física importa (agarre entrenado en simulación), cuando las entradas son nubes de puntos parciales y cuando la velocidad es crítica (la planificación de movimiento aprendida es cientos de veces más rápida).
Incertidumbre lista para el control en la difusión de trayectorias (Control-Ready Uncertainty for Trajectory Diffusion)
Zhiwei Xue · NUS (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Zhiwei Xue1, Kam Jia Yue1, Jinhang Qiu1, Yifeng Cheng1, Ege Gursoy2, Jiaming Wang1, Vincent bonnet2, Harold Soh1
1NUS2LAAS-CNRS
Los autores presentan SCOPE, que lee la curvatura del score de un modelo de difusión para producir tubos de incertidumbre de trayectorias sin un costoso muestreo de Monte Carlo. Estos tubos se usan como prior de política para MPPI y como pronósticos del movimiento humano para una navegación y manipulación más seguras.
Conclusiones clave
Una curvatura pronunciada del score indica una distribución de trayectorias estrecha (tubo angosto) y un score plano indica una amplia, de modo que la incertidumbre puede provenir de un único módulo aprendido.
Usado como prior de política, SCOPE reduce las colisiones de MPPI en pasajes estrechos, y usado como pronóstico hace que el robot ceda el paso a los peatones.
En una tarea real de pick-and-place con una mano humana que irrumpe, combinar SCOPE como prior y como pronóstico permitió que el robot retrocediera a tiempo y terminara la tarea.
Control emergente mediante minimización de energía libre basada en priors (Emergent Control via Prior-Based Free Energy Minimization)
Manish Kolachalam (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Manish Kolachalam, Rani Malhotra
Los autores plantean el control como la minimización de la desviación cuadrática respecto de estados previos (preferidos), siguiendo el principio de energía libre, y evalúan variantes basadas en modelos (Mountain Car, autopista, alcance de objetivo) y sin modelo (Walker) frente a agentes basados en recompensas.
Conclusiones clave
El objetivo de energía libre alcanza un comportamiento de conducción comparable al de PPO y una mejor estabilidad de horizonte largo en Walker que SAC, aunque con menor recompensa.
A diferencia del moldeado de recompensas, es agnóstico a la estructura de la tarea y tuvo éxito en una tarea de Mountain Car invertida donde las recompensas sin moldear o mal moldeadas fallaron.
Produce un paisaje de optimización más denso y mayor robustez al ruido que el RL sin moldeado en Mountain Car y alcance de objetivo, pero no en Walker.
GaP: un entorno multiagente de autoaprendizaje con grafo como política para tareas de automatización variacionales (GaP: A Graph-as-Policy Multi-Agent Self-Learning Harness For Variational Automation Tasks)
Shuangyu Xie · UC Berkeley
Todos los autores
Kaiyuan Chen1, Shuangyu Xie1, Letian Fu1, Justin Yu1, William Pacini1, Sandeep Bajamahal1, Hudson Kim1, Jaimyn Drake1, Daehwa Kim1, Haoru Xue1, Jonathan Francis2, Christian Juette2, Peter Schaldenbrand2, Muhammet Yunus Seker2, Ruwan Wickramarachchi2, Uksang Yoo1, Guanzhi Wang3, Adithyavairavan Murali3, Balakumar Sundaralingam3, S. Shankar Sastry1, Yuke Zhu3, Linxi Fan3, Spencer Huang3, Ken Goldberg1
1UC Berkeley2Bosch3NVIDIA
GaP estructura los programas de robots como grafos de cómputo cuyos subgrafos son escritos, probados y reparados por agentes de programación, orientado a tareas de automatización con variaciones. El harness de agentes aprende por sí mismo en simulación y puede construir entornos de real a simulación a partir de video de un teléfono.
Conclusiones clave
Estructurar el código como un grafo mantiene interpretables las políticas escritas por agentes y permite ejecutarlas en el robot sin los agentes en el ciclo.
El autoaprendizaje en simulación produjo estrategias compuestas, como inspeccionar, seleccionar, voltear y verificar objetos usando solo pinzas de mordazas paralelas.
Cuando la física de la simulación no coincidía con la realidad, GaP usó video del mundo real para actualizar tanto la simulación como el grafo (por ejemplo, usar la pinza izquierda para estabilizar una barra).
Los autores dejan que un equipo de agentes de programación corporeizados practique mediante juego autodirigido en simulación: proponen tareas aprendibles, escriben y depuran código de control, y guardan las rutinas exitosas en una biblioteca de habilidades congelada para tareas posteriores especificadas externamente.
Conclusiones clave
El juego mejoró el éxito en tareas reservadas de LIBERO-Pro en 20.6 puntos porcentuales frente a un agente de código sin juego, y en 17 puntos en un segundo benchmark.
La biblioteca derivada del juego se transfirió a otro agente, aportando 8.9 puntos en un benchmark distinto.
Las habilidades aprendidas jugando en simulación, como funciones auxiliares de selección de agarre y de dirección de tracción, se combinaron en tareas con el robot real, como intercambiar dos cubos, sin ningún juego ni ajuste fino en el mundo real.
Meta-Ctrl: generación garantizada de planes mediante el desacoplamiento de restricciones sintácticas y semánticas (Meta-Ctrl: Guaranteed Plan Generation by Decoupling Syntactic and Semantic Constraints)
Gwen Yidou-Weng, Edward Sun · UCLA
Todos los autores
Gwen Yidou-Weng1, Edward Sun1, Tianyi Ma2, Metin Alp Dogan1, Benjie Wang1, Allen Peng1, Guy Van den Broeck1, Yuchen Cui1
1UCLA2Michigan State University
Meta-Ctrl es un método de decodificación con restricciones que garantiza que los planes robóticos generados por LLM cumplan reglas sobre el plan completo, tanto precondiciones como alcanzabilidad del objetivo. Calcula, en una sola pasada hacia atrás, la probabilidad de que un plan parcial todavía pueda alcanzar el objetivo, y sigue el estado del mundo por cada meta token a nivel de acción, mientras verifica la sintaxis por separado.
Conclusiones clave
Las máscaras por paso detectan acciones ilegales pero no pueden impedir planes que se estancan o nunca alcanzan el objetivo, por lo que se necesita anticipar hasta el objetivo.
Tratar cada acción como un meta token y desacoplar la sintaxis del estado del mundo evita una explosión de estados (unos 350 millones de estados y más de 100 TB en los enfoques a nivel de token).
En VirtualHome, Llama 3B pasó del 20% al 90% de éxito, y los planes en el robot real fueron válidos 20/20 veces frente a unas 2 del modelo sin guía.
Aprendizaje activo bayesiano para la desambiguación de intenciones en la planificación robótica interactiva (Bayesian Active Learning for Intent Disambiguation in Interactive Robot Planning)
Huao Li · MIT
Todos los autores
Huao Li1, Carson Sobolewski1, Augustinos D Saravanos1, Yew Teck Tan2, John Karigiannis2, Chuchu Fan1
1MIT2GE Vernova
Los autores usan lógica temporal (STL) como representación compartida que vincula la aclaración de intenciones y la planificación. Mantienen una creencia bayesiana sobre las especificaciones de tareas, eligen preguntas de aclaración informativas mediante aprendizaje activo y luego pasan la STL inferida a un planificador formal.
Conclusiones clave
Dejar que un LLM conduzca la aclaración por sí solo produce preguntas superficiales que pueden pasar por alto el contexto del entorno.
Muestrear de un espacio latente aprendido de especificaciones de tareas ayuda a explorar intenciones que el LLM podría pasar por alto.
En un escenario de inspección de una fábrica con un cuadrúpedo, el marco elevó el éxito de la tarea haciendo menos preguntas.
ATOM-Bench: un benchmark del mundo real para habilidades atómicas y generalización composicional en políticas de manipulación (ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies)
Zenan Wu · BAAI / Peking University (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Zenan Wu1,2, Bingqing Wei1,2, Lu Liu1, Zheqi He1, Wang Xi1, liujiakang1, lizehui1,2, Guocai Yao1, Jing-Shu Zheng1, Xi Yang1, Yongtao Wang2
1BAAI2Peking University
ATOM-Bench es un benchmark del mundo real que ajusta las políticas solo con habilidades atómicas motoras y de instrucción, y luego evalúa si pueden recombinar esas habilidades en tareas composicionales reservadas. Reporta finalización de tareas, progreso parcial, competencia atómica y puntuaciones de diagnóstico.
Conclusiones clave
El benchmark define seis tipos de átomos motores y siete tipos de átomos de instrucción en Franka y una segunda plataforma robótica.
En cinco políticas, el anclaje simple de instrucciones es lo más fácil, mientras que el control motor preciso, el conteo y la generalización composicional siguen siendo difíciles.
Las políticas que tienen éxito en cada átomo individual aún pueden fallar cuando los átomos deben combinarse en una sola tarea.
Spotlight S7 · Locomoción de humanoides y control de cuerpo completo
mié 9:00 AM · Hilton Austin · Moderación: Roberto Martín-Martín
9 charlas
Spotlight
Kamino: simulación basada en GPU de física multicuerpo rígida con lazos cinemáticos (Kamino: GPU-based Simulation of Rigid Multi-Body Physics with Kinematic Loops)
Vassilios Tsounis · Disney Research
Todos los autores
Vassilios Tsounis1, Guirec Maloisel1, Christian Schumacher1, Ruben Grandia1, Agon Serifi1, David Müller1, Chris Amevor2, Tobias Widmer2, Moritz Bächer1
1Disney Research2NVIDIA
Kamino es un solucionador físico basado en GPU dentro del marco Newton de NVIDIA para la simulación masivamente paralela de sistemas rígidos multicuerpo con lazos cinemáticos. Está motivado por las complejas figuras audio-animatrónicas de Disney; durante la charla, las diapositivas y el video del presentador se desincronizaron.
Conclusiones clave
Kamino usa una formulación restringida en coordenadas maximales que maneja lazos cinemáticos, acoplamiento multicontacto y grandes razones de masa, manteniéndose estable con pasos de tiempo grandes.
Simula miles de mundos heterogéneos a la vez, de modo que una sola política de RL puede controlar variantes de hormiga con distinto número de extremidades.
Newton incluye un bípedo de demostración público con seis lazos cinemáticos, y Kamino se validó frente a XPBD y MJWarp en problemas de juguete analíticos.
PHUMA es un conjunto de datos de locomoción humanoide de 73 horas construido a partir de captura de movimiento y video de internet. Los movimientos físicamente inválidos se filtran, y el resto se reasigna (retargeting) a G1 y H1 con regularización consciente de la física.
Conclusiones clave
Los autores sostienen que la fiabilidad física importa tanto como el tamaño del conjunto de datos: tanto los conjuntos pequeños y limpios (LAFAN) como los grandes y ruidosos (Humanoid-X) se quedan atrás.
El retargeting penaliza las violaciones de límites articulares, la flotación, la penetración y el deslizamiento de los pies.
Los seguidores entrenados con PHUMA tuvieron el mayor éxito en movimientos no vistos, se transfirieron zero-shot al hardware y mejoraron a medida que se añadieron más datos de video.
1Amazon FAR2USC3UC Berkeley4Stanford University5Carnegie Mellon University
LadderMan permite que un humanoide suba escaleras de mano diversas con percepción y que manipule mientras está en la escalera. Las políticas expertas, entrenadas con seguimiento de movimiento híbrido a partir de un único movimiento de referencia, se destilan en una sola política visuomotora basada en profundidad.
Conclusiones clave
Un seguimiento relajado del tren superior con recompensas de contacto y de sujeción centradas en la escalera elimina la necesidad de grandes conjuntos de datos de movimiento.
Un modelo fundacional de profundidad reduce la brecha de profundidad de simulación a realidad sin una fuerte aleatorización de la profundidad ni ajuste manual.
Una configuración de dos agentes separa la estabilización del tren inferior de la manipulación con el tren superior, lo que permite tareas como cambiar bombillas y entregar cajas sobre la escalera.
TactileStep: aprendizaje táctil en la planta para regular la interacción pie-terreno en la locomoción humanoide (TactileStep: Sole Tactile Learning for Regulating Foot--Terrain Interaction in Humanoid Locomotion)
Zizhuo Wang · Tsinghua University (no se nombró al presentador; se muestra el primer autor)
TactileStep añade sensado de presión plantar a la locomoción humanoide. Comprime las lecturas de la plantilla en fuerza normal, área de contacto y centro de presión, y usa recompensas específicas por fase que regulan el apoyo inicial, los picos de aterrizaje y el soporte durante la fase de apoyo en un Unitree G1.
Conclusiones clave
Las tres características táctiles compactas son independientes de la disposición de los sensores, por lo que las mismas características funcionan en simulación y en hardware.
En comparación con una línea base, TactileStep aterriza de forma más suave y silenciosa y mantiene más superficie de la planta en contacto durante el apoyo, en especial en escaleras.
Una variante entrenada con las mismas recompensas pero sin entrada táctil perdió gran parte del beneficio, por lo que el sensado en sí importa.
OpenHLM: una receta empírica para la locomanipulación humanoide de cuerpo completo (OpenHLM: An Empirical Recipe for Whole-Body Humanoid Loco-Manipulation)
OpenHLM es un estudio empírico sobre qué hace funcionar un VLA humanoide de cuerpo completo. Abarca la interfaz de teleoperación, el diseño del VLA y fuentes de datos más baratas, usando una política de alto nivel inicializada a partir de pi-0 y el seguidor de bajo nivel SONIC.
Conclusiones clave
La teleoperación de cuerpo completo permite usar los pies, y el retargeting en el espacio articular alcanzó un 88% de progreso promedio en las tareas frente a un 75% con objetivos basados en SMPL.
Usar objetivos de acción relativos y eliminar a la vez la percepción del estado corporal provocó fallos catastróficos.
Añadir teleoperación estacionaria y datos humanos (al estilo UMI) elevó el progreso con objetos e instrucciones nuevos del 36% al 84%, y la receta completa alcanzó un 87.5% en una tarea de frutas de horizonte largo con menos de la mitad del tiempo de demostración.
Aprendizaje de locomanipulación a partir de demostraciones SMPC con RL disperso de offline a online (Learning Loco-Manipulation From SMPC Demonstrations With Sparse Offline-to-Online RL)
Martin Schuck · RAI Institute / TU Munich
Todos los autores
Martin Schuck1,2, Maks Sorokin1, Simone Manni1,3, Duy Ta1, Angela P. Schoellig2, Marco Hutter1,3, Simon Le Cleac'h1, Jan Brüdigam1
1RAI Institute2TU Munich3ETH Zurich
Los autores escalan el MPC basado en muestreo en GPU dentro de la simulación para generar un gran conjunto de datos offline de demostraciones de loco-manipulación. Luego entrenan con recompensas dispersas mediante RL de offline a online (FastTD3), evitando el moldeado manual de recompensas densas.
Conclusiones clave
El MPC basado en muestreo no requiere entrenamiento y puede iterarse hasta lograr un buen comportamiento en minutos en simulación, lo que lo convierte en un experto barato.
Las políticas entrenadas solo con recompensas dispersas se transfirieron zero-shot a Spot con brazo, incluyendo empujar cajas y rodar neumáticos.
El mismo pipeline también funcionó en un Unitree G1, lo que muestra su aplicabilidad entre corporeizaciones.
CMP: seguimiento robusto de cuerpo completo para locomanipulación mediante proyección sobre la variedad de competencia (CMP: Robust Whole-Body Tracking for Loco-Manipulation via Competence Manifold Projection)
Ziyang Cheng · Tsinghua University (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Ziyang Cheng1, Haoyu Wei1, Hang Yin1, Xiuwei Xu1, Bingyao Yu1, Jie Zhou1, Jiwen Lu1
1Tsinghua University
Competence Manifold Projection hace que los seguidores de cuerpo completo sean robustos ante comandos infactibles o fuera de distribución, proyectándolos sobre acciones que la política realmente domina. Reduce el MDP a una prueba de seguridad de un solo paso, usa una estimación de competencia al estilo GAE y corrige en un espacio latente isomorfo con una única verificación de norma.
Conclusiones clave
En lugar de fallar catastróficamente, el robot hace lo mejor que puede; por ejemplo, convierte un paso hacia arriba en un paso hacia adelante cuando no hay caja, o se pone en cuclillas cuando se le ordena sentarse sin silla.
La supervivencia en el mundo real ante comandos OOD subió del 0% al 87%, con un aumento insignificante de la latencia o del error de seguimiento.
La seguridad no sacrifica la agilidad dentro de la distribución, que sigue abarcando sostener el efector final como un gimbal y atrapar objetos en el aire.
ResSafe: aprendizaje de filtrado de seguridad con aprendizaje por refuerzo residual para humanoides (ResSafe: Learning Safety Filtering with Residual Reinforcement Learning for Humanoids)
Gechen Qu · UC Berkeley
Todos los autores
Gechen Qu1, Tong Zhang1, Bike Zhang1, Yen-Jen Wang1, Koushil Sreenath1, Claire Tomlin1, Jason Jangho Choi2
1UC Berkeley2UCLA
ResSafe congela una política humanoide orientada solo al rendimiento y entrena una política residual de RL que añade correcciones de seguridad. La recompensa es simplemente +1 por cada paso en que el robot sigue en pie, con una pequeña penalización sobre la corrección.
Conclusiones clave
Desacoplar la seguridad del rendimiento dio un mejor compromiso que entrenar una sola política con ambos objetivos.
En cart-pole, el residual aprendido coincidió de cerca con un filtro de seguridad mínimo obtenido a partir de hiperplanos discriminantes, con un margen ligeramente mayor.
En un G1 con cargas útiles aleatorias, ResSafe se cayó con mucha menos frecuencia que las líneas base y generalizó a políticas de referencia no vistas.
Navegación humanoide en entornos desordenados con un modelo visión-lenguaje-acción de cuerpo completo (Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model)
1UC Berkeley2Peking University3NVIDIA4Tsinghua University5The University of Hong Kong6Princeton University
Los autores presentan un VLA de cuerpo completo con tres sistemas para la navegación humanoide en escenas interiores desordenadas. Un modelo fundacional de navegación, un experto de acción basado en un transformer de difusión con fragmentación en tiempo real (real-time chunking) y un seguidor de bajo nivel entrenado con RL se entrenan con más de 64,000 trayectorias simuladas con lenguaje.
Conclusiones clave
Los espacios de acción planos en 2D limitan la navegación entre obstáculos 3D, que requiere coordinar brazos, torso y marcha.
Los datos de entrenamiento provienen exclusivamente de simulación, usando campos de potencial para la evasión con el tren superior y retargeting de pisadas para el tren inferior.
El modelo reporta resultados de estado del arte en benchmarks de navegación 2D y 3D y funciona en un Unitree G1 real con inferencia remota.
Spotlight S8 · Percepción, navegación y sistemas autónomos
mié 9:30 AM · Hilton Austin · Moderación: Hang Zhao
9 charlas
Spotlight
VisionSIM: más allá de los sensores idealizados — un simulador multimodal para la percepción robótica (VisionSIM: Beyond Idealized Sensors — A Multi-Modal Simulator for Robot Perception)
1UW–Madison2Portland State University3Carnegie Mellon University
VisionSIM es un simulador multisensor con fundamento físico que trata el realismo de los sensores como una prioridad de primer orden. Modela cámaras y sensores de eventos, SPAD, tiempo de vuelo y térmicos, con mediciones en bruto y parámetros configurables.
Conclusiones clave
Los simuladores existentes cubren pocas modalidades con alta fidelidad o muchas modalidades con modelos idealizados, y VisionSIM busca empujar esa frontera de compromiso.
Modos de fallo como la corrupción por luz ambiental, el desenfoque, el enrollamiento de fase en ToF y los efectos térmicos dependientes del historial surgen de forma natural de la física de los sensores.
Los autores publican un gran conjunto de datos multimodal sincronizado de interiores con anotaciones de verdad de referencia.
MosaicIMU: composición de expertos por portador para odometría inercial neuronal generalizable (MosaicIMU: Composing Carrier Experts for Generalizable Neural Inertial Odometry)
Junye Zou · Tsinghua University (no se nombró al presentador; se muestra el primer autor)
1Tsinghua University2Xi'an Jiaotong University3Beijing University of Chemical Technology4Beijing Information Science and Technology University5Beijing Institute of Technology
MosaicIMU es una mezcla de expertos condicionada por el portador para odometría inercial neuronal en plataformas heterogéneas. Fusiona las velocidades predichas con un EKF consciente del historial y ofrece dos modos de adaptación: una rama residual ligera para la adaptación offline y una selección de muestras basada en el enrutador para la adaptación online.
Conclusiones clave
Las cabezas fijas por portador tratan la identidad del portador de forma rígida, mientras que componer características de expertos por muestra se transfiere mejor.
MosaicIMU preentrenado redujo el ATE y el RTE promedio en un 40% y un 34% entre portadores.
En adaptación online en un vehículo de campus con una Jetson Orin, el error de trayectoria bajó de 42.60 m a 7.60 m.
Anchor3R: reconstrucción 3D en streaming con anclas transitorias para el mapeo visual de horizonte largo (Anchor3R: Streaming 3D Reconstruction with Transient Anchors for Long-Horizon Visual Mapping)
Peilin Tao · Institute of Automation, Chinese Academy of Sciences / University of Chinese Academy of Sciences / Horizon Robotics
1Institute of Automation, Chinese Academy of Sciences2University of Chinese Academy of Sciences3Horizon Robotics4HKUST (Guangzhou)
Anchor3R realiza reconstrucción 3D en streaming de horizonte largo tratando el fotograma actual como un ancla transitoria en lugar de una referencia fija. Predice poses relativas dentro de una ventana acotada y combina el promediado de movimiento en línea con el cierre de bucles.
Conclusiones clave
Entrenado solo con clips de 48 fotogramas, reconstruye recorridos de unas 12,000 imágenes y casi 3 km.
Reconstruir las consultas de pose cuando el ancla se mueve impide que se propaguen supuestos de coordenadas obsoletos y mantiene la coherencia entre entrenamiento e inferencia.
Una ventana de tamaño fijo mantiene acotada la memoria de la GPU, sin necesidad de reiniciar por fragmentos ni de alinear entre fragmentos.
SidewalkBench es un benchmark simulado en GPU para la navegación visual solo con cámara en aceras urbanas. Combina escenas procedurales y escaneadas del mundo real con comportamientos de peatones activados por eventos, y evalúa escenarios de pruebas unitarias, de reacción a peatones y de horizonte largo.
Conclusiones clave
Entre nueve modelos evaluados, los entrenados con datos de aceras superan con creces a los modelos de navegación generales, y más datos ayudan aún más.
La interacción con peatones, como los cruces peatonales y los gestos de alto, es una debilidad importante de casi todos los modelos.
Incluso el mejor modelo promedia 0.68 fallos por cada 100 m en recorridos de horizonte largo.
De la llegada a la región a la fundamentación a nivel de instancia en la navegación visión-lenguaje (From Region Arrival to Instance-Level Grounding in Vision-and-Language Navigation)
Xiangyu Shi · Adelaide University (no se nombró al presentador; se muestra el primer autor)
Los autores identifican una 'brecha de anclaje en los últimos 3 metros' en la navegación con visión y lenguaje, donde los agentes cuentan como exitosos dentro del radio pero no están orientados hacia el objetivo ni lo ven. Proponen métricas a nivel de instancia, un nuevo conjunto de datos y REALM, un módulo de refinamiento plug-and-play.
Conclusiones clave
El éxito real debería exigir detenerse cerca del objeto objetivo, orientado hacia él y viéndolo.
REALM usa solo RGB egocéntrico y la instrucción, con una detención consciente de la visibilidad, y ancla el objetivo con OWLv2, sin requerir cambios en el backbone.
Se demostró en un robot real después de UniNaVid y en un Unitree G1 para tareas de navegar y agarrar.
OSCAR: curvas de supervivencia ante obstáculos para la navegación robótica adaptativa (OSCAR: Obstacle Survival Curves for Adaptive Robot Navigation)
Hshmat Sahak · University of Toronto (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Hshmat Sahak1, Aoran Jiao1, Nicholas Rhinehart1, Timothy Barfoot1
1University of Toronto
OSCAR aprende funciones de supervivencia específicas por clase sobre cuánto tiempo persisten los obstáculos en una red de rutas. Las usa para fijar un umbral de paciencia en cada encuentro y decidir si esperar o cambiar de ruta, con un VLM que clasifica cada obstáculo.
Conclusiones clave
Las reglas fijas como esperar siempre, cambiar de ruta siempre o esperar solo a las personas desperdician tiempo porque ignoran cuánto duran realmente los obstáculos en un entorno dado.
Cambiar de ruta produce observaciones censuradas por la derecha, que los modelos de supervivencia manejan de forma natural.
En simulación, OSCAR mejora con la experiencia, se aproxima a un oráculo con las funciones de supervivencia reales y supera a las líneas base heurísticas.
TRIAD Planner: aprendizaje por imitación robusto de tres niveles para la conducción autónoma (TRIAD Planner : Three-Level Robust Imitation Learning for Autonomous Driving)
Jiyun Kim · KAIST
Todos los autores
Jiyun Kim1, Ahmad Mouri Zadeh Khaki1, Kyunghwan Choi1
1KAIST
TRIAD aborda el cambio de distribución en planificadores de conducción basados en Transformer en tres niveles: limita la atención excesiva al estado del vehículo propio (ego), añade una guía offline de prioridad de agentes derivada de un VLM y usa una ponderación del riesgo de cola basada en CVaR durante la selección de trayectorias.
Conclusiones clave
Los planificadores entrenados por imitación pueden tomar atajos con las características del estado del ego, por ejemplo acelerando cuando el experto se detuvo por un peatón.
Los pesos de prioridad del VLM, usados solo en el entrenamiento, dirigen la atención hacia agentes relevantes, como peatones que cruzan.
El rendimiento en lazo cerrado en nuPlan mejora sin añadir tiempo de inferencia.
Planificación colaborativa para equipos UAV-UGV con restricciones operativas mediante difusión neurosimbólica enmascarada con error acotado (Collaborative Planning for UAV-UGV Teams under Operational Constraints via Masked Error-bounded Neuro-Symbolic Diffusion)
Zihao Deng · UMass Amherst (no se nombró al presentador; se muestra el primer autor)
Todos los autores
Zihao Deng1, Qianhuang Li1, Maggie Wigness2, John G. Rogers III2, Donghyun Kim1, Hao Zhang1
1UMass Amherst2DEVCOM Army Research Laboratory
Los autores planifican acciones conjuntas para equipos UAV-UGV, en los que los UGV sirven como estaciones de recarga móviles, usando un modelo de difusión neurosimbólico enmascarado. Una admisibilidad inducida por lógica impone restricciones de energía, transitabilidad y recarga durante el muestreo.
Conclusiones clave
Las reglas de lógica de primer orden sobre un contexto de grafo heterogéneo permiten imponer restricciones operativas estrictas dentro del muestreo de difusión.
La planificación de la inferencia con error acotado elige la siguiente posición a desenmascarar minimizando la entropía predictiva, lo que mejora la optimalidad del plan.
El enfoque se validó en una simulación urbana en ROS y en una configuración de realidad mixta con UAV Crazyflie y UGV LIMO.
SCoCaT: aprendizaje por refuerzo con restricciones condicionado al éxito para el acoplamiento de naves espaciales (SCoCaT: Success Conditioned Constrained Reinforcement Learning for Spacecraft Docking)
Aman Arora · University of Luxembourg
Todos los autores
Aman Arora1, Ricard M Castan1, Matteo El-Hariry1, Miguel Olivares-Mendez1
1University of Luxembourg
SCoCaT corrige un modo de fallo del RL con restricciones basado en terminación (CaT) en tareas de alcance de objetivos como el acoplamiento de naves espaciales, donde los agentes se quedan suspendidos cerca del objetivo para evitar violaciones. Añade un crítico de éxito cuyo retorno hace bootstrap sobre las terminaciones tempranas.
Conclusiones clave
Los autores derivan un factor kappa que explica cómo las terminaciones estocásticas reducen el valor cerca del objetivo y provocan el comportamiento de suspensión.
Sumar las ventajas del crítico de éxito y del flujo CaT amortiguado dentro de PPO restablece el alcance del objetivo sin violaciones de restricciones.
El método multiplicó por 250 la finalización de tareas en una plataforma flotante y se transfirió zero-shot a un banco de pruebas real equipado con propulsores.
mié 3:00 PM · Bass Hall · Moderación: Yuke Zhu & Peter Stone
1 charla
Conferencia magistral
Atlas: un modelo del mundo unificado para generación y reconstrucción (Atlas: A Unified World Model for Generation and Reconstruction)
Fei-Fei Li · Stanford University / World Labs
Tras una presentación de su exalumno de doctorado Yuke Zhu, Fei-Fei Li sostiene que las necesidades centrales de la robótica (representar el mundo, predecir las consecuencias de las acciones y simular datos) se corresponden con problemas de modelado del mundo. Presenta Atlas, de World Labs, un transformer de difusión autorregresivo multimodal entrenado desde cero que recibe texto, imágenes, video, profundidad o entradas gray-box y produce fotogramas condicionados por la cámara. Atlas abarca en un solo modelo la reconstrucción densa, la reconstrucción dispersa a partir de pocas vistas y la generación pura, ilustrado con la reconstrucción del Main Quad de Stanford a partir de 2, 8 y 33 fotos tomadas a nivel del suelo. Muestra sólidos resultados de terceros en generación con control de cámara, resultados de reconstrucción de profundidad y de Gaussian splats, una versión destilada en tiempo real a 15 fps y primeros usos de simulación a realidad en robots. Un estreno previsto de un video promocional falló por problemas audiovisuales, lo que provocó una larga pausa cerca del final.
Conclusiones clave
Li describe la idea central de Atlas como 'viewpoint is all you need': predecir el siguiente punto de vista con un fuerte condicionamiento de cámara, de forma análoga a la predicción del siguiente token.
Un solo modelo cubre todo el rango, desde la reconstrucción densa, pasando por la reconstrucción dispersa, hasta la generación solo a partir de texto.
En un benchmark de terceros con alrededor de medio millón de juicios humanos, Atlas quedó en primer lugar en generación con control de cámara por un margen claro.
Atlas superó a modelos especializados en predicción de profundidad en siete conjuntos de datos y fue competitivo en el error de reconstrucción con Gaussian splats.
Una versión destilada en tiempo real funciona a 15 fps, y World Labs está probando mundos de Atlas para entrenar robots de navegación y manipulación con despliegue real zero-shot.
Grabación de la tarde del día 3 · 27 min · se reproduce en YouTube
Charla informal
mié 3:00 PM · Bass Hall · Moderación: Yuke Zhu & Peter Stone
1 charla
Charla informal
Charla informal: Fei-Fei Li y Lisa Su (Fireside Chat: Fei-Fei Li & Lisa Su)
Fei-Fei Li (Stanford University / World Labs), Lisa Su (AMD), Peter Stone (UT Austin / Sony AI; moderator)
Peter Stone modera una conversación entre Lisa Su (presidenta del consejo y CEO de AMD) y Fei-Fei Li, enmarcada en la adquisición en curso de World Labs por parte de AMD y el próximo cargo de Li como científica jefa de AMD. Su describe la IA física y la robótica como una oportunidad de cientos de miles de millones de dólares que requiere codiseño de hardware y software y cómputo a todas las escalas, desde la nube hasta el borde (edge). Li sostiene que la IA es cómputo y califica la falta de recursos para el sector público como una de las mayores omisiones de este momento, y Su compromete a AMD a dedicar cómputo a la investigación académica. Al responder preguntas del público, hablan de si AMD tendrá un equipo de robótica, de si un doctorado sigue valiendo la pena, de la IA energéticamente eficiente frente a los 20 vatios del cerebro y de consejos para estudiantes.
Conclusiones clave
Su no espera que un solo modelo gane en todas las aplicaciones: los LLM de frontera se complementarán con modelos especializados más baratos, más eficientes energéticamente y de menor latencia.
Li cree que la robótica llevará el cómputo a su siguiente nivel, tanto para el entrenamiento como en el borde (edge).
Li pide cómputo para el sector público (citando la iniciativa NAIRR) como algo esencial para la investigación exploratoria, la formación de la fuerza laboral y la evaluación independiente de la IA.
Su afirma que AMD ya cuenta con un esfuerzo de investigación en robótica e IA física y planea invertir bastante más bajo la dirección de Li.
Ambas describen el doctorado como algo que vale la pena para quienes se mueven por la curiosidad, y Li señala que la eficiencia del cerebro refleja miles de millones de años de evolución, lo cual no debe confundirse con el costo de entrenamiento.
Sus consejos de despedida fueron aferrarse a valores atemporales como la curiosidad, la integridad y la valentía (Li) y correr hacia los problemas más difíciles (Su).
Grabación de la tarde del día 3 · 35 min · se reproduce en YouTube
Panel de debate
mié 4:00 PM · Bass Hall · Moderación: Vincent Vanhoucke
1 charla
Panel
Debate: «La receta actual de preentrenamiento con clonación de comportamiento y ajuste fino en el dominio conducirá a robots generalistas comercialmente viables» (Debate: "The current recipe of behavior cloning pre-training and in-domain fine-tuning will lead to commercially viable generalist robots")
Vincent Vanhoucke (Waymo), Chelsea Finn (Stanford University / Physical Intelligence), Pulkit Agrawal (MIT / Eka Robotics), Marc Toussaint (Technical University Berlin), Leslie Kaelbling (MIT), Edward Johns (Imperial College London / Machenta), Yonatan Bisk (Carnegie Mellon University)
Vincent Vanhoucke modera un debate formal sobre la moción de que la receta actual de preentrenamiento con clonación de comportamiento más ajuste fino en el dominio conducirá a robots generalistas comercialmente viables. Define 'generalista' como reasignable a nuevas tareas zero-shot por un usuario final dentro de un dominio bien especificado, y 'comercialmente viable' como rentable con ingresos de clientes. Chelsea Finn, Pulkit Agrawal y Marc Toussaint argumentan a favor de la moción, citando grandes volúmenes de datos del dominio, la optimización para la confiabilidad y dominios estrechos pero lucrativos como el pick-and-place. Leslie Kaelbling, Edward Johns y Yonatan Bisk argumentan en contra, señalando el costo de cubrir el espacio de estados con demostraciones humanas, las arquitecturas heterogéneas y la necesidad de razonamiento más allá de la imitación. Las encuestas al público antes y después del debate mostraron que la sala se inclinaba en contra, con poco cambio de opinión.
Conclusiones clave
Finn sostiene que la confiabilidad es la clave del valor comercial y que proviene de grandes volúmenes de datos del dominio más un postentrenamiento optimizado para el éxito, que es como los LLM se volvieron útiles.
Kaelbling sostiene que la BC no ha mostrado una 'generalización explosiva' porque las tareas físicas, a diferencia del lenguaje, no fueron diseñadas para ser aprendibles, y que los modelos aprendidos son más desenredables que las políticas.
Johns sostiene que pagar a personas para recopilar datos específicos de cada tarea no es rentable para la mayoría de las tareas (doblar ropa es la excepción) y señala la simulación como una vía probable.
Agrawal sostiene que la planificación de Sistema 2 está en gran medida resuelta por los LLM, que el cuello de botella es el control de Sistema 1 con contacto intenso y que la métrica correcta es el rendimiento (velocidad por confiabilidad), no la exactitud.
Toussaint sostiene que los dominios comerciales estrechos pueden cubrirse con datos aunque no sea la mejor ciencia, mientras que Bisk sostiene que la imitación por sí sola no puede producir el razonamiento sobre lo no visto que requiere un despliegue crítico para la seguridad.
Gran parte del debate giró en torno a definiciones, como si la simulación y el ajuste fino con RL forman parte de 'la receta actual'.
Grabación de la tarde del día 3 · 48 min · se reproduce en YouTube
Clausura, premios y despedida
mié 5:00 PM · Bass Hall
2 charlas
Clausura
Interludio musical: cuarteto de cuerdas dirigido por un robot (Musical Interlude: Robot-Conducted String Quartet)
Peter Stone · UT Austin
El presidente general Peter Stone toca el violín en un cuarteto de cuerdas con el violonchelista Shu Scott, el violista Alan Chen y la violinista Mary Brown, todos vinculados a UT Austin. Interpretan el último movimiento del Cuarteto de cuerdas 'Americano' de Dvořák y 'Spider Dreams' del Turtle Island String Quartet. Un robot iba a dirigir, pero no salió debido a una falla técnica. Luego Yuke Zhu agradece a Stone y adelanta los premios.
Conclusiones clave
El robot director previsto no apareció debido a una falla técnica, que Stone bromeó era otra falla audiovisual más del día.
El interludio se presentó como muestra de que los mejores investigadores también pueden destacar en otras actividades.
El interludio dio paso directamente a la ceremonia de clausura y a los premios al mejor artículo.
Grabación de la tarde del día 3 · 17 min · se reproduce en YouTube
Clausura
Palabras de clausura, premios y despedida (Closing Remarks, Awards & Farewell)
Yuke Zhu (UT Austin / NVIDIA), Georgia Chalvatzaki (TU Darmstadt), Katerina Fragkiadaki (Carnegie Mellon University), Vincent Vanhoucke (Waymo), Ken Goldberg (UC Berkeley), Peter Stone (UT Austin / Sony AI)
El presidente general Yuke Zhu agradece al comité organizador, a los revisores, a la Robot Learning Foundation, a unos 75 voluntarios y a los patrocinadores, y señala que la conferencia aproximadamente triplicó su tamaño este año. La presidenta del comité de premios, Katerina Fragkiadaki, explica que el comité leyó los 21 artículos orales, eligió seis finalistas (SuperMimic, Play2Perfect, GRAIL, RoboTTT, What Are We Actually Benchmarking in Robot Manipulation? y el artículo de reordenamiento con búsqueda en árbol destilada) y escogió dos ganadores. El premio al Mejor Artículo Estudiantil fue para RoboTTT y el premio al Mejor Artículo de la Conferencia fue para SuperMimic. Vincent Vanhoucke anuncia unas Transactions on Robot Learning abiertas todo el año y un premio Test of Time a partir del próximo año, y Ken Goldberg reflexiona sobre una 'crisis de ingresos' en la robótica y anuncia CoRL 2027 en París.
Conclusiones clave
Premio al Mejor Artículo Estudiantil: RoboTTT: Context Scaling for Robot Policies.
Premio al Mejor Artículo de la Conferencia: SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model.
Los premios se evaluaron según la relevancia y el impacto a largo plazo, la originalidad, la solidez técnica, la claridad, y la reproducibilidad y apertura.
Las nuevas Transactions on Robot Learning aceptan envíos durante todo el año, con los mejores artículos presentados en CoRL, y el próximo año comienza un premio Test of Time para artículos de 2017 en adelante.
Goldberg sostiene que el campo debe ahora ofrecer confiabilidad, rendimiento e interpretabilidad para generar ingresos, y anuncia CoRL 2027 en París.