RecherchearXiv cs.RO 11 septembre 2026

ReactHuman : un référentiel ancré dans la physique pour une prise de décision réactive et humaine des LLM multimodaux incarnés

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie ReactHuman, décrit comme le premier benchmark ancré dans la physique pour évaluer la prise de décision réactive de type humain chez les modèles multimodaux de grande taille (MLLM) utilisés comme cerveau décisionnel de robots domestiques. Présenté dans un article arXiv (2609.10895v1) daté de septembre 2026, le système place le MLLM évalué aux commandes d'un humanoïde simulé confronté à des dangers domestiques soudains, comme une assiette qui glisse ou un couteau qui tombe. Le benchmark couvre 17 familles d'événements et plus de 1 000 scènes reproductibles bit à bit, avec une vérité terrain exacte générée par une simulation de corps rigides à 240 Hz, sans annotation manuelle. Il inclut des objets délibérément trompeurs dont l'apparence contredit les propriétés physiques réelles, comme une enclume en mousse ou une pomme en acier. Chaque plan d'action retenu par le modèle est exécuté physiquement dans la simulation, et noté par une suite de cinq métriques évaluant si la réaction est raisonnable, sûre et physiquement cohérente. Sept MLLM représentatifs ont été testés via ce dispositif, et le jeu de données est publié sur Hugging Face.

Les résultats montrent que la sécurité réactive reste loin d'être résolue: les modèles gèrent mal environ un danger sur trois, réagissent à partir de dispositions figées plutôt qu'à partir de l'observation réelle de la scène, font confiance à l'apparence des objets plutôt qu'à leur trajectoire, et manquent les points d'interception à l'échelle du mètre même lorsque l'action choisie est correcte. Point notable pour le secteur, ces défaillances ne diminuent pas avec l'augmentation de la taille des modèles, ce qui contredit l'hypothèse selon laquelle le scaling suffirait à résoudre le raisonnement physique embarqué. Pour les intégrateurs et laboratoires travaillant sur des robots domestiques, cela signale un écart net entre compréhension physique passive et action de sécurité immédiate.

Les benchmarks existants se limitaient jusqu'ici à des questions-réponses passives sur des vidéos de physique intuitive, ou à des tâches délibérées et longues comme la navigation et le rangement, sans jamais mesurer la capacité à transformer une compréhension physique en action immédiate et critique pour la sécurité. ReactHuman se positionne comme un outil de diagnostic fin et un signal d'entraînement destiné à faire progresser les agents incarnés vers plus de rigueur physique et de conscience de la sécurité, sans annonce de déploiement matériel ni de partenariat industriel à ce stade.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

DexVerse : un référentiel modulaire pour la manipulation dextre multi-tâche et multi-incarnation

Un consortium de chercheurs présente DexVerse, un benchmark modulaire à grande échelle pour la manipulation dextre multi-tâches et multi-embodiments. L'ensemble couvre 100 tâches réparties sur des compétences variées : saisie et déplacement d'objets, interaction avec des objets articulés, usage fonctionnel d'outils, coordination bimanuelle, contrôle non préhensile, comportements riches en contact, exécution multi-objectifs et tâches longues à plusieurs étapes. Le système prend en charge 3 bras robotiques et 6 mains dextres différentes, et reste extensible à de nouvelles tâches, de nouveaux actifs et de nouveaux embodiments. Pour tester la généralisation visuomotrice, DexVerse propose des variations visuelles paramétrables (textures, arrière-plans, éclairage, points de vue caméra). Les auteurs fournissent aussi une interface de téléopération en réalité virtuelle ainsi que 3 180 démonstrations avec observations synchronisées : données proprioceptives, images RGB, profondeur, nuages de points et états. Quatre méthodes représentatives ont été évaluées sur 19 tâches : Diffusion Policy, DP3, OpenVLA et π0.5. Les résultats révèlent des difficultés importantes de généralisation entre tâches et de robustesse visuomotrice, même pour ces politiques d'apprentissage jugées à la pointe. Pour l'industrie robotique, ce constat vient nuancer l'enthousiasme actuel autour des modèles VLA (vision-langage-action) présentés comme des solutions généralistes prêtes à l'échelle : DexVerse montre que la performance chute nettement dès que les conditions visuelles ou la nature de la tâche s'écartent du contexte d'entraînement. C'est un signal utile pour les intégrateurs et décideurs B2B qui évaluent des politiques de manipulation dextre avant déploiement industriel : la démonstration en laboratoire ne garantit pas la robustesse en conditions réelles variables. DexVerse s'inscrit dans une lignée de benchmarks robotiques cherchant à dépasser les évaluations sur tâche isolée, un manque identifié dans les jeux d'essai existants, limités en diversité de tâches, de couverture d'embodiments ou de variation visuelle contrôlable. En couvrant simultanément plusieurs bras, plusieurs mains et un large éventail de conditions, il se positionne comme un terrain d'essai de référence pour comparer des approches comme Diffusion Policy ou les modèles de la famille π face à des architectures VLA telles qu'OpenVLA. La page du projet est disponible à l'adresse ycyao216.github.io/DexVerse.site, laissant présager de futures évaluations élargies et l'ajout d'autres méthodes et tâches.

RecherchePaper

1 source

2arXiv cs.RO

Fly-by-Code : des agents de code incarnés pour la manipulation aérienne, avec retour visuel actif et retour physique

Des chercheurs proposent Fly-by-Code, un cadre où des agents de codage incarnés pilotent un manipulateur aérien (un drone équipé d'un bras) en générant des programmes exécutables à partir d'instructions en langage naturel, puis en les corrigeant à partir du retour d'exécution. Le travail, publié sur arXiv (2610.12549), introduit un mécanisme appelé Active Feedback (AF), fondé sur le principe « View and Probe ». Quand le retour d'exécution laisse des questions ouvertes, l'agent synthétise un programme de diagnostic distinct, exécuté en simulation. Ce programme peut soit inspecter depuis des points de vue informatifs des résultats que le robot n'a pas vus (View), soit tester des hypothèses sur les causes d'un échec par des interactions physiques ciblées (Probe). Sur six tâches de manipulation aérienne simulées, avec 60 essais par condition, AF fait passer les fausses déclarations de réussite de 25 à 5 et le taux de succès final de 31,7 % à 75 %. La comparaison se fait avec un retour terminal simple, à configuration d'agent et limite d'exécution identiques. Les programmes affinés en simulation tournent ensuite sur un manipulateur aérien physique, via des API robot partagées et sans modification du code source. Ils accomplissent des tâches de manipulation en plusieurs étapes en conditions réelles. L'intérêt tient à l'hypothèse que le travail remet en cause. Les boucles d'agents de codage supposent que le retour d'exécution dit si la tâche a réussi et, en cas d'échec, indique comment corriger le programme. En aérien, cette hypothèse ne tient pas. Les contraintes de charge utile limitent les caméras embarquées, si bien que des résultats décisifs restent hors champ (observabilité partielle). Le fort couplage dynamique et les faibles marges de contrôle rendent les interactions fragiles, et plusieurs causes d'échec produisent les mêmes symptômes. Relire le même retour ne récupère donc ni des observations jamais capturées, ni une distinction entre causes. Le point le plus parlant est la réduction des fausses déclarations de réussite : un agent qui annonce avoir fini sans l'avoir fait est le principal danger d'un déploiement autonome. Pour les intégrateurs, le message est que la fiabilité vient moins d'un meilleur modèle de langage que d'une instrumentation active du diagnostic. Il faut toutefois nuancer : les chiffres viennent de simulation, six tâches seulement, et la démonstration réelle reste qualitative, sans taux de succès publié sur matériel. Le transfert sans modification du code est encourageant, mais ne vaut pas validation en production. Ce travail s'inscrit dans la montée des agents de codage embarqués, qui génèrent des politiques sous forme de programmes plutôt que d'entraîner des politiques neuronales de bout en bout, comme le font les approches VLA. L'aérien est un cas limite, car la charge utile impose des capteurs réduits et la physique pardonne peu. Le résumé ne cite ni modèle de langage, ni plateforme précise, ni calendrier de pilotes. Il s'agit d'une préversion de recherche (v1), sans produit ni déploiement industriel annoncé. La suite logique est une évaluation plus large sur matériel, avec des mesures chiffrées en conditions réelles, et l'application de la même logique de diagnostic exécutable à d'autres robots à capteurs contraints.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Assistance humaine à la demande pour poursuivre une tâche après un échec d'action physique dans la planification par LLM

Une équipe de recherche présente REPAIR, un système de planification robotique combinant des modèles de langage (LLM) avec une intervention humaine à distance pour surmonter les échecs d'action physique, selon un article publié sur arXiv (2603.28156). Le problème visé est concret : lorsqu'un robot piloté par LLM échoue à saisir un objet, il peut continuer indéfiniment à tenter de le détecter sans réaliser, par exemple, que l'objet est tombé de la table, bloquant ainsi la tâche. Le système proposé fonctionne ainsi : quand le LLM détecte un échec d'action, le robot sollicite une assistance à distance, un opérateur humain résout le problème par téléopération puis décrit le résultat en langage naturel, information qui est réinjectée dans le LLM pour mettre à jour son plan et permettre la poursuite de la tâche. Les chercheurs ont testé leur approche sur une tâche réelle de collecte de déchets, en la comparant à une méthode entièrement autonome et à une téléopération intégrale de référence. Le système hybride améliore la progression de la tâche par rapport à la méthode purement autonome. Cette approche s'attaque à un angle mort connu du secteur : la plupart des systèmes de planification par LLM échouent silencieusement quand une erreur physique dépasse leur capacité de replanification en boucle fermée, tandis que les solutions purement téléopérées ne remontent jamais l'information vers le planificateur pour éviter de répéter l'erreur. En couplant intervention humaine ponctuelle et mise à jour du plan par retour en langage naturel, les auteurs montrent une voie intermédiaire entre autonomie totale et téléopération permanente, un compromis pertinent pour les intégrateurs qui déploient des robots en environnement non structuré sans vouloir monopoliser un opérateur à plein temps. Les résultats restent toutefois nuancés et méritent d'être lus avec prudence : pour les déchets faciles à récupérer, l'écart avec la référence téléopérée est faible, mais il se creuse nettement pour les cas plus difficiles, signe que le gain apporté par le LLM diminue quand la difficulté de manipulation augmente. Le travail s'inscrit dans la lignée des recherches sur la robustesse des systèmes de planification LLM appliqués à la robotique, un domaine où le fossé entre démonstrations en laboratoire et déploiement réel reste un sujet récurrent. Le site du projet est hébergé par l'équipe Emergent Systems Lab. L'étude se limite à un cas d'usage unique, la collecte de déchets, et les auteurs ne détaillent pas de calendrier de déploiement industriel ni de partenariat commercial à ce stade ; il s'agit d'un travail de recherche exploratoire plutôt que d'un produit prêt à l'emploi.

RecherchePaper

1 source

4arXiv cs.RO

HODAgent : vers des humanoïdes réactifs et disponibles à la demande pour l'interaction physique avec l'humain

Un preprint déposé sur arXiv en août 2026 (arXiv:2608.17584v1) présente HODAgent, un agent de raisonnement « System-2 » pour robots humanoïdes de service interagissant directement avec des humains. Son architecture semi-duplex combine un Env-Interactor, un Planner, un Executor et une mémoire hiérarchique afin de suivre l'état de la tâche pendant tout l'épisode : le robot accepte une nouvelle requête en pleine action, garde sa progression, révise son plan et vérifie le résultat avant de clôturer. Une interface commune relie simulation et robot physique, un Unitree G1, en isolant le contrôle bas niveau. Sur 164 cas en simulation, HODAgent atteint 84,8% et 91,5% de succès conjoint selon le VLM utilisé, soit 9,8 et 18,9 points de plus que les références. Sur le robot réel, les taux vont de 92% pour les tâches atomiques à 72% pour les tâches composites et 63,3% pour les tâches complètes, avec un gain de 0,7 à 9,0 points sur plusieurs benchmarks d'IA incarnée. Ces résultats ciblent l'écart persistant entre démonstrations et usage réel des humanoïdes : interrompre une action en cours pour intégrer une nouvelle consigne, puis vérifier concrètement si la tâche est accomplie plutôt que de suivre un plan figé, reste rarement démontré à cette échelle hors laboratoire. Pour les intégrateurs, l'intérêt tient surtout à la portabilité : une même couche de décision opérant en simulation et sur robot physique, avec le contrôle bas niveau isolé derrière une interface partagée, réduit le travail de réimplémentation entre prototype et pilote. La chute des taux de réussite entre tâches atomiques (92%) et tâches complètes (63,3%) confirme néanmoins que l'enchaînement de sous-tâches demeure le principal facteur d'échec, un repère utile face aux annonces plus promotionnelles du secteur. Le travail s'inscrit dans la mouvance des agents « System 2 », conçus pour planifier et corriger leur action plutôt que réagir de manière réflexe, un axe distinct des modèles vision-langage-action génératifs de type Pi-0, GR00T N2 ou Helix qui occupent la communication du secteur humanoïde. Le choix du Unitree G1 comme plateforme de test reflète sa large adoption par la recherche académique, faute d'accès aux humanoïdes propriétaires de Figure AI, Tesla ou Agility Robotics. Publié comme preprint non encore relu par les pairs, sans partenaire industriel ni date de déploiement pilote annoncée, HODAgent reste pour l'instant une contribution de recherche destinée à être reproduite et comparée par d'autres équipes.

RecherchePaper

1 source