RecherchearXiv cs.RO 21 septembre 2026

EgoPush : réarrangement multi-objets à la première personne pour robots mobiles via observabilité contrainte du superviseur

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du laboratoire AI4CE publient une version mise à jour sur arXiv (2602.18071v2) d'EgoPush, un système qui permet à un robot mobile de réarranger plusieurs objets en les poussant vers des positions définies relativement à un point d'ancrage, en utilisant uniquement une caméra RGB-D embarquée, sans estimation de pose globale, sans suivi externe ni carte au moment du déploiement. Le système a été transféré en zero-shot sur un TurtleBot, testé dans des scènes contrôlées puis visuellement encombrées. Le résultat central de l'étude concerne l'apprentissage par distillation enseignant-élève: trois "enseignants" privilégiés, disposant d'un accès complet à l'état de la scène et entraînés avec des récompenses, une architecture et des hyperparamètres identiques, dépassent tous 98% de réussite. Pourtant, leurs "élèves" égocentriques distillés à partir de ces enseignants n'atteignent respectivement que 0%, 54,8% et 87,3% de réussite, la seule variable étant la fonction d'observation de l'enseignant. La solution proposée consiste à contraindre l'enseignant lui-même à des indices visuels limités, ne révélant les références de cible que lorsque l'ancrage est visible au centre du champ de vision, afin que sa supervision reste transmissible à un élève basé sur la profondeur, distillé en ligne. Deux éléments techniques supplémentaires soutiennent cette approche: une interface objet-centrée à rôles groupés partagée entre enseignant et élève, et des récompenses à décroissance temporelle par étapes pour gérer l'attribution de crédit sur des horizons longs. Code, vidéos et une version jouable de la tâche sont publiés sur ai4ce.github.io/EgoPush.

Cette étude a une portée avant tout méthodologique pour la recherche en manipulation mobile: elle montre que l'échec fréquent de la distillation sim-to-réel dans les tâches de réarrangement ne vient pas nécessairement de l'architecture ou de l'algorithme d'apprentissage, mais de la façon dont l'enseignant privilégié perçoit la scène pendant son propre entraînement. Pour les équipes travaillant sur des robots mobiles de manutention ou des AMR en environnement encombré, le résultat suggère qu'il est possible de s'affranchir d'une brique SLAM ou de cartographie globale pour des tâches de poussée d'objets, un enjeu concret puisque l'action de pousser modifie continuellement la scène qu'un système de cartographie devrait par ailleurs reconstruire.

Ce travail s'inscrit dans la lignée des méthodes de "privileged learning" déjà utilisées pour la locomotion de robots à pattes, où un enseignant omniscient guide un élève aux capteurs limités, mais l'applique ici au réarrangement d'objets par poussée, une tâche encore peu couverte par cette littérature. Il se distingue nettement des approches VLA à grande échelle (type GR00T N2, Pi-0 ou Helix) qui visent la généralisation via des modèles fondation entraînés sur des données massives: EgoPush reste une contribution de recherche ciblée, publiée en preprint, testée sur un seul robot en laboratoire, et non un produit ou un pilote industriel.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Raisonnement cognitif pour l'action de robots proactifs à partir d'observations multimodales centrées sur l'humain

Des chercheurs publient sur arXiv (référence 2609.23486, avec pour type d'annonce "new", donc une première soumission datée de septembre 2026) un article qui formule ProRobo (Proactive Robot Action Reasoning), un nouveau problème de raisonnement cognitif pour robots d'assistance : déterminer quelle action entreprendre à partir d'indices humains et environnementaux multimodaux, sans instruction explicite. Pour l'étudier, l'équipe construit ProAction, un jeu de données réel de 10 000 échantillons combinant observations visuelles, signaux audio et texte, couvrant 12 scénarios de vie quotidienne répartis dans cinq scènes courantes. Les annotations d'action de haut niveau proviennent d'un pipeline en deux étapes associant humains et modèles : une génération de candidats guidée par une théorie de l'évaluation cognitive (appraisal), puis un raffinement humain informé par une théorie de l'esprit affective, qui intègre explicitement l'état de la personne, l'urgence, la faisabilité et le risque potentiel dans chaque annotation. Sur cette base, les auteurs évaluent plusieurs grands modèles de langage multimodaux (MLLM) généralistes et présentent MMC2Act, un modèle de référence entraîné à faire correspondre observations multimodales et actions cognitives de haut niveau, testé sur différents réglages de modalités, une généralisation à des sujets non vus à l'entraînement, un transfert inter-jeux de données et une évaluation humaine. Le résultat central est que les MLLM généralistes peinent à raisonner de façon proactive à partir d'indices multimodaux, tandis qu'un entraînement sur ProAction améliore nettement les performances. Pour l'industrie robotique, ce travail cible un maillon encore peu documenté : la couche de décision en amont de l'action, celle qui doit repérer qu'une personne a besoin d'aide avant même qu'elle ne formule une demande, une capacité clé pour les robots d'assistance domestique ou de service vendus comme "autonomes". L'article souligne aussi l'écart entre les modèles de fondation génériques, entraînés sur des corpus web, et les exigences d'un contexte social et physique réel : sans données annotées selon un cadre affectif et contextuel explicite, ces modèles restent de mauvais juges de l'urgence ou du risque. Pour les intégrateurs et décideurs B2B évaluant des plateformes d'assistance, le papier rappelle que la promesse d'autonomie proactive dépend moins de la puissance brute d'un MLLM que de la qualité et de la structure des données liées au contexte humain, un point souvent minimisé dans les discours commerciaux. Ce travail s'inscrit dans la lignée des efforts récents sur l'assistance robotique proactive, un axe encore marginal comparé aux grands jeux de données orientés instructions explicites ou contrôle bas niveau qui dominent l'apprentissage robotique actuel. Les auteurs positionnent ProAction comme comblant un manque : les ressources existantes couvrent soit d'autres contextes, soit d'autres niveaux d'action, sans traiter la prise de décision multimodale humaine en conditions réelles. Il s'agit à ce stade d'une contribution de recherche en prépublication sur arXiv, sans lien mentionné avec un déploiement robotique physique, un partenaire industriel ou un calendrier de commercialisation : le jeu de données et MMC2Act sont évalués sur des benchmarks de raisonnement, pas sur un robot exécutant physiquement ces actions. La suite logique, non détaillée dans l'article, serait d'intégrer ce raisonnement cognitif en amont dans une pile robotique complète couplée à des modules d'exécution physique, à l'image des approches VLA comme Pi-0 ou GR00T N2 qui traitent la partie aval du problème.

RecherchePaper

1 source

2arXiv cs.RO

MR-SLAM : supervision spatiale immersive pour la cartographie multi-robots via réalité mixte

Une équipe de chercheurs présente MR-SLAM, un système de supervision en réalité mixte permettant à un opérateur unique de téléopérer simultanément une flotte de robots en cours de cartographie. L'opérateur porte un casque Meta Quest 3 et visualise, via la vue passthrough superposée au monde physique, trois TurtleBot3 simulés naviguer dans l'espace, pendant que des panneaux de tableau de bord ancrés spatialement affichent en temps réel l'état de la cartographie de chaque robot. Côté serveur, chaque robot exécute une instance indépendante de SLAM Toolbox sous ROS 2 (Robot Operating System 2), et leurs grilles d'occupation sont fusionnées en continu. Sur cinq sessions d'évaluation de neuf minutes, le système a maintenu un débit de 8,83 plus ou moins 0,16 Hz, cartographié 17,9 plus ou moins 0,8 m² fusionnés et atteint 94,7 plus ou moins 0,5 % de cohérence inter-instances. Une session additionnelle a enregistré une gigue médiane de transformation de 6,3 ms et une couverture de 26,7 m² sur un espace de référence de 41 m². Il s'agit d'une prépublication arXiv (2605.16432), conduite sur robots simulés en environnement contrôlé, et non d'un produit commercialisé. La contribution adresse un vrai goulet d'étranglement opérationnel : à mesure que les flottes robotiques grandissent, les interfaces 2D classiques imposent une charge cognitive croissante à l'opérateur, contraint de reconstruire mentalement la géométrie de l'espace à partir de plusieurs fenêtres de cartes planaires. La réalité mixte avec ancrage spatial délègue cette reconstruction à la perception naturelle humaine. Le taux de cohérence de 94,7 % est encourageant pour la fusion multi-robots, mais les chiffres restent à nuancer : environnement contrôlé de moins de 30 m², trois robots seulement, et couverture incomplète (65 % de la grille de référence atteinte dans la session additionnelle). Pour les intégrateurs industriels et les décideurs B2B, le signal utile est la validité de principe sur matériel grand public (Meta Quest 3, environ 500 euros), ce qui ouvre une voie à des solutions de supervision moins coûteuses que des postes de contrôle dédiés. Le problème de la supervision spatiale de flottes multi-robots est un chantier actif depuis l'essor des AMR dans la logistique et l'inspection industrielle. Les approches dominantes reposent sur des interfaces RVIZ ou des tableaux de bord web 2D, sans restitution de profondeur ni de contexte spatial. Les stacks concurrentes en SLAM multi-robots incluent Cartographer de Google et Nav2 sous ROS 2 ; côté supervision en réalité mixte, les travaux antérieurs ciblaient surtout les bras manipulateurs plutôt que les flottes mobiles. Aucun partenariat industriel ni calendrier de déploiement n'est annoncé. Les prochaines étapes naturelles sont la validation sur robots physiques réels, à plus grande échelle et dans des espaces industriels non contrôlés.

UEImpact indirect et lointain : les intégrateurs européens d'AMR en logistique pourraient à terme bénéficier d'interfaces de supervision moins coûteuses basées sur du matériel grand public, mais aucun acteur FR/EU n'est impliqué et le système reste au stade de préprint sur robots simulés.

RecherchePaper

1 source

3arXiv cs.RO

Les modèles du monde latents comprennent-ils les contraintes de sécurité partiellement observables ?

Une équipe de chercheurs publie sur arXiv (2510.06492v2) une étude systématique des défaillances des modèles du monde latents face à des contraintes de sécurité partiellement observables. Appliquée à un bras manipulateur Franka Research 3 sur des tâches de cuisine, la recherche identifie deux modes de défaillance distincts. Le premier, appelé "estimation gap", survient quand l'observation courante ne révèle pas une grandeur critique pour la sécurité : la température d'une surface de cuisson, invisible en RGB seul, en est l'exemple central. Le second, le "prediction gap", désigne les situations où la défaillance devient observable dès qu'elle se produit, mais ne peut être anticipée à partir des observations disponibles. Les auteurs proposent deux diagnostics quantitatifs associés : une mesure d'observabilité de sécurité basée sur l'information mutuelle, et une mesure de prédictibilité future fondée sur des rollouts simulés. Deux stratégies de mitigation sont ensuite validées en hardware : la supervision multimodale privilégiée (ajout de capteurs thermiques ou tactiles au flux RGB) pour combler les estimation gaps, et la calibration de risque conforme (conformal risk calibration) pour les prediction gaps, avec des résultats mesurés sur le robot réel. Ces résultats posent une question structurante pour le secteur : les représentations latentes produites par un world model entraîné sur observations RGB sont-elles suffisantes pour garantir un contrôle fiable en environnement industriel ? La réponse empirique ici est non, et ce constat a des implications directes pour les intégrateurs qui déploient des bras robotisés sur des lignes de production où des variables non-visuelles (température, force de contact, couple) conditionnent la sécurité. La calibration conforme, issue de la théorie statistique de la prédiction, permet de borner le risque de violation de contrainte sans retrainer le modèle, ce qui représente un avantage pratique pour les déploiements existants. La contrepartie documentée est une conservatisme accru du contrôleur, se traduisant par une réduction du taux de complétion des tâches : la sécurité est améliorée, mais au prix d'une productivité moindre, un arbitrage classique que les COO devront quantifier pour leur contexte. Le travail s'inscrit dans la lignée des world models de type Dreamer et RSSM (Recurrent State Space Model), popularisés par DeepMind, qui apprennent une représentation compressée de l'état du monde pour planifier en espace latent. Cette approche gagne du terrain face aux politiques purement réactives, notamment dans les architectures VLA (Vision-Language-Action) portées par des équipes comme Physical Intelligence (Pi-0), Google DeepMind (GR00T) ou Figure AI. La plupart de ces modèles s'appuient sur des flux RGB ou RGBD, ignorant les modalités thermiques ou haptiques, ce que cette étude remet en cause sur des tâches à risque. Le Franka Research 3 est le banc d'essai standard de la communauté, ce qui facilite la reproductibilité. Les prochaines étapes probables incluent l'extension à des configurations multi-bras, l'intégration dans des pipelines VLA de production, et la question ouverte de savoir comment sélectionner automatiquement les modalités nécessaires à la sécurité pour une tâche donnée.

RechercheActu

1 source

4arXiv cs.RO

Titre curvature-contraint et à vitesse constante pour l'arrivée simultanée distribuée dans les systèmes multi-robots

Une équipe de recherche propose, dans un article publié le 17 juillet 2026 sur arXiv (2607.14781v1), une méthode de contrôle distribué permettant à plusieurs robots mobiles d'atteindre un point cible exactement au même instant, tout en respectant deux contraintes fortes : une courbure de trajectoire limitée et une vitesse constante (potentiellement différente d'un robot à l'autre). Ce type de contrainte correspond typiquement aux drones à voilure fixe, qui ne peuvent ni s'arrêter ni tourner sur place. L'approche s'appuie sur le protocole de consensus maximum et sur les propriétés géométriques des chemins de Dubins, une famille de trajectoires courbes à rayon minimal largement utilisée en planification de mouvement. Les auteurs introduisent une variable de temps virtuel et conçoivent une loi de contrôle hybride, combinant commande optimale et commande proportionnelle saturée, qui pousse chaque robot à converger vers le temps virtuel maximal observé parmi ses voisins. Le dispositif a été validé par simulations et expérimentations, avec une preuve théorique d'optimalité du temps d'arrivée dans certains cas. L'enjeu dépasse l'exercice académique : la synchronisation d'arrivée est une brique fondamentale pour l'encerclement coopératif, les opérations de secours après catastrophe ou la surveillance environnementale par flotte de drones ou d'AMR. Un point souvent négligé dans les démonstrations de coordination multi-robots est justement la contrainte de courbure et de vitesse constante, qui rapproche le problème des conditions réelles de vol plutôt que d'un cadre idéalisé où les robots peuvent accélérer, freiner ou pivoter librement. Le caractère distribué et le faible besoin en communication rendent la méthode potentiellement adaptable à des essaims de taille variable sans coordinateur central, un critère clé pour les intégrateurs qui cherchent à déployer des flottes robustes aux pertes de liaison. Le problème de l'arrivée simultanée s'inscrit dans la lignée des travaux sur les chemins de Dubins et le contrôle formation de drones à voilure fixe, un champ de recherche actif depuis plusieurs années en robotique aérienne militaire et civile. Contrairement aux approches centralisées classiques, qui exigent un calcul global des trajectoires, la méthode proposée ici mise sur la scalabilité et le temps réel. L'article ne mentionne pas de partenariat industriel ni de calendrier de transfert technologique ; il s'agit à ce stade d'une contribution théorique et expérimentale en laboratoire, dont l'application à des essaims commerciaux ou militaires reste à démontrer à plus grande échelle.

RecherchePaper

1 source