Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RoboFind : recherche d'objets personnalisée multi-agents pour les personnes aveugles ou malvoyantes
RecherchearXiv cs.RO 

RoboFind : recherche d'objets personnalisée multi-agents pour les personnes aveugles ou malvoyantes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent RoboFind, un système multi-agents qui aide les personnes aveugles ou malvoyantes a retrouver un objet personnel précis plutôt qu'un simple exemplaire de sa catégorie. Un smartphone enseigne l'objet cible via une prise de vue guidée en réalité augmentée avec retours vocaux, haptiques et lecteur d'écran, et génère une banque de références multi-vues réutilisable; un robot quadrupède mène ensuite la recherche via des agents de navigation, de vérification et de coordination qui valident ou relancent la mission en cas d'échec. Sur 32 missions réelles, RoboFind atteint 85,0% de réussite contre 25,0% pour une base de référence séquentielle testée sur 20 essais et dix cibles, et réduit le taux de faux succès de 75,0% a 5,0%. Sur six cibles communes, il reussit 10 essais sur 12, contre 5 sur 12 pour une architecture reposant uniquement sur GPT-6 Astra, évaluée indépendamment sur 12 essais.

Ces résultats soulignent un point souvent néglige par les démonstrations de robots autonomes: vérifier l'identité d'un objet avant de déclarer la mission terminée compte autant que sa localisation. Un taux de faux succès de 75,0% pour l'approche naïve signifie qu'aux trois quarts des essais le système affirmait a tort avoir trouve le bon objet, un défaut critique pour un utilisateur qui ne peut pas vérifier visuellement le résultat. La comparaison avec une architecture a agent unique, GPT-6 Astra, suggère que décomposer la tache entre agents spécialisés reste plus fiable qu'un modèle généraliste pour ce type de mission a haute exigence de précision, même si l'échantillon teste, six cibles et douze essais, reste modeste.

RoboFind s'inscrit dans un courant de recherche distinct des démonstrations grand public de robots humanoïdes comme Figure 03 ou Optimus, en misant sur la mobilité et l'accès a des points de vue inaccessibles a l'utilisateur plutôt que sur la manipulation. Le choix d'un quadrupède et la comparaison avec GPT-6 Astra positionnent implicitement les auteurs face aux modèles vision-langage-action généralistes des grands laboratoires, en défendant une approche modulaire pour les usages exigeant une fiabilité élevée. L'étude reste un preprint arXiv sans calendrier de déploiement commercial, présente comme une validation de principe avant une extension a davantage de cibles et d'environnements.

Dans nos dossiers

FigureIA physique & VLAarXiv cs.RO

À lire aussi

Raisonnement par graphe de zones sémantiques pour la recherche multi-robots guidée par le langage
1arXiv cs.RO 

Raisonnement par graphe de zones sémantiques pour la recherche multi-robots guidée par le langage

Une équipe de chercheurs a publié SAGR (Semantic Area Graph Reasoning), un framework hiérarchique permettant à des grands modèles de langage (LLM) de coordonner des essaims multi-robots pour la recherche sémantique en environnement inconnu. Évalué sur 100 scénarios du dataset Habitat-Matterport3D, SAGR affiche jusqu'à 18,8 % de gain d'efficacité sur la recherche de cibles sémantiques dans les grands environnements, tout en restant compétitif avec les méthodes d'exploration state-of-the-art basées sur la couverture de frontières. Le système construit incrémentalement un graphe sémantique de zones à partir d'une carte d'occupation sémantique, encodant instances de pièces, connectivité, frontières disponibles et états des robots dans une représentation compacte transmise au LLM pour le raisonnement de haut niveau. La navigation locale et la planification géométrique restent déterministes. L'apport central est architectural : SAGR résout le problème d'interface entre raisonnement symbolique et coordination géométrique, un point de friction récurrent dans les systèmes multi-robots. Les approches classiques (frontier coverage, information gain) sont aveugles à l'intention de tâche, elles ne savent pas qu'une « cafetière » se trouve probablement dans une cuisine, pas un couloir. SAGR délègue cette inférence contextuelle au LLM via une abstraction topologique structurée, sans exposer le modèle au bruit d'une carte brute. C'est une séparation claire des responsabilités : le LLM raisonne sur la sémantique des pièces, les robots exécutent localement. Pour un intégrateur ou un opérateur d'entrepôt multi-AGV, cela ouvre la voie à des instructions en langage naturel comme « trouve le chariot de nettoyage » sans reconfiguration de la logique de navigation. Ce travail s'inscrit dans une tendance forte de 2024-2025 : l'injection de LLM dans la boucle de planification robotique, aux côtés de travaux comme SayPlan (Rana et al.), NavGPT ou des approches VLA type RT-2 et π₀. SAGR se distingue en ciblant explicitement la coordination multi-agent plutôt que le robot unique, et en validant sur un benchmark standardisé (HM3D) plutôt qu'en démo lab. La prochaine étape logique sera le passage du simulateur au réel, le sim-to-real gap sur la segmentation sémantique restant le principal obstacle non adressé par les auteurs.

RechercheActu
1 source
Interleaved POMDP planning pour la recherche multi-objets dans des environnements domestiques multi-pièces inconnus
2arXiv cs.RO 

Interleaved POMDP planning pour la recherche multi-objets dans des environnements domestiques multi-pièces inconnus

Une équipe de recherche propose Inter-POMDP, un nouvel algorithme de planification pour la recherche multi-objets par des robots dans des environnements domestiques inconnus, comportant plusieurs pièces. Le problème central est la recherche d'objets sous incertitude massive : positions inconnues, obstacles non observés, espaces encombrés. Les POMDP (processus de décision markoviens partiellement observables) offrent un cadre théorique solide pour ce type de problème, mais deviennent ingérables à grande échelle. La solution proposée décompose la tâche en deux niveaux interconnectés : un planificateur de haut niveau, basé sur l'algorithme POUCT, raisonne sur la distribution probable des objets grâce à des croyances sous forme d'histogrammes informées par un LLM, tandis qu'un planificateur de mouvement de bas niveau modélise l'incertitude de navigation via des croyances par particules tenant compte des obstacles, utilisées comme connaissance de domaine pour guider le niveau supérieur. Testé en simulation et en conditions réelles, Inter-POMDP réduit le nombre de collisions jusqu'à 63 %, le nombre d'étapes de navigation jusqu'à 35 %, et améliore le taux de détection jusqu'à 32 % par rapport aux méthodes de référence. Des vidéos de démonstration sont disponibles en ligne. Pour l'industrie robotique, ce travail illustre une tendance de fond : l'utilisation de grands modèles de langage non pas pour remplacer la planification formelle, mais pour l'informer, en fournissant des a priori sémantiques (où chercher une tasse, un livre) qui réduisent l'espace de recherche combinatoire des POMDP classiques. C'est une piste concrète pour rendre les robots domestiques et de service capables de tâches de recherche et de rangement dans des environnements réels non cartographiés à l'avance, un scénario encore mal résolu malgré les progrès des architectures VLA. Les gains rapportés sur collisions et efficacité de navigation, s'ils se confirment hors laboratoire, intéressent directement les intégrateurs travaillant sur la navigation autonome en intérieur. Ce travail s'inscrit dans la lignée des recherches en planification POMDP hiérarchique, un champ actif depuis plusieurs années face à l'explosion combinatoire des POMDP plats. La nouveauté ici est le couplage explicite avec un LLM pour informer les croyances de haut niveau. Il s'agit à ce stade d'une publication de recherche (arXiv, avant relecture par les pairs), pas d'un produit ou d'un déploiement commercial ; les prochaines étapes attendues sont une validation sur des flottes robotiques plus larges et une comparaison avec d'autres approches hybrides LLM-planification.

RecherchePaper
1 source
Raisonnement structuré sur l'état du monde pour la recherche robotique à base d'agents
3arXiv cs.RO 

Raisonnement structuré sur l'état du monde pour la recherche robotique à base d'agents

Des chercheurs proposent WORLDS (World-state Observation and Reasoning for Language-guided Discovery and Search), un cadre pour la recherche robotique guidée par le langage naturel sur de longs horizons, détaillé dans un preprint publié sur arXiv (arXiv:2609.23841). Le système construit un graphe persistant initialisé à partir de priors géospatiaux, mis à jour par la perception, dans lequel des "Reasoners" parallèles maintiennent plusieurs interprétations candidates concurrentes et déclenchent la collecte d'observations pour les départager, avant qu'un "Examiner" multimodal traite ces observations et qu'un "Judge" choisisse une cible ou redemande une passe supplémentaire. Sur le benchmark CityNav, WORLDS atteint 51,8% de succès de navigation sur l'ensemble des 5 311 épisodes de test, le meilleur taux publié à ce jour, soit 15,7 points de plus que la référence précédente, sous un protocole limité aux données OpenStreetMap et à l'imagerie orthographique haute résolution. Sur un sous-ensemble comparatif de 1 000 épisodes, à modèle, prior, chaîne de perception et budget de déplacement identiques, WORLDS obtient 50,0% contre 27,9% pour la meilleure base adaptée. La vérification par observations de l'Examiner apporte à elle seule 5,9 points, et même avec un effort de raisonnement réduit, WORLDS dépasse encore la référence GeoNav adaptée de 18,8 points tout en générant moins de tokens. Pour les intégrateurs de robotique autonome et les équipes travaillant sur la navigation par instructions en langage naturel, ce résultat suggère que l'écart provient bien de l'architecture de raisonnement, avec maintien d'hypothèses concurrentes et vérification active par perception, plutôt que d'un simple gain de puissance de calcul, puisque la comparaison se fait à modèle et budget identiques. Le fait que la performance se maintienne, voire s'améliore relativement, à effort de raisonnement réduit et avec moins de tokens générés est un signal concret pour des applications embarquées où la latence et la puissance de calcul sont contraintes, comme les drones. Le cadre a aussi été testé sur un quadrirotor, qui exécute les points de passage de détection générés par le système et identifie trois cibles langagières à partir de son imagerie embarquée, dont un véhicule absent de la carte initiale. Il s'agit toutefois d'un preprint de recherche non encore évalué par les pairs, sans nom d'entreprise ni date de déploiement commercial associée: la démonstration drone reste un test de validation en conditions contrôlées, pas un produit déployé sur le terrain.

RecherchePaper
1 source
COOL : apprentissage de l'appartenance des objets guidé par la curiosité pour une assistance robotique personnalisée
4arXiv cs.RO 

COOL : apprentissage de l'appartenance des objets guidé par la curiosité pour une assistance robotique personnalisée

Des chercheurs présentent COOL (Curiosity-Driven Object Ownership Learning), un cadre logiciel pour robots qui apprend de façon autonome à qui appartiennent les objets d'un environnement et entretient une mémoire spatiale à long terme de ce dernier. Publié sur arXiv (2610.09358v1), le travail vise des requêtes en langage naturel du type « Où est mon sac à dos ? » ou « Trouve ma bouteille ». Le robot doit y raisonner simultanément sur des instances d'objets, des personnes, des lieux et des relations de propriété. COOL infère ces relations à partir d'observations quotidiennes d'interactions entre humains et objets, car la propriété n'est presque jamais annotée explicitement. Pour garder sa mémoire à jour, le système emploie une stratégie de collecte de données pilotée par un agent et guidée par la curiosité. Elle envoie le robot vers les emplacements les plus informatifs afin de rafraîchir les observations devenues obsolètes. Les auteurs affirment l'avoir validé par des expériences hors ligne, des études d'ablation et des évaluations en conditions réelles. Le résumé ne donne ni chiffres de performance, ni plateforme robotique, ni taille de l'environnement testé. L'enjeu dépasse la navigation vers un objet : il s'agit de passer de la reconnaissance d'objets à la compréhension sociale de l'espace. Les assistants domestiques, les robots de bureau ou d'hôpital doivent savoir que telle veste appartient à telle personne, sans qu'on le leur ait expliqué. Le travail s'attaque aussi à un point faible des cartes sémantiques statiques : dans un lieu occupé, les objets bougent, et une mémoire figée devient vite fausse. Faire de la fraîcheur de l'information un critère explicite de planification, plutôt qu'un sous-produit de l'exploration, est une piste utile pour tout déploiement long en environnement non contrôlé. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, sans résultats chiffrés visibles dans le résumé, et la part des tests réels dans la validation n'est pas précisée. Aucun produit ni déploiement commercial n'est annoncé. On est au stade de la recherche. Le contexte est celui de la robotique de service, où la personnalisation devient un sujet central à mesure que les modèles vision-langage et les agents à base de grands modèles de langage s'intègrent aux piles de navigation. Les travaux précédents sur les cartes sémantiques, les graphes de scène 3D et la navigation par objet traitaient surtout la catégorie d'un objet (« une bouteille »), rarement son propriétaire. COOL se place sur ce terrain de la mémoire persistante et de la « personnalisation » des assistants. Les prochaines étapes naturelles seraient des évaluations plus longues, avec plusieurs occupants et des changements d'habitudes, ainsi qu'un examen des questions de vie privée que soulève l'observation continue des comportements humains.

RecherchePaper
1 source