Aller au contenu principal
Où rejoindre un groupe ? Prédiction d'objectif guidée par le langage pour l'agrégation de robots
RecherchearXiv cs.RO 

Où rejoindre un groupe ? Prédiction d'objectif guidée par le langage pour l'agrégation de robots

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (2609.28467v1, mis en ligne le 24 septembre 2026) une méthode baptisée "language-grounded robot group joining", qui répond à une question absente de la navigation sociale classique : non pas comment rejoindre un point fixe, mais où et comment s'intégrer à un groupe humain dont l'activité et la formation évoluent en temps réel. Le système part d'une observation visuelle et d'une description en langage naturel du groupe cible pour identifier les bonnes personnes, puis calcule des poses de jonction socialement acceptables. La chaîne technique combine un partitionnement spectral récursif, qui génère des sous-ensembles candidats de personnes dans la scène, avec un modèle language-conditioned combinant image et géométrie pour classer ces sous-ensembles selon la description fournie. Une fois le groupe identifié, un module de prédiction d'objectif s'appuie sur des a priori de formations humaines (conversations, files d'attente, publics) pour produire une carte multimodale energy-orientation couvrant l'ensemble des poses robotiques envisageables. Les auteurs rapportent une inférence en moins d'une seconde, une précision d'identification du groupe comparable aux meilleures approches existantes, et des performances supérieures à toutes les méthodes de référence testées pour la prédiction de pose de jonction, validées à la fois en simulation et sur robot réel, y compris dans des interactions dynamiques.

L'intérêt pratique dépasse la simple curiosité académique : les applications visées, chiens-guides robotiques et scooters de mobilité autonomes, ciblent l'assistance aux personnes à mobilité réduite ou malvoyantes dans des environnements sociaux denses, un cas d'usage largement sous-traité par la littérature en navigation robotique, historiquement focalisée sur l'évitement d'obstacles vers un but déjà connu. En prouvant qu'un robot peut interpréter une instruction en langage naturel pour localiser un groupe spécifique parmi plusieurs, puis calculer sa position d'intégration sans base de données pré-cartographiée, les auteurs adressent un maillon manquant pour les intégrateurs travaillant sur des AMR (robots mobiles autonomes) déployés en environnement humain ouvert, plutôt qu'en entrepôt structuré.

Le travail s'inscrit dans la lignée des modèles vision-langage appliqués à la robotique mobile, où la formulation de tâches sémantiques complexes via instructions textuelles gagne du terrain face aux approches purement géométriques. Le papier ne mentionne ni partenariat industriel ni déploiement commercial : il s'agit d'un résultat de recherche fondamentale, testé sur trois types de configurations sociales (conversations, files d'attente, audiences) avec tailles de groupe, densités de foule et ambiguïtés visuelles variables. Aucune suite commerciale ni calendrier de transfert vers un produit n'est annoncé à ce stade.

Dans nos dossiers

À lire aussi

GS-PRM : une feuille de route visuelle gaussienne pour la navigation guidée par image-objectif
1arXiv cs.RO 

GS-PRM : une feuille de route visuelle gaussienne pour la navigation guidée par image-objectif

Des chercheurs proposent GS-PRM, une « feuille de route visuelle gaussienne » destinée à la navigation par image-but, c'est-à-dire la tâche où un robot doit rejoindre un point défini uniquement par une image. La méthode s'appuie sur le 3D Gaussian Splatting (3DGS), qui fournit des rendus RGB, d'opacité et de profondeur recalés sur la carte, mais n'encode pas la topologie navigable. GS-PRM construit donc, directement par rendu 3DGS, des jalons, des connexions locales et des images de référence, sans passer par une grille d'occupation ni par un champ de distance signée. La profondeur panoramique donne une marge de dégagement prudente pour valider les jalons et adapter la couverture. Un rendu orthographique aligné sur chaque arête teste le volume balayé par le robot. Les auteurs définissent des configurations et des chemins « RC-free » (sans collision au sens du rendu) et démontrent une correction conditionnelle, ainsi que des conditions suffisantes de complétude déterministe des requêtes et de complétude probabiliste de la construction. Les tests, en simulation et en environnement réel, portent sur de la navigation longue portée pilotée par des politiques conditionnées par le but. Face à un système de navigation 3DGS de référence, GS-PRM atteint jusqu'à deux fois le taux de succès moyen et réduit le temps de trajet jusqu'à 57,2 % lorsque les deux systèmes mènent la tâche à terme. Il s'agit d'une prépublication arXiv (v1), sans relecture par les pairs. L'intérêt tient à la jonction entre cartographie photoréaliste et planification globale. Le 3DGS est surtout utilisé pour la reconstruction et le rendu, rarement comme représentation directement exploitable par un planificateur. Un planificateur qui n'a besoin ni de grille d'occupation ni de SDF évite une étape de conversion, source d'erreurs et de coûts, et les mêmes rendus servent à la fois à valider la géométrie et à fournir des observations que la politique locale peut suivre. Pour les intégrateurs et les équipes qui déploient des robots mobiles, c'est une piste vers des cartes plus simples à produire à partir de captures vidéo, avec des garanties formelles rares dans ce domaine. Le gain de 57,2 % sur le temps de trajet est toutefois conditionnel : il ne vaut que lorsque les deux systèmes réussissent, et le résumé ne précise ni le nom du système comparé, ni la taille des scènes, ni le nombre d'essais réels. La portée des garanties dépend aussi des hypothèses de la théorie, notamment la qualité du rendu 3DGS. Ce travail s'inscrit dans la lignée des PRM (probabilistic roadmaps), classiques de la planification de mouvement, et dans l'essor de la navigation image-but et des politiques conditionnées par le but, qui ont besoin d'un planificateur global fournissant des points de passage visuels. Il concurrence d'autres systèmes de navigation fondés sur le 3DGS et les approches à cartes topologiques ou à grilles d'occupation. Aucune échéance de déploiement ni partenaire industriel n'est mentionné : on reste au stade de la recherche. Les prochaines étapes à surveiller sont la mise à disposition du code, la validation sur de plus grands environnements, notamment dynamiques, et la robustesse des rendus lorsque la scène change.

RecherchePaper
1 source
Engagement sélectif pour la récupération d'objets guidée par le langage en observabilité partielle
2arXiv cs.RO 

Engagement sélectif pour la récupération d'objets guidée par le langage en observabilité partielle

Un article publié sur arXiv (référence 2609.23131v1, catégorie "nouveau") présente un système robotique en boucle fermée destiné à retrouver un objet désigné en langage naturel par rapport à un contenant de référence, dans des scènes partiellement observables. À chaque étape, le système arbitre entre quatre options: recueillir davantage de preuves visuelles, interagir avec la scène, saisir un candidat, ou s'abstenir. Il maintient une croyance conjointe persistante sur l'identité de la cible, sa relation au contenant et sa présence, structurée en trois hypothèses (objet suivi, cible non observée, cible absente), mise à jour par des observations catégorielles issues d'un modèle vision-langage (VLM) conditionnées par le point de vue. L'éligibilité de la prise est calibrée par prédiction conforme et combinée à la faisabilité robotique pour décider du moment de l'engagement, tandis qu'une planification en espace de croyances à horizon fini sélectionne les actions de collecte d'information. Sur cinq scénarios simulés, la méthode réussit 19 épisodes sur 25, contre 12 sur 25 pour la meilleure référence adaptée à la tâche, et c'est la seule politique testée à obtenir au moins une réussite dans chacun des cinq scénarios. Des essais sur robot réel montrent une ré-observation en boucle fermée et une récupération autonome après des échecs de prise provoqués artificiellement, mais des échecs de point de vue injectés se traduisent par de faux abandons, le robot renonçant à tort. Ces résultats s'adressent directement à un problème connu de la manipulation robotique en logistique et en intralogistique: la plupart des systèmes actuels supposent une observabilité quasi complète de la scène, ce qui s'effondre dès qu'un objet est partiellement occulté dans un bac ou un tiroir. En formalisant explicitement le choix entre agir, observer davantage ou renoncer, ce travail illustre une piste pour réduire les échecs silencieux des pipelines vision-langage-action (VLA) déployés en conditions réelles, où la confiance mal calibrée d'un modèle mène souvent à des prises ratées plutôt qu'à un report prudent. Les auteurs notent toutefois eux-mêmes une limite importante: leurs ablations montrent que le système complet ne surpasse pas systématiquement des variantes simplifiées, ce qui nuance la promesse d'un gain automatique lié à la complexité du cadre proposé. Ce travail s'inscrit dans la lignée des recherches académiques sur la prise de décision sous incertitude en robotique de manipulation, à la croisée des modèles vision-langage et de la planification bayésienne, sans lien annoncé avec un produit commercial ou un déploiement industriel. Il reste à ce stade au niveau de la validation en simulation complétée par des essais limités sur robot physique, et non un système prêt à l'emploi. Les auteurs ne mentionnent ni partenariat industriel ni calendrier de transfert vers une plateforme commerciale, ce qui distingue clairement cette contribution des annonces produit du secteur des humanoïdes ou des bras robotiques en entrepôt.

RecherchePaper
1 source
VIGOR-MPC : commande prédictive par modèle à régulation d'objectifs guidée par la vision
3arXiv cs.RO 

VIGOR-MPC : commande prédictive par modèle à régulation d'objectifs guidée par la vision

VIGOR-MPC est un cadre de commande publié sur arXiv (2610.20333) qui s'attaque à un problème classique de la robotique mobile: piloter un agent dont la seule perception de l'environnement vient de caméras embarquées. Les auteurs proposent une architecture modulaire de type élève-enseignant, indépendante du pipeline de perception. L'enseignant est un MPC (commande prédictive par modèle) à long horizon, exécuté en simulation avec connaissance complète de l'état. Il intègre la contrainte de champ de vision grâce à une formulation multi-trajectoires qui garantit que l'agent reste dans son champ de vision. L'élève est un MPC à horizon court, dont les paramètres de coût sont déterminés en ligne à partir de la vision par une application récurrente multi-niveaux. Il ne voit que le contexte bruité, de longueur variable et partiellement occulté fourni par le module de perception. Les tests portent sur la course autonome basée sur la vision, en simulation puis sur matériel. Sur des circuits jamais vus à l'entraînement, la méthode s'approche des temps au tour de l'enseignant privilégié tout en réduisant le calcul par pas de plus de 90 %. L'intérêt tient à un goulot d'étranglement très concret: sur un robot réel, la puissance de calcul embarquée est partagée entre perception et commande, ce qui limite l'horizon de planification exécutable en temps réel. Au lieu de remplacer le MPC par une politique apprise de bout en bout, difficile à certifier, VIGOR-MPC conserve un optimiseur classique et n'apprend que ses paramètres de coût. Cette approche garde une structure interprétable et des contraintes explicites, ce qui compte pour les intégrateurs qui doivent justifier le comportement d'un système. La réduction de plus de 90 % du calcul laisse de la marge pour d'autres tâches sur le même processeur. Il faut toutefois relativiser: la validation se limite à la course, un cadre où la piste est structurée, et l'abstract ne donne ni vitesses, ni plateforme matérielle, ni écart chiffré avec l'enseignant. La formule « s'approche des temps au tour » reste donc qualitative. Le travail est une preuve de concept académique, sans produit ni déploiement industriel. Le travail s'inscrit dans la lignée des méthodes qui distillent un expert privilégié, entraîné avec information complète en simulation, vers une politique n'utilisant que des capteurs embarqués. Cette stratégie est déjà courante en locomotion et en vol de drones de course. L'originalité ici est de distiller vers les paramètres d'un MPC plutôt que vers des commandes directes. Les concurrents conceptuels sont les politiques de bout en bout par apprentissage par renforcement et les MPC à long horizon alimentés par une cartographie explicite, plus coûteux en calcul. Les suites naturelles seraient des tests sur des tâches de navigation hors course, comme des environnements encombrés ou des robots mobiles d'entrepôt, et des campagnes de mesures plus détaillées sur matériel. L'article n'annonce aucun calendrier.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
$S^3$-Nav : prise de décision spatiale et sémantique structurée pour la navigation de robots guidée par le langage
4arXiv cs.RO 

$S^3$-Nav : prise de décision spatiale et sémantique structurée pour la navigation de robots guidée par le langage

S³-Nav, publié sur arXiv (2610.19431), est un cadre de décision structuré spatio-sémantique pour la navigation de robots guidée par le langage en observabilité partielle. Les auteurs ne supposent pas qu'une représentation complète de l'environnement est disponible d'emblée. Le système construit de manière incrémentale un état spatio-sémantique persistant, puis n'expose à la politique de haut niveau qu'une vue de capacité contrôlée, conditionnée par la tâche. Les sorties de cette politique sont traitées comme provisoires. Avant toute exécution physique ou clôture de la tâche, elles sont ancrées et validées séparément, à la fois contre les preuves sémantiques persistantes et contre les observations géométriques courantes. Les évaluations couvrent plusieurs environnements et deux familles de tâches, avec des objectifs d'objet et des objectifs de relation. Le résumé annonce une meilleure fiabilité en boucle fermée et un coût de raisonnement réduit pour la politique. Il ne donne ni chiffres, ni noms de modèles, ni précisions sur les plateformes testées. L'intérêt tient à une séparation que beaucoup de systèmes de navigation par modèles de langage ou VLA (vision-langage-action) ne font pas. Ce que le robot doit mémoriser, ce que la politique doit examiner et ce qui autorise l'action sont trois choses distinctes. Dans de nombreuses architectures, un grand modèle reçoit un contexte qui grossit à chaque pas et sa sortie déclenche directement le mouvement. Cela alourdit le raisonnement et rend les hallucinations coûteuses. Ici, la vue exposée a une taille bornée et un module de validation garde l'autorité d'exécution. Pour un intégrateur, c'est un schéma de sécurité et de maîtrise des coûts d'inférence. Il touche deux points bloquants du passage du démonstrateur à l'exploitation : la dérive en environnement réel et la facture de calcul embarqué. Les gains restent à confirmer. Un résumé sans valeurs chiffrées, sans comparaison nommée avec des méthodes existantes et sans mention d'essais sur robot réel ne permet pas de dire si l'amélioration est marginale ou structurelle. Le travail s'inscrit dans la lignée de la navigation sémantique à vocabulaire ouvert, qui associe cartes persistantes, graphes de scène et grands modèles de langage pour des objectifs formulés en langage naturel. Les limites de ces approches sont connues : contexte qui enfle, décisions peu vérifiables, échecs en boucle fermée. S³-Nav répond à ces trois problèmes par la structure plutôt que par un modèle plus gros. C'est un papier de recherche, pas un produit. Aucun déploiement, aucun partenaire industriel et aucun calendrier de pilote ne sont annoncés. Les prochaines étapes à surveiller sont la publication du code et des benchmarks, des tests sur plateformes physiques et une comparaison directe avec les approches fondées sur des graphes de scène et des VLA de bout en bout.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source