Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Au-delà de la sélection d'objets : positionnement de robot par regard, sans marqueurs, à une position arbitraire
RecherchearXiv cs.RO 

Au-delà de la sélection d'objets : positionnement de robot par regard, sans marqueurs, à une position arbitraire

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente un système de manipulation robotique piloté par le regard capable de placer des objets à une position arbitraire, sans marqueurs physiques, en résolvant l'alignement spatial entre un casque de suivi oculaire et un robot. Décrit dans un article arXiv publié début septembre 2026 (arXiv:2609.00478v1), le travail s'attaque à un problème resté ouvert dans la manipulation assistée par regard : jusqu'ici, ces interfaces géraient bien la sélection d'objets mais peinaient à placer un objet n'importe où dans l'espace, faute d'un calibrage précis entre les coordonnées du casque et celles du robot. Les auteurs introduisent trois contributions : un cadre d'interaction sans marqueurs, un jeu de données dédié à l'alignement inter-appareils, une méthode de sélection de référence par graphe pour compenser le manque de repères visibles sur le robot, ainsi que plusieurs pipelines de calibrage testés selon un protocole commun.

L'apport le plus notable est conceptuel autant que technique : les chercheurs montrent que la précision de pose classique (erreur de position et d'orientation du capteur) ne prédit pas fiablement la précision de la tâche réelle, car les erreurs de translation et de rotation peuvent se compenser mutuellement dans le rayon de regard projeté. Pour objectiver ce constat, ils proposent une nouvelle métrique, la Gaze-Surface Intersection Error (GSIE), qui mesure directement l'écart spatial entre le point visé par le regard et la cible réelle sur la surface. Résultat contre-intuitif pour le secteur : des méthodes d'alignement classées en tête par les métriques de pose usuelles ne sont pas nécessairement les meilleures une fois évaluées à l'échelle de la tâche via GSIE. Pour les concepteurs d'interfaces d'assistance et de téléopération, cela suggère qu'évaluer un système par la seule précision géométrique du capteur peut induire en erreur sur ses performances effectives.

Ce travail s'inscrit dans le champ de la manipulation assistée par regard pour la robotique d'assistance, où la fusion eye-tracking et cinématique robotique reste un défi d'ingénierie ouvert, en particulier pour les utilisateurs à mobilité réduite dépendant de bras robotiques. L'article ne précise pas de plateforme matérielle ni de partenaire industriel identifié ; il se présente comme une contribution méthodologique et un protocole d'évaluation, avec dataset et framework mis à disposition, plutôt que comme un système prêt au déploiement.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

Architecture de contrôle pour la préhension sûre d'objets fragiles avec une pince à positionnement grossier
1arXiv cs.RO 

Architecture de contrôle pour la préhension sûre d'objets fragiles avec une pince à positionnement grossier

Une équipe de recherche a publié le 14 septembre 2026 sur arXiv (identifiant 2609.12737) une nouvelle architecture de contrôle destinée à la préhension sûre d'objets fragiles par des pinces robotiques à commande de position "grossière", c'est-à-dire dépourvues de capteurs de force intégrés sophistiqués. La méthode combine une estimation de contact force/couple fondée sur la géométrie de l'objet avec un contrôleur d'admittance adaptatif : le système calcule en continu la force de contact nécessaire pour maintenir une prise stable sur un objet aux propriétés inconnues, sans capteur tactile dédié. Les auteurs ont testé leur algorithme sur des objets variés en taille, forme, rigidité et poids. Les résultats rapportés montrent une absence de glissement et l'application d'une force minimale suffisante pour éviter toute déformation excessive de l'objet saisi. L'abstract ne précise ni le bras robotique utilisé, ni de métriques chiffrées de type charge utile, degrés de liberté ou temps de cycle, ni de nom d'entreprise ou de laboratoire : il s'agit d'un article de recherche déposé en preprint, non encore validé par relecture par les pairs. L'enjeu pratique pour les intégrateurs industriels est réel : la majorité des pinces robotiques déployées en usine ou en logistique restent des systèmes à commande de position simples, sans capteurs force/couple coûteux aux doigts. Une méthode qui reconstitue le retour de force par géométrie plutôt que par capteur dédié pourrait rendre la préhension adaptative accessible sur du matériel bas coût existant, un enjeu pour la manipulation d'objets fragiles en logistique, agroalimentaire, électronique ou pour les mains de robots humanoïdes. Cela reste toutefois une preuve de concept en laboratoire, pas une solution commercialisée ni déployée en production. Ce travail s'inscrit dans la lignée des recherches sur la préhension compliante, qui cherchent à reproduire le réflexe humain d'ajustement de force en temps réel, un axe distinct des approches concurrentes reposant sur des capteurs tactiles matriciels ou des politiques apprises de type VLA entraînées sur de larges jeux de données. L'abstract ne mentionne aucun pilote industriel, partenariat ni calendrier de déploiement : les prochaines étapes, non précisées par les auteurs, porteraient vraisemblablement sur une validation à plus grande échelle et sur des plateformes robotiques réelles.

RecherchePaper
1 source
Placement non préhensile de plusieurs objets par robots mobiles via une planification de trajectoire par diffusion
2arXiv cs.RO 

Placement non préhensile de plusieurs objets par robots mobiles via une planification de trajectoire par diffusion

Des chercheurs proposent un planificateur de trajectoire par diffusion pour le placement précis de plusieurs objets par poussée (manipulation non préhensile) avec un robot mobile. Là où les travaux antérieurs se contentaient de zones cibles grossières, ou traitaient le placement fin avec des manipulateurs sur des benchmarks comme Push-T, la nouveauté est de formuler la poussée multi-objets comme un problème d'affectation multi-cibles à tolérances serrées. Le planificateur repose sur une factorisation causale : chaque étape de débruitage de la trajectoire du robot est suivie d'une étape pour les objets, conditionnée par l'estimation propre du robot. Cela permet d'échantillonner plusieurs issues d'objets pour un même plan robot, et donc de rendre compte de la multimodalité de la poussée. Les auteurs ajoutent des coûts propres à la poussée par robot mobile, utilisés pour le guidage et pour la sélection du meilleur de N échantillons à l'inférence. Sur Push-T, la méthode obtient le meilleur taux de succès parmi celles comparées, avec le plus faible taux de mouvements d'objets physiquement implausibles. Sur trois environnements de poussée de caisses inspirés d'entrepôts, elle place 21,5 points de pourcentage de caisses en plus qu'une base non guidée et replanifie 1,8 fois plus vite qu'un planificateur débruitant conjointement les deux trajectoires. Sur un TurtleBot 3 Burger, avec des formes d'objets absentes des données d'entraînement, 85,0 % des objets sont placés dans la tolérance, contre 37,5 % pour Diffusion Policy. L'intérêt tient à un point souvent sous-estimé : pour un robot mobile, corriger une erreur de placement coûte cher. Un bras à effecteur omnidirectionnel peut reprendre l'objet par n'importe quel côté, alors qu'une base mobile doit effectuer de larges manœuvres de repositionnement. Pousser sans saisir reste pertinent en logistique, où caisses, colis ou bacs sont déplacés sans pince dédiée, mais la précision requise y est rarement atteinte. L'écart entre 85 % et 37,5 % face à Diffusion Policy suggère que la structure du problème (couplage robot-objet, coûts de guidage) pèse davantage que la simple capacité générative du modèle. Il faut toutefois relativiser : il s'agit d'un travail académique non évalué par les pairs (prépublication arXiv), l'essai réel repose sur un petit robot à roues, probablement sur un nombre limité d'essais (le 37,5 % laisse penser à un échantillon de quelques dizaines d'objets), et rien n'indique de déploiement industriel, de charges réalistes ni de cadence mesurée. Ce travail prolonge la lignée des politiques de diffusion appliquées à la manipulation, dont Diffusion Policy est la référence et Push-T le banc d'essai canonique, en les transposant du bras fixe vers la mobilité. Il se situe entre la recherche en manipulation non préhensile et les approches de planification pour robots mobiles en entrepôt, où dominent aujourd'hui les AMR à convoyage et les solutions de préhension dédiées. Les prochaines étapes naturelles seraient des essais sur des plateformes plus grandes, des objets plus lourds et des environnements encombrés ou dynamiques, ainsi qu'une réduction du coût de calcul du guidage et du best-of-N pour une exécution embarquée. Aucun calendrier de transfert vers un produit n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
D'observateur passif à critique actif : l'apprentissage par renforcement révèle un raisonnement de processus pour la manipulation robotique
3arXiv cs.RO 

D'observateur passif à critique actif : l'apprentissage par renforcement révèle un raisonnement de processus pour la manipulation robotique

Une équipe de recherche propose PRIMO R1 (Process Reasoning Induced Monitoring), un framework de 7 milliards de paramètres qui transforme les modèles vidéo multimodaux (MLLM) en "critiques" actifs capables d'évaluer la progression d'une tâche de manipulation robotique, plutôt qu'en simples "observateurs" qui se contentent de reconnaître les actions en cours. La méthode s'appuie sur de l'apprentissage par renforcement basé sur le résultat final pour inciter le modèle à générer un raisonnement explicite en chaîne de pensée (chain-of-thought) lors de l'estimation de la progression. L'architecture ancre la séquence vidéo entre une image de l'état initial et une image de l'état courant, une construction temporelle structurée soutenue par un nouveau jeu de données et benchmark, le PRIMO Dataset. Les résultats annoncés sont significatifs : une réduction de 50% de l'erreur absolue moyenne par rapport aux meilleures références spécialisées, des gains face à des MLLM généralistes de 72 milliards de paramètres malgré une taille dix fois inférieure, et 67,0% de précision sur le benchmark RoboFail, dépassant le modèle o1 d'OpenAI de 6 points. Cette avancée cible un vrai point de friction du secteur : pour les tâches de manipulation longues, les robots doivent non seulement reconnaître ce qu'ils font, mais estimer où ils en sont par rapport à l'objectif final, une capacité clé pour la détection autonome d'échecs sans supervision humaine. Qu'un modèle de 7B batte des systèmes bien plus lourds, y compris o1, sur ce type de raisonnement suggère que le renforcement orienté résultat peut compenser la taille, un argument important pour un déploiement embarqué sur des robots humanoïdes où latence et coût de calcul comptent. Le travail s'inscrit dans la vague de modèles de raisonnement entraînés par RL appliquée spécifiquement à la robotique, avec des tests validés aussi bien en environnements simulés qu'en scénarios réels sur humanoïdes. Il s'agit à ce stade d'une publication de recherche (preprint arXiv, version révisée) accompagnée d'un dataset et d'un benchmark ouverts, pas d'un produit déployé, mais elle pose une référence explicite face aux modèles généralistes et aux systèmes propriétaires comme o1 sur la détection d'échec robotique.

RecherchePaper
1 source
FRAM : sélection de traits visuels guidée par la trajectoire pour manipulation robotique légère conditionnée au langage
4arXiv cs.RO 

FRAM : sélection de traits visuels guidée par la trajectoire pour manipulation robotique légère conditionnée au langage

Une équipe de recherche présente FRAM (Future Representation Action Model), un modèle vision-langage-action compact pour la manipulation robotique, dans une prépublication arXiv (2609.30965, fin septembre 2026). FRAM relie la trajectoire future de l'effecteur terminal à l'image courante : les coordonnées prédites servent de pointeurs spatiaux pour extraire les caractéristiques visuelles locales liées au mouvement. Les étiquettes de trajectoire sont générées automatiquement à partir des démonstrations et de la géométrie caméra, sans annotation manuelle. Avec 138,7 millions de paramètres, encodeur de langage figé compris, FRAM atteint 92,2 % de réussite moyenne sur les quatre suites LIBERO, contre 94,2 % pour Pi-0 de Physical Intelligence (3,3 milliards de paramètres, soit 24 fois plus), et 67,3 % sur LIBERO-Plus sans entraînement additionnel. Sur un robot réel à deux bras UR5e, il empile des gobelets avec les seules caméras de poignet, en choisissant et en changeant de bras selon les besoins. Ce résultat contredit l'idée reçue que la performance des modèles vision-langage-action dépend d'abord de leur taille : FRAM approche les scores de Pi-0 avec une fraction de ses paramètres, ce qui allège le calcul embarqué et facilite un déploiement sur du matériel moins coûteux, un point clé pour les intégrateurs cherchant à s'affranchir du cloud. L'étiquetage automatique des trajectoires supprime aussi une annotation manuelle coûteuse, frein habituel au passage à l'échelle des données de démonstration. Les scores sur LIBERO-Plus et la démonstration sur robot réel apportent un élément de réponse, mesuré toutefois sur un nombre restreint de tâches, à la question récurrente de l'écart entre démonstrations en laboratoire et robustesse réelle. FRAM s'inscrit dans un champ dominé par la course à l'échelle, incarnée par Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, et par des humanoïdes comme Optimus de Tesla ou Figure 03, qui misent sur des milliards de paramètres pour généraliser. Cette prépublication, dont le statut de relecture par les pairs n'est pas précisé, défend la direction inverse de politiques compactes et spécialisées. Aucun partenaire industriel ni plan de déploiement commercial n'est mentionné : les résultats restent limités à des benchmarks simulés et à un seul bras collaboratif en laboratoire. L'étape suivante logique consisterait à étendre l'approche à davantage de tâches, de robots et de configurations de caméras avant d'envisager une intégration en production.

RechercheActu
1 source