Maintenir en vie le Franka Emika Panda : une…

1arXiv cs.RO

PanTact : enseigner la dextérité du corps entier avec une interface de contact portable

PanTact est un système de recherche décrit dans l'article arXiv 2610.12558, qui apprend à un humanoïde à manipuler avec n'importe quelle surface adaptée de son corps, et non plus seulement avec ses mains. Les données viennent de démonstrations humaines sans robot. Le dispositif de collecte est portable et combine une vision égocentrique, des pinces UMI bimanuelles et des patchs de contact modulaires répartis sur le corps. Ces patchs enregistrent la position et l'état des contacts. Une politique visuomotrice, conçue pour réduire l'écart d'observation propre à la vue égocentrique, prédit ensuite des objectifs de contact pour tout le corps. Des formulations de contrôle du corps entier sensibles au contact les exécutent avec les surfaces du robot qui conviennent. L'équipe a déployé l'ensemble sur un Unitree G1, sans capteur de contact supplémentaire sur le robot. Elle démontre quatre types de comportements: appui corporel, poussée, balayage et partage de charge. L'extrait disponible ne donne ni taux de réussite, ni temps de cycle, ni nombre de démonstrations. Les performances chiffrées restent donc à vérifier dans l'article complet et sur le site du projet. L'intérêt tient au choix du contact comme représentation commune entre l'humain et le robot. La plupart des travaux de loco-manipulation sur humanoïdes limitent la manipulation aux mains et évitent les autres contacts avec l'environnement, alors que ces robots disposent de nombreux degrés de liberté et de surfaces utilisables. Ici, les positions et les instants de contact décrivent ce qu'il faut accomplir. Le robot choisit lui-même, selon ses contraintes physiques, comment coordonner son corps pour y parvenir. Cette séparation entre l'intention et le mouvement évite de retargeter les poses humaines vers un squelette différent, étape souvent source d'erreurs. Elle supprime aussi la téléopération de robots, coûteuse en temps et en matériel. Pour les intégrateurs, la perspective est de tâches qu'un humanoïde ne sait pas faire avec deux mains seules: pousser un chariot avec le torse, caler une charge contre le corps ou la porter à plusieurs surfaces. Il s'agit toutefois d'un résultat de laboratoire sur un seul robot. Il n'est pas un produit ni un déploiement, et rien n'indique encore une robustesse à l'échelle d'un site industriel. Le travail prolonge la lignée des interfaces UMI (Universal Manipulation Interface), qui ont montré qu'on pouvait collecter des démonstrations avec une pince portable, sans robot, et les transférer à des bras. PanTact étend cette logique du poignet au corps entier. Le choix du Unitree G1 reflète sa position de plateforme de recherche humanoïde abordable et très répandue dans les laboratoires. Les approches concurrentes reposent plutôt sur la téléopération en réalité virtuelle, le suivi de mouvement humain (motion capture) ou l'apprentissage par renforcement en simulation pour le contrôle du corps entier, et les modèles VLA généralistes se concentrent surtout sur les mains. Les suites logiques seraient une évaluation sur d'autres morphologies, des tâches plus longues et des environnements moins contrôlés. L'absence de capteurs de contact sur le robot laisse aussi ouverte la question de la fiabilité du contrôle en conditions réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

FOMI : une interface de manipulation à retour d'effort pour enseigner les tâches riches en contacts

Des chercheurs présentent FOMI, une interface de manipulation à retour d'effort destinée à la collecte de démonstrations humaines pour l'apprentissage de politiques robotiques. Le dispositif, publié sur arXiv, repose sur un mécanisme en forme de ciseaux qui transmet directement aux mains de l'opérateur les forces d'interaction avec l'objet, via des liens d'actionnement, sans capteur de force. Autour de cette interface, l'équipe a construit un système complet de collecte intégrant calibration des capteurs, acquisition des données et synchronisation, utilisable sans robot. En associant les variations de pose et l'ouverture de la pince de FOMI aux poses de l'effecteur et aux commandes de préhension du robot, le même système sert aussi à la téléopération. Sur quatre tâches riches en contacts, FOMI améliore l'efficacité de collecte d'environ 29 % en mode sans robot et 18 % en téléopération, par rapport aux meilleures références testées. Les politiques entraînées sur ces démonstrations réalisent des tâches de manipulation difficiles avec des taux de réussite annoncés comme élevés, sans que le résumé en donne les valeurs chiffrées. L'enjeu touche un goulot d'étranglement du secteur: la qualité et le coût des données de démonstration. Les interfaces portables sans robot, dans la lignée de ce que l'on a vu avec les pinces de collecte à main, permettent de passer à l'échelle sans mobiliser de bras robotisés, mais elles privent l'opérateur de sensation tactile. Or l'insertion, le serrage ou l'assemblage exigent des ajustements en temps réel guidés par l'effort. Faire ressentir ces forces sans instrumenter l'outil de capteurs coûteux pourrait abaisser le prix des données pour les contacts riches, là où les politiques de type VLA restent les plus fragiles. Il faut toutefois relativiser: les gains de 18 à 29 % portent sur quatre tâches, face à des références non détaillées dans le résumé, et le mode de mesure de l'efficacité n'est pas précisé. Aucune donnée n'est fournie sur le nombre de démonstrations nécessaires, ni sur la robustesse hors laboratoire, ce qui laisse ouvert l'écart entre résultat académique et usage industriel. Ce travail s'inscrit dans la montée des approches de collecte découplées du robot, qui cherchent à contourner le coût de la téléopération classique, et dans le mouvement qui met le retour haptique au service de l'apprentissage par imitation. Il concurrence les interfaces portables passives et les dispositifs de téléopération à retour d'effort, plus lourds et plus chers. Il s'agit ici d'un prototype de recherche, ni produit commercialisé ni déploiement en usine, et aucun calendrier de diffusion ni code ouvert n'est mentionné dans le résumé. La suite logique consistera à valider le dispositif sur des tâches plus variées, avec d'autres morphologies de robots, et à mesurer son effet sur la généralisation des politiques apprises.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

HIL-UMI : intégrer le post-entraînement supervisé par l'humain des modèles vision-langage-action à l'interface universelle de manipulation

Des chercheurs présentent HIL-UMI, un framework de post-entraînement en boucle humaine pour les modèles vision-langage-action (VLA), décrit dans une prépublication arXiv (2609.20659). Contrairement aux méthodes interactives classiques qui exigent d'exécuter la politique sur un robot réel avec intervention humaine, HIL-UMI s'appuie sur l'Universal Manipulation Interface (UMI), un dispositif de démonstration portatif, sans robot. Pendant que l'humain manipule l'objet, le système interroge silencieusement la politique VLA en cours sur le même flux d'observations, sans exécuter ses prédictions. Un "Energy Score" compare la trajectoire humaine à l'inférence de la politique pour repérer les régions hors distribution et déclencher une collecte ciblée. En parallèle, un estimateur d'avantage basé sur la progression identifie les segments les plus utiles, qui alimentent ensuite un clonage comportemental conditionné par l'avantage, mêlant démonstrations de base et nouvelles données. Testé sur quatre tâches réelles de manipulation, longues ou de précision, HIL-UMI améliore systématiquement les résultats par rapport au simple fine-tuning supervisé (SFT), et bat HG-DAgger sur la tâche "Clean Up Table" avec un temps de collecte par image plus faible. L'enjeu est le goulot d'étranglement du post-entraînement des VLA: le SFT sur données statiques ne couvre pas les états rencontrés en déploiement réel, et les méthodes interactives comme HG-DAgger monopolisent robot et opérateur, ce qui freine leur passage à l'échelle. En découplant la collecte interactive du déploiement robotique, HIL-UMI laisse entrevoir une spécialisation de politiques génériques (type Pi-0, GR00T) réalisable hors ligne, avec un matériel de capture portable bien moins coûteux qu'une cellule robotique complète. Les résultats restent toutefois limités à quatre tâches de laboratoire, sans données de coûts ni de volumes, ce qui invite à la prudence avant d'y voir une preuve de scalabilité industrielle. Le travail s'inscrit dans la lignée d'UMI, outil déjà utilisé pour collecter des démonstrations sans robot, et répond aux limites connues du fine-tuning supervisé des grands VLA. Il se positionne explicitement face à HG-DAgger, référence de l'apprentissage interactif nécessitant un robot physique. Aucune affiliation industrielle ni calendrier de déploiement n'est précisé: il s'agit d'une publication de recherche, pas d'un produit ni d'un pilote annoncé, les suites logiques étant une validation sur davantage de tâches et de plateformes.

RechercheActu

1 source

4arXiv cs.RO

Sentir la charge : locomotion compliante de quadrupèdes face aux interactions avec une charge utile

Des chercheurs proposent un cadre de locomotion sensible aux forces pour robot quadrupède, décrit dans un preprint arXiv (2610.08637v1), qui traite les interactions humaines avec une charge utile non fixée comme des commandes de pilotage. Le scénario visé est celui où une personne pousse ou tire l'objet transporté plutôt que le robot lui-même. Le contrôleur doit alors distinguer une intervention volontaire des mouvements ordinaires de la charge, tout en la gardant en équilibre et en conservant une marche stable. L'approche sépare l'apprentissage de la locomotion tenant compte des forces de celui de l'estimation des forces. Une politique de portage « compliante » est associée à un estimateur de force causal, entraîné par agrégation de données avec l'estimateur dans la boucle puis affiné (finetuning). L'estimateur prédit les interactions uniquement à partir des mesures embarquées du robot, sans capteur d'effort dédié sur la charge. Les auteurs rapportent des résultats en simulation et en conditions réelles : locomotion stable avec charge, cession compliante face aux forces extérieures, et réutilisation de la force inférée pour dévier la trajectoire sous guidage humain. L'intérêt tient au déplacement du problème. La plupart des travaux sur les quadrupèdes porteurs considèrent la charge comme une perturbation à rejeter, ou la fixent rigidement au châssis. Ici, la charge devient un canal d'interaction : l'opérateur peut guider le robot en saisissant l'objet, sans télécommande ni interface. Pour un intégrateur, cela ouvre des usages de logistique de site, de transport en inspection ou de cobotique mobile, où un opérateur doit corriger le robot dans un environnement partagé. Le choix de se passer de capteurs supplémentaires réduit aussi le coût et la fragilité matérielle. Il faut toutefois rester prudent : c'est un résultat de laboratoire, sans chiffres de charge maximale, de précision d'estimation ni de robustesse à des charges variées dans l'extrait disponible. La séparation entre politique et estimateur suggère une modularité utile, mais sa tenue hors du cadre expérimental reste à démontrer. Ce travail s'inscrit dans la lignée de l'apprentissage par renforcement pour la locomotion quadrupède, devenu standard pour la marche robuste, et des politiques « conscientes » de leur contexte qui estiment des grandeurs cachées (friction, masse, poussées) à partir de l'historique proprioceptif. Il prolonge aussi les recherches sur la compliance et l'interaction physique humain-robot, jusqu'ici surtout traitées avec des bras manipulateurs ou des robots à base fixe. Aucun produit, partenaire industriel ni calendrier de pilote n'est annoncé : il s'agit d'un preprint de recherche, non d'un système commercialisé ou déployé. Les suites probables concernent l'extension à des charges plus lourdes et plus variées, le passage à des plateformes industrielles et l'intégration avec des modèles de plus haut niveau, comme les VLA, pour combiner guidage physique et instructions de tâche.

RecherchePaper

1 source

Maintenir en vie le Franka Emika Panda : une stack ROS 2 avec une interface de position fiable

À lire aussi

PanTact : enseigner la dextérité du corps entier avec une interface de contact portable

FOMI : une interface de manipulation à retour d'effort pour enseigner les tâches riches en contacts

HIL-UMI : intégrer le post-entraînement supervisé par l'humain des modèles vision-langage-action à l'interface universelle de manipulation

Sentir la charge : locomotion compliante de quadrupèdes face aux interactions avec une charge utile