GAE : libérer le potentiel physique des VLM grâce…

1arXiv cs.RO

Praxis : des a priori d'interaction physique de vidéos égocentriques pour une manipulation généralisable du corps entier

Un preprint publié le 28 septembre 2026 sur arXiv (2609.30735) décrit Praxis, un framework de manipulation corps-entier pour robots humanoïdes mobiles, capable d'apprendre une compétence à partir d'une seule démonstration vidéo égocentrique, sans réentraînement de politique spécifique à la tâche. Le système enchaîne trois étapes : une navigation guidée par un modèle vision-langage vers l'objet cible, une calibration de posture en boucle fermée qui aligne l'espace de travail bras-main, puis une manipulation dextre avec coordination synchronisée du haut et du bas du corps. Un retour visuel en ligne réajuste la géométrie d'interaction démontrée face à de nouvelles poses d'objets, tandis qu'un retour tactile adapte les mouvements de la main aux conditions de contact réelles. Testé sur cinq tâches de manipulation à horizon long, le système montre une généralisation spatiale, visuelle et inter-objets, ainsi qu'une récupération après perturbation physique externe à chacune des trois étapes. L'intérêt pour l'industrie tient à la réduction du coût de collecte de données : la plupart des politiques de manipulation actuelles, qu'elles reposent sur des modèles vision-langage-action ou sur l'apprentissage par renforcement, exigent des centaines de démonstrations téléopérées par tâche pour généraliser correctement. En ne nécessitant qu'un seul enregistrement vidéo humain par compétence et aucune caméra embarquée sur robot pendant la collecte, Praxis s'attaque directement au goulot d'étranglement qui freine le déploiement d'humanoïdes polyvalents chez les intégrateurs. La combinaison de retours visuel et tactile pour récupérer d'une perturbation en conditions réelles, plutôt que de rejouer une trajectoire figée, touche un point sensible du secteur : l'écart persistant entre démonstrations soignées et robustesse en usage industriel réel. Praxis s'inscrit dans la lignée des recherches sur l'apprentissage par imitation à partir de vidéos humaines, une alternative moins coûteuse à la téléopération massive utilisée par les grands modèles vision-langage-action. Il s'agit à ce stade d'un résultat de recherche publié en preprint, sans nom de produit ni partenaire industriel annoncé, testé sur cinq tâches en conditions expérimentales contrôlées et non en déploiement réel chez un client. L'étape suivante, non détaillée dans le résumé, consisterait à étendre le nombre de compétences apprises simultanément et à valider l'approche sur des plateformes robotiques commerciales avant toute évaluation par des intégrateurs.

RecherchePaper

1 source

2arXiv cs.RO

Prédire la dynamique des câbles grâce à un biais d'attention physique

Des chercheurs proposent, dans un preprint arXiv (2610.11975v1), d'ajouter un biais d'attention physique à des simulateurs appris de câbles, ou objets linéaires déformables (DLO). Le biais est un terme additif appliqué aux logits d'attention, avec un taux appris. Il pose une question précise : quelle distance doit-il utiliser ? Un câble en possède deux, qui ne coïncident que lorsqu'il est tendu. La distance curviligne, mesurée le long du câble, gouverne les forces élastiques. La distance euclidienne, mesurée dans l'espace, gouverne le contact. Les auteurs comparent quatre configurations : aucun biais, chaque distance seule, et les deux distances réparties sur des têtes d'attention distinctes. Le reste du modèle et le protocole d'entraînement restent identiques. Le code et les enregistrements par essai sont publiés sur GitHub (avihaig/dlogps). Les résultats sont nuancés. Un biais physique améliore la prédiction sur des câbles jamais vus à l'entraînement. Le gain est maximal quand l'attention est le seul mécanisme reliant des segments éloignés : le biais curviligne réduit alors l'erreur de prédiction de 15 % et divise par plus de deux la dérive de longueur des segments. Le biais euclidien seul reste proche de l'attention sans biais. L'attribution des deux distances à des têtes différentes donne le meilleur résultat, ou un résultat proche du meilleur, sur toutes les métriques rapportées. Le papier ne chiffre pas ce dernier gain dans son résumé, et les 15 % ne valent que dans la configuration où l'attention est le seul lien entre segments distants. L'enjeu dépasse l'académique pour qui manipule des câbles en production : harnais automobiles, câblage d'armoires électriques, assemblage de faisceaux. Ces tâches restent difficiles à automatiser, car le câble se déforme, se replie et entre en contact avec lui-même. Un simulateur appris stable sur de longues séquences et capable de généraliser à des câbles inconnus réduirait le fossé entre simulation et réalité, et donc le coût de génération de données pour entraîner des politiques de manipulation. Le résultat suggère aussi qu'injecter une géométrie explicite dans l'attention est plus efficace que la laisser tout découvrir. Selon les auteurs, l'essentiel de l'erreur se concentre aux contacts, soit câble contre câble, soit câble contre sol. Ce sont ces zones qu'un biais bien choisi doit corriger. Ce travail s'inscrit dans la lignée des simulateurs neuronaux à graphes, qui modélisent les objets déformables par passage de messages entre noeuds voisins. Ces approches propagent mal l'information entre segments éloignés le long du câble, ce qui explique l'intérêt de l'attention sur toutes les paires. Il s'agit ici d'une étude de recherche en simulation. Elle ne mentionne aucun déploiement industriel, ni validation sur robot réel, ni calendrier de pilote, et le résumé ne précise ni la taille des jeux de données ni les types de câbles testés. La suite logique serait un test en boucle fermée avec un robot manipulant de vrais câbles, étape qui conditionnera l'intérêt réel pour les intégrateurs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Modèle de fondation à base d'agents : combler la lacune d'orchestration des robots généralistes grâce à l'agentivité physique

Un article de recherche publié sur arXiv (2607.21725v1) présente Pigey, un orchestrateur d'agence physique conçu pour piloter des robots généralistes sans données supplémentaires ni post-entraînement. Plutôt que d'entasser perception, planification, détection de succès, récupération d'erreurs et contrôle bas niveau dans une seule politique apprise par pré-entraînement massif, comme le font les modèles vision-langage-action (VLA) actuels, les auteurs séparent le problème en deux couches : un agent de contrôle langage-conditionné classique, et un gestionnaire de haut niveau qui décompose les objectifs en sous-tâches, envoie des commandes moteur, vérifie les résultats à partir des observations bas niveau et déclenche des routines de récupération en cas d'échec. Pigey peut commander aussi bien des politiques VLA existantes que des compétences paramétrées préexistantes. Sur le benchmark de simulation LIBERO-PRO, le taux de réussite passe de 12,8% à 53,3%, soit plus du quadruple, sans aucun réglage spécifique à la tâche. Sur un robot réel, les tâches nécessitant du raisonnement voient leur taux de succès grimper de quasi zéro à plus de 90% une fois la politique figée intégrée dans la boucle agentique de Pigey. Ce résultat vient alimenter un débat déjà vif dans la robotique humanoïde et manipulatrice : les modèles VLA de bout en bout, aussi impressionnants soient-ils en démonstration, échouent souvent dès que la tâche exige un raisonnement séquentiel ou une récupération après erreur, un écart que les auteurs baptisent "orchestration gap". En montrant qu'une simple couche d'orchestration explicite, sans ré-entraînement, suffit à multiplier par quatre les performances, l'étude suggère que l'échelle des données de pré-entraînement n'est pas le seul levier disponible pour combler ce fossé entre démonstration et fiabilité réelle, un enjeu direct pour les intégrateurs qui doivent déployer ces systèmes en environnement industriel non contrôlé. Cette approche s'inscrit dans une tendance plus large de la recherche en robotique généraliste, où des laboratoires développent des modèles comme Pi-0, GR00T N2 ou Helix pour unifier perception et action. Pigey se positionne comme une alternative complémentaire plutôt qu'un concurrent direct : il ne remplace pas ces politiques mais les pilote depuis l'extérieur, ce qui laisse ouverte la question de son adoption par les fournisseurs de VLA propriétaires et de son passage à l'échelle sur des tâches de manipulation encore plus complexes.

RecherchePaper

1 source

4arXiv cs.RO

Insertion robotique généralisable grâce aux modèles du monde

Une équipe de recherche décrit, dans un article publié sur arXiv en septembre 2026 sous le titre "Generalizable Robotic Insertion with World Models" (identifiant 2609.28258v1), un système d'insertion robotique généraliste construit autour d'un modèle du monde (world model) entraîné sur un seul réseau couvrant jusqu'à 90 tâches d'insertion différentes, portant sur des pièces aux géométries variées. Le modèle combine les données proprioceptives du bras robotique avec les images brutes issues d'une caméra montée sur le poignet. Sur des objets totalement inédits, dont la géométrie n'a jamais été vue pendant l'entraînement, le système atteint un taux de réussite de 56% en zero-shot, contre seulement 7% pour une base de référence model-free entraînée dans les mêmes conditions. Les chercheurs montrent aussi que la performance progresse à mesure que le nombre d'objets inclus dans le jeu d'entraînement augmente, signe d'une bonne scalabilité. Un fine-tuning du modèle généraliste sur des objets exclus de l'entraînement initial améliore par ailleurs nettement l'efficacité en données par rapport à un entraînement from scratch, et dépasse parfois ses performances asymptotiques. Ce résultat s'attaque à un goulot d'étranglement connu de l'assemblage robotique en forte mixité de références: les approches actuelles, même très performantes, reposent sur des politiques spécialisées entraînées pièce par pièce, ce qui rend le déploiement sur une nouvelle référence lent et coûteux en ingénierie. Un système capable de généraliser à des pièces jamais vues changerait potentiellement l'équation pour les intégrateurs et les lignes à forte variabilité, en réduisant le travail de reprogrammation à chaque changement de produit. Les auteurs présentent leur travail comme le premier système capable d'assembler des objets inédits de façon entièrement pilotée par les données, sans modélisation géométrique explicite préalable, ce qui alimente le débat sur la capacité réelle des architectures génériques à tenir la charge en manipulation fine, un terrain où l'écart entre démonstration et fiabilité industrielle reste habituellement large. Ce travail s'inscrit dans la tendance de fond de la robotique de manipulation, où la recherche cherche à remplacer les politiques spécialisées task-specific par des modèles généralistes transférables d'un objet ou d'une tâche à l'autre, dans la lignée des efforts en cours autour des architectures vision-langage-action. Il reste à ce stade un résultat de recherche publié en preprint, sans partenaire industriel cité, ni site de déploiement, ni calendrier de commercialisation: les auteurs parlent d'une étape significative vers des systèmes d'assemblage généralisables et scalables, formulation à lire comme un jalon scientifique plutôt qu'une annonce produit. Les suites attendues pour ce type d'approche sont l'extension à davantage de tâches et de géométries, ainsi qu'une validation en conditions de production réelles, où robustesse et temps de cycle devront être mesurés au-delà des benchmarks de laboratoire.

RecherchePaper

1 source

GAE : libérer le potentiel physique des VLM grâce à un expert d'action généralisable

À lire aussi

Praxis : des a priori d'interaction physique de vidéos égocentriques pour une manipulation généralisable du corps entier

Prédire la dynamique des câbles grâce à un biais d'attention physique

Modèle de fondation à base d'agents : combler la lacune d'orchestration des robots généralistes grâce à l'agentivité physique

Insertion robotique généralisable grâce aux modèles du monde