Actualités robotique — page 11

4 503 articles au fil, du plus récent au plus ancien.

41

501arXiv cs.RO 

ContactFlow : un conditionnement d'action vidéo transférable entre morphologies

Des chercheurs présentent Contact Flow, une représentation d'action indépendante de l'embodiment destinée aux modèles du monde en robotique. Le principe consiste à encoder une manipulation via la trajectoire des points de contact 3D entre un acteur (main humaine ou pince robotique) et l'objet cible, en écartant l'apparence et la cinématique propres à chaque acteur. Ce signal sert à conditionner un modèle génératif vidéo entraîné à la fois sur des démonstrations humaines et des vidéos d'interaction robotique, produisant un modèle du monde capable de prédire des issues de manipulation physiquement plausibles. L'équipe l'intègre dans un pipeline en quatre étapes (proposer, imaginer, vérifier, agir), où chaque scénario généré est évalué par un modèle vision-langage avant exécution réelle. Les expériences s'appuient sur le jeu de données DROID ainsi que sur des tâches de manipulation de table en conditions réelles, avec un transfert démontré entre démonstrations humaines et plusieurs embodiments robotiques différents. Le papier est publié sur arXiv (2607.26579v1). Cette approche cible deux limites connues des modèles du monde vidéo actuels : leur difficulté à capturer les contraintes physiques du contact, et un conditionnement d'action généralement figé sur un embodiment précis, souvent une pince parallèle. En généralisant le signal au contact plutôt qu'à la cinématique de l'acteur, Contact Flow permet de mutualiser l'entraînement entre données humaines, bien plus abondantes et faciles à collecter, et données robotiques, un enjeu central pour les modèles VLA qui peinent encore à passer à l'échelle faute de données d'interaction physique suffisantes. Pour les laboratoires et intégrateurs, c'est un argument de plus en faveur des architectures agnostiques à l'embodiment, une piste explorée aussi par GR00T N2 de NVIDIA ou Pi-0 de Physical Intelligence. La vérification par modèle vision-langage avant action traduit également une prudence croissante face au risque d'exécuter des rollouts imaginés mais physiquement irréalistes. Les modèles du monde vidéo pour la robotique se sont multipliés depuis 2024, portés par les progrès des générateurs vidéo et la promesse de planifier des actions sans essais coûteux sur du matériel réel. La plupart restent toutefois liés à un type de préhenseur ou de robot donné, limitant le réemploi des données entre plateformes, un problème similaire à celui des modèles VLA comme Helix de Figure ou les familles Octo et RT-2. Contact Flow se positionne comme une brique de représentation plutôt qu'un produit fini : aucun déploiement industriel n'est mentionné, seulement une évaluation sur DROID et des tâches de table en laboratoire. Les suites logiques attendues sont l'extension à des manipulations plus complexes et multi-étapes, ainsi qu'un test de robustesse sur davantage de plateformes.

Recherche❖Paper

1 source

40

502arXiv cs.RO 

TurboVLA : un modèle vision-langage-action en temps réel à 32 Hz sur RTX 4090 avec moins d'1 Go de VRAM

Une équipe de recherche présente TurboVLA, un nouveau modèle vision-langage-action (VLA) capable de tourner à 32 Hz sur une carte grand public RTX 4090, avec moins d'1 Go de VRAM utilisée à l'inférence. Publié sur arXiv fin juillet 2026, le travail propose une architecture radicalement allégée : plutôt que de faire transiter les observations visuelles par un grand modèle de langage avant de les décoder en actions (le schéma classique V→L→A des VLA actuels), TurboVLA encode séparément l'image et l'instruction textuelle, les fait interagir via un mécanisme bidirectionnel léger, puis prédit directement des séquences d'actions continues avec un petit décodeur (V+L→A). Résultat chiffré sur le benchmark de manipulation LIBERO : 97,7% de taux de réussite moyen, avec seulement 0,2 milliard de paramètres, 31,2 ms de latence d'inférence et 0,9 Go de VRAM sur RTX 4090. Le code est disponible sur GitHub (H-EmbodVis/TurboVLA). L'intérêt pour l'industrie robotique tient moins à la performance brute qu'à l'efficacité : la plupart des VLA compétitifs (Pi-0, GR00T N2, Helix) s'appuient sur des LLM de plusieurs milliards de paramètres, coûteux à faire tourner en temps réel sur du matériel embarqué. En atteignant un score comparable ou supérieur avec un modèle cent fois plus petit et une inférence tenant sur une carte de jeu grand public, TurboVLA questionne l'hypothèse selon laquelle un grand modèle de langage est nécessaire pour connecter perception et action. Pour les intégrateurs et équipes robotique, cela ouvre la voie à des politiques VLA déployables sur du edge compute limité, sans datacenter dédié à l'inférence. Le papier s'inscrit dans la vague de recherche sur les modèles VLA compacts qui a suivi la démonstration de la faisabilité de l'apprentissage par imitation à grande échelle (RT-2, OpenVLA, puis Pi-0 et GR00T). À ce stade, TurboVLA reste un résultat de recherche validé uniquement en simulation sur LIBERO, sans démonstration publiée de déploiement sur robot physique ni partenariat industriel annoncé ; la prochaine étape naturelle serait une validation sim-to-real sur plateforme réelle.

IA physique⚡Actu

1 source

40

503arXiv cs.RO 

Route par cinématique, agir par observation : routage d'experts supervisé par cinématique dans un VLA à experts multiples (MoE)

Le routage d'experts dans les architectures Vision-Language-Action (VLA) augmentées par mixture-of-experts (MoE) échoue souvent car les actions de manipulation présentent une forte hétérogénéité cinématique d'une tâche à l'autre, et parce que le signal cinématique n'est de toute façon pas disponible au moment de l'inférence. Face à ce constat, une équipe de recherche propose KinRT (Kinematics-supervised explicit Routing), qui remplace le routage implicite piloté par l'observation par un dispatching explicite guidé par la cinématique. La méthode regroupe d'abord les trajectoires d'action par clustering cinématique en groupes cohérents, dont les identifiants servent de vérité terrain pour entraîner le routeur ; à l'inférence, ce routeur n'utilise plus que les observations visuo-langagières, via un mécanisme de pont asymétrique qui distille la cinématique apprise pendant l'entraînement dans l'espace des observations. Pour tester la généralisation multi-plateforme de KinRT, les chercheurs ont aussi construit DIYRobot, une plateforme robotique imprimée en 3D coûtant moins de 2 000 dollars. Sur le benchmark RoboTwin, KinRT dépasse les VLA denses comme MoE de plus de 23,26 %, et de 20,27 % sur DIYRobot ; code et plateforme seront open source. Cette contribution s'attaque à un point de friction connu des architectures MoE appliquées à la robotique manipulatrice : le routeur doit décider quel expert activer sans jamais voir la cinématique réelle du geste, seulement l'image et l'instruction. En prouvant qu'on peut entraîner ce jugement à partir d'un signal cinématique absent au runtime, KinRT répond directement à l'écart entre supervision disponible en entraînement et information disponible en production, un problème central pour tout VLA industriel. Le choix de valider sur une plateforme DIY à moins de 2 000 dollars est aussi un signal fort à destination du secteur académique et des petites équipes robotiques : la généralisation cross-plateforme redevient testable sans budget matériel lourd, ce qui pourrait accélérer la reproductibilité des benchmarks VLA. Le papier s'inscrit dans la vague de recherche sur les modèles VLA à mixture d'experts, où la spécialisation par expert promet une meilleure scalabilité que les architectures denses, mais où le routage reste le maillon faible en conditions réelles de manipulation. Contrairement à une annonce produit, il s'agit ici d'une contribution scientifique publiée sur arXiv, sans déploiement industriel annoncé : les auteurs prévoient la publication en open source du code et de la plateforme DIYRobot, ce qui ouvrira la porte à des comparaisons indépendantes sur d'autres benchmarks et architectures MoE concurrentes.

Recherche⚡Actu

1 source

40

504arXiv cs.RO 

DLAM : actions latentes distribuées avec contraintes temporelles

Les vision-language-action models, ou VLA, souffrent d'un problème structurel : les données robotiques annotées en actions restent rares, alors que les vidéos sans étiquette d'action, elles, abondent pour observer le changement physique. Une nouvelle méthode nommée DLAM (Distributional Latent Actions with Temporal Constraints), présentée dans un article publié fin juillet 2026 sur arXiv, s'attaque à ce goulot d'étranglement. Contrairement aux modèles d'actions latentes classiques, qui apprennent par reconstruction sans structure temporelle garantie, DLAM représente chaque transition entre deux images comme une gaussienne diagonale. La moyenne est ancrée dans le changement visuel observé via une reconstruction conditionnée sur l'image de référence, tandis qu'une composition normalisée et une opération de réversion, appliquées sur des triplets à intervalles égaux, contraignent à la fois la moyenne et la variance dimension par dimension. Un coefficient de corrélation partagé, léger en calcul, gère la dépendance entre transitions adjacentes qui partagent une image intermédiaire. Pour l'apprentissage de politiques en aval, l'encodeur est gelé et une politique par flow-matching est entraînée à générer conjointement les séquences de transitions moyennes et les actions du robot. L'enjeu dépasse la seule prouesse technique : il s'agit de savoir si l'on peut extraire des priors d'action fiables depuis de la vidéo brute pour compenser la pénurie de données robotiques étiquetées, un problème central pour quiconque veut entraîner des politiques de manipulation à grande échelle sans multiplier les téléopérations coûteuses. Les méthodes structurées existantes ajoutaient déjà des contraintes temporelles, mais avec des points de transition déterministes, ce qui laissait les erreurs résiduelles se propager et s'amplifier lors de compositions récursives. En modélisant l'incertitude explicitement plutôt qu'en la masquant, DLAM démontre une dynamique latente plus cohérente dans le temps sur des transitions non vues, avec une meilleure reconstruction directe et cumulative. Transféré selon le même protocole contrôlé que le modèle π0 de Physical Intelligence, il améliore aussi les performances de politique sur les bancs d'essai MetaWorld MT50, LIBERO et sur des tâches de manipulation en conditions réelles. Les ablations menées par les auteurs précisent la hiérarchie des gains : les contraintes normalisées sur la moyenne expliquent l'essentiel de l'amélioration en reconstruction, tandis que la variance apprise et la composition tenant compte des corrélations apportent des gains complémentaires, plus marginaux. Ce travail s'inscrit dans la lignée des recherches sur les modèles d'actions latentes visant à combler l'écart entre l'abondance de vidéos d'action non étiquetées et la rareté des données robotiques annotées, un axe désormais central pour l'entraînement des politiques VLA à l'échelle.

Recherche❖Paper

1 source

40

505arXiv cs.RO 

Multi-objectifs pour la coévolution intégrant la conformité : autonomie marine multi-robots en simulation et déploiement réel

Des chercheurs présentent MMOCIC (Marine Multi-Objective Compliance-Integrated Coevolution), un framework de coordination pour flottes de robots marins autonomes, détaillé dans un article publié sur arXiv (2607.26279v1). L'approche cible des missions maritimes collaboratives où le feedback de progression est rare et où le respect de normes de sécurité est impératif : exploration de structures récifales inconnues, inspection d'infrastructures sous-marines, ou opérations de recherche et sauvetage. Les auteurs ont testé leur système sur une mission de sauvetage de nageurs coordonnée par plusieurs véhicules, avec un déploiement matériel réel allant jusqu'à 8 robots, et des essais en simulation portés à 12 véhicules. Le résultat annoncé : une performance d'équipe élevée tout en évitant les collisions entre engins. L'apport central tient dans le découplage entre apprentissage et conformité réglementaire. Plutôt que de laisser un algorithme coévolutionnaire découvrir seul les règles de sécurité à partir du signal de récompense, souvent trop épars pour ça, les concepteurs prescrivent directement les normes de comportement (évitement de collision, respect de protocoles) et les injectent séparément dans l'optimisation multi-objectif. Pour l'industrie de la robotique marine et sous-marine, où les essaims d'AUV et d'USV peinent encore à combiner autonomie coordonnée et garanties de sécurité certifiables, cette séparation apporte une piste concrète pour faire passer des comportements appris en simulation vers des déploiements réels sans sacrifier la conformité aux règles opérationnelles, un point de friction classique entre recherche en apprentissage et exigences réglementaires du secteur maritime. Le travail s'inscrit dans la lignée des algorithmes coévolutionnaires appliqués à la coordination multi-robots, une famille de méthodes déjà utilisée pour générer des comportements d'équipe à partir de signaux de récompense faibles, mais jusqu'ici rarement combinée de façon native avec des contraintes de conformité imposées en temps réel. L'article ne mentionne pas de partenaire industriel ni de site de déploiement commercial : il s'agit d'une démonstration de recherche, avec passage du simulateur (12 véhicules) au matériel réel (8 véhicules), une étape jugée clé par les auteurs pour crédibiliser les approches d'apprentissage appliquées à l'autonomie marine collective.

Recherche❖Paper

1 source

39

506arXiv cs.RO 

Tâche hiérarchique de planification et de compétences : planification robotique hiérarchique avec des compétences en boîte noire

Des chercheurs publient sur arXiv (version 3, remplaçant une précédente) une méthode baptisée TASP (Task and Skill Planning), qui étend la planification hiérarchique de tâches et de mouvements (TAMP) pour intégrer des compétences robotiques hétérogènes déjà existantes : politiques apprises, contrôleurs à retour de force, et modules « boîte noire ». L'approche s'appuie sur les Composable Interaction Primitives (CIP) pour générer automatiquement des plans de mouvement de transition, en amont et en aval de chaque compétence, qui relient deux savoir-faire consécutifs entre eux. Ces primitives permettent d'ajuster la trajectoire aussi bien au moment de la planification qu'en cours d'exécution. Les auteurs valident leur système par des expériences réelles sur un manipulateur bimanuel et un manipulateur mobile, en résolvant des tâches longues et complexes, y compris des scénarios de manipulation mobile sur plusieurs pièces avec une structure de tâche non monotone, c'est-à-dire nécessitant de revenir en arrière ou de réordonner des sous-objectifs. L'intérêt pour l'industrie tient au fait que les méthodes TAMP classiques supposaient jusqu'ici que chaque action robotique se ramène à de la planification de mouvement cinématique pure, ce qui limitait leur usage aux tâches purement géométriques. En montrant qu'un planificateur hiérarchique peut combiner des compétences de nature très différente tout en conservant un raisonnement sur les échecs centré sur les objets, TASP ouvre une voie modulaire : un intégrateur peut assembler des politiques déjà entraînées séparément, sans devoir tout réentraîner dans un modèle unique. Cela nourrit le débat entre l'approche « tout-en-un » portée par les grands modèles vision-langage-action et une approche composite où des briques spécialisées restent pilotées par un planificateur symbolique classique, potentiellement plus robuste et plus facile à déboguer en environnement industriel. Ce travail s'inscrit dans une tendance récente de la recherche en robotique consistant à hybrider TAMP et contrôleurs en boucle fermée ou compétences apprises, plutôt que de s'en tenir à la planification de mouvement pure. Il se positionne en alternative modulaire face aux modèles génériques de type Pi-0, GR00T N2 ou Helix, qui visent au contraire une politique unique bout-en-bout. Il s'agit ici d'un article de recherche académique, sans annonce de produit commercial ni de calendrier de déploiement : les résultats montrent une faisabilité réelle sur deux plateformes robotiques distinctes, mais restent à ce stade du domaine expérimental plutôt qu'industriel.

Recherche❖Paper

1 source

39

507arXiv cs.RO 

RLMM-Flow : un cadre de manipulation mobile basé sur les flux avec apprentissage par renforcement en espace latent

Découpler flux génératif et apprentissage par renforcement, c'est l'angle d'un nouveau papier arXiv (2607.26460v1) publié fin juillet 2026 sur la manipulation mobile robotique. L'équipe présente RLMM-Flow, un framework qui combine une politique générative par flux (flow-based policy), pré-entraînée par imitation sur des démonstrations d'experts, avec une phase de renforcement post-entraînement menée dans l'espace latent. Concrètement, la politique de flux capture d'abord un a priori de mouvement multimodal du corps entier à partir des démonstrations, puis elle est gelée pendant qu'un réseau de pilotage latent réoriente le bruit initial vers des séquences d'actions à plus forte valeur. Pour stabiliser cette optimisation en haute dimension, les auteurs font chauffer un critique dans l'espace des actions avant d'entraîner conjointement le critique et l'acteur latents, avec un pilotage latent progressif, du grossier au fin, qui étend le contrôle d'une représentation latente partagée sur l'horizon temporel vers une représentation résiduelle complète. Sur des benchmarks de planification de mouvement pour la manipulation mobile, RLMM-Flow améliore nettement le taux de réussite des tâches, l'évitement de collision et la qualité des trajectoires par rapport aux politiques de flux entraînées uniquement par imitation, tout en conservant une inférence rapide. L'enjeu dépasse la seule performance benchmark: il touche à une limite bien identifiée des politiques génératives de type flow-matching ou diffusion, aujourd'hui standard pour piloter des robots manipulateurs, à savoir que l'imitation pure plafonne à la qualité des démonstrations, sans possibilité de dépasser ce plafond. En montrant qu'un renforcement post-entraînement dans l'espace latent, plutôt que dans l'espace des actions brutes, peut pousser la politique au-delà de cette distribution tout en préservant la vitesse d'inférence, RLMM-Flow répond à une préoccupation centrale des intégrateurs qui cherchent à fiabiliser des politiques VLA pour la manipulation mobile en environnement contraint, où il faut satisfaire simultanément l'atteinte d'objectifs, l'évitement d'obstacles, la cinématique de la base et les limites articulaires du bras. Le travail se positionne explicitement face à deux familles existantes: les politiques de flux entraînées uniquement par imitation, et les baselines de renforcement post-entraînement déjà proposées pour ce type de politiques génératives. Il s'agit à ce stade d'un travail de recherche évalué sur des benchmarks de planification de mouvement en simulation, sans validation annoncée sur robot physique ni déploiement industriel, aucun acteur commercial ni site de déploiement n'étant mentionné dans l'abstract.

Recherche❖Paper

1 source

39

508arXiv cs.RO 

SG-CoT : un cadre de planification robotique conscient de l'ambiguïté via des graphes de scène

Une équipe de recherche a publié la troisième version d'un article arXiv (2603.18271v3) décrivant SG-CoT, pour Scene Graph-Chain-of-Thought, un framework en deux étapes destiné à réduire les erreurs de planification robotique causées par l'ambiguïté des instructions. Le système construit d'abord une représentation en graphe de scène de l'environnement à partir des observations du robot, capturant les objets présents, leurs attributs et leurs relations entre eux. Dans un second temps, le modèle de langage utilisé comme planificateur interroge ce graphe via des fonctions de récupération pour ne mobiliser que les portions pertinentes par rapport à l'instruction reçue. Lorsqu'une ambiguïté persiste, SG-CoT permet au LLM d'en identifier la source précise et de formuler une question de clarification, adressée à l'utilisateur ou à un autre robot. Les auteurs rapportent des gains d'au moins 10 % en précision des questions posées, et des hausses de taux de réussite de 4 % en environnement mono-agent et 15 % en environnement multi-agent, par rapport aux méthodes antérieures testées. L'enjeu dépasse le seul exercice académique. L'utilisation de LLM comme planificateurs pour robots physiques bute régulièrement sur un problème simple mais critique en usage réel : les instructions humaines sont souvent sous-spécifiées ("prends la tasse" quand plusieurs tasses sont visibles), et un modèle qui devine plutôt que de demander précision multiplie les erreurs d'exécution coûteuses en environnement industriel ou domestique. En ancrant le raisonnement du LLM dans une représentation structurée et interrogeable de la scène plutôt que dans une simple description textuelle ou une image brute, SG-CoT s'attaque directement à l'écart entre démonstrations en laboratoire et fiabilité déployable, un point sensible pour tout intégrateur évaluant des architectures VLA ou LLM-planner pour l'AMR ou la manipulation. Ce travail s'inscrit dans une littérature de recherche déjà dense sur le couplage entre graphes de scène et modèles de langage pour la planification robotique, où plusieurs équipes académiques explorent des approches de grounding similaires pour limiter les hallucinations de plans d'action. Le fait qu'il s'agisse d'une version "replace" (v3) suggère des révisions après retours de relecture. Aucun déploiement industriel ni partenariat commercial n'est mentionné : les résultats reposent sur des expérimentations contrôlées en simulation ou banc de test, une nuance à garder en tête avant toute extrapolation vers une adoption en production.

Recherche❖Paper

1 source

39

509arXiv cs.RO 

IA incarnée : de la vidéo passive à une expérience modifiable, une synthèse ancrée dans le réel

Pegasus, un nouveau framework de recherche présenté sur arXiv (arXiv:2607.26903v1), s'attaque au goulot d'étranglement des données en robotique embarquée : non pas l'architecture des modèles, mais l'accès à des données d'entraînement exploitables. Des milliards de vidéos humaines de manipulation existent déjà en ligne, mais les robots ne peuvent pas s'en servir directement à cause de l'écart de morphologie entre le corps humain et le matériel robotique. Plutôt que d'utiliser ces vidéos comme simples prompts bruts, Pegasus construit une représentation intermédiaire sous forme de graphes : un Task Graph extrait de la vidéo humaine est transformé, via des Affordance et Constraint Graphs, en un Robot Planning Graph qui pilote ensuite la génération de vidéos conditionnées au robot cible. Un espace latent hiérarchique d'affordances modélise la relation entre états des objets, affordances et tâches, ce qui permet de généraliser au-delà des objets vus à l'entraînement. Un vérificateur physique en boucle fermée filtre les générations invalides selon la faisabilité cinématique, les contraintes de collision et les limites articulaires. Le système a été évalué sur les benchmarks de manipulation égocentrique GTEA Gaze+ et EPIC-KITCHENS-100, sur plusieurs morphologies de robots, selon quatre critères : justesse de la tâche, exécutabilité, cohérence d'état et apprenabilité. L'enjeu dépasse la prouesse technique isolée : si la traduction cross-embodiment fonctionne de façon fiable, la collecte de données robotiques cesse d'être un problème de matériel (multiplier les bras et les capteurs pour chaque scénario) pour devenir un problème de transfert de connaissances, potentiellement bien moins coûteux à l'échelle. C'est un angle direct sur le débat actuel autour des modèles VLA (vision-language-action) : la difficulté n'est pas de faire fonctionner l'architecture, mais de nourrir ces modèles en démonstrations diversifiées sans dépendre de téléopération coûteuse robot par robot. Ce travail s'inscrit dans la lignée des efforts récents pour exploiter les vidéos humaines comme source de supervision pour l'apprentissage robotique, un axe de recherche actif face aux approches concurrentes qui misent sur la simulation massive (sim-to-real) ou la téléopération directe pour générer des données. En structurant explicitement la connaissance intermédiaire via des graphes plutôt qu'en s'appuyant sur des modèles génératifs de bout en bout, Pegasus propose une alternative interprétable et vérifiable physiquement, dont la suite logique serait une validation sur du matériel robotique réel au-delà des benchmarks vidéo simulés.

Recherche❖Paper

1 source

39

510arXiv cs.RO 

Vers une intelligence incarnée digne de confiance : un cadre systémique et des niveaux de fiabilité graduels

Une équipe de recherche propose dans un article arXiv (2607.26121v1) un cadre systémique pour définir et graduer la fiabilité de l'intelligence incarnée, c'est à dire les robots et systèmes physiques pilotés par des modèles d'IA. Les auteurs posent que la simple réussite d'une tâche ne suffit pas à prouver qu'un système est fiable, car un échec en environnement réel peut causer un dommage physique immédiat, contrairement à une IA purement logicielle. Ils introduisent la notion de « succès sûr et soutenu » (sustained safe success) comme objectif central, organisé en quatre couches interdépendantes : la couche modèle, qui génère des actions compétentes avec une incertitude calibrée et des préférences de sécurité explicites ; la couche système, qui exécute ces actions de façon fiable via la perception, le calcul, le contrôle, les sécurités matérielles et les mécanismes de repli en cas de panne ; la couche preuve, qui documente et valide les garanties par l'évaluation, la vérification et la traçabilité ; et la couche déploiement, qui maintient ces garanties en conditions réelles via le monitoring, la gestion des autorisations et la réponse aux incidents. Les auteurs proposent aussi une hiérarchie non normative de niveaux de fiabilité. Pour l'industrie robotique, ce travail vise directement l'écart entre démonstrations spectaculaires et fiabilité réelle en déploiement, un problème récurrent avec les robots humanoïdes et les VLA (vision-language-action) présentés en vidéo mais rarement audités sur leur robustesse aux variations d'environnement. En proposant une grille de lecture commune, pensée pour comparer les acteurs et prioriser la recherche, ce cadre pourrait devenir une référence pour les intégrateurs et décideurs B2B cherchant à évaluer objectivement un fournisseur de robotique avant un déploiement industriel, plutôt que de se fier aux seules métriques marketing (temps de cycle, taux de succès en conditions contrôlées) souvent difficiles à vérifier. Le cadre s'appuie explicitement sur des disciplines déjà matures en matière de sûreté, le contrôle, l'informatique tolérante aux pannes, les systèmes distribués et la conduite autonome, un domaine qui a déjà dû formaliser des niveaux d'autonomie normalisés (les niveaux SAE). Les auteurs positionnent leur hiérarchie comme une base possible pour une future standardisation du secteur de la robotique incarnée, un chantier qui reste largement ouvert alors que les humanoïdes commerciaux (Figure, Tesla Optimus, Agility) et les modèles génération d'action comme Pi-0 ou GR00T N2 se multiplient sans référentiel de sécurité partagé.

Recherche❖Paper

1 source

39

511arXiv cs.RO 

Vision-TL-Action : génération neuro-symbolique de trajectoires à partir d'observations visuelles et de logique temporelle

Des chercheurs présentent Vision-TL-Action, une architecture neuro-symbolique qui génère des trajectoires robotiques directement à partir d'images multi-vues, d'un graphe de logique temporelle (TL) sans coordonnées explicites, et de l'état initial du robot, sans avoir besoin de la géométrie exacte des objets au moment de l'inférence. Les tokens représentant les nœuds de logique temporelle et les tokens visuels spatiaux sont fusionnés par attention croisée bidirectionnelle, et cette représentation conditionne un générateur de trajectoires par flow matching. Les tokens visuels ne sont enrichis que de coordonnées normalisées dans le plan image et d'identifiants de caméra, tandis qu'un objectif d'ancrage prédicat-région, utilisé seulement à l'entraînement, aide le modèle à relier les prédicats logiques aux objets référencés. Évalué avec la métrique Success@K (proportion de tâches réussies par au moins une trajectoire parmi K échantillonnées), le modèle atteint 67,45% de Success@1024 sur une tâche de manipulation avec bras Panda, contre 59,11% pour une référence "oracle" disposant de l'état géométrique exact. Sur une tâche de navigation AntMaze, il obtient 96,35% de Success@256, proche des 96,88% de l'oracle. Le code est publié sur GitHub (AricLau07/vision-tl-action). L'intérêt tient au problème que ce travail contourne: les générateurs de trajectoires conditionnés par logique temporelle encodent généralement la géométrie exacte des objets dans le graphe de tâche, ce qui suppose une reconstruction 3D précise en amont, coûteuse et fragile en conditions réelles. Ici, un ancrage purement 2D dans le plan image suffit à égaler, voire dépasser, une référence disposant d'un accès privilégié à l'état du monde. Pour les intégrateurs qui conçoivent des systèmes de manipulation à partir de spécifications de tâches formelles, cela suggère qu'un pipeline vision-langage-action peut se passer d'une chaîne de perception 3D complète. À noter: ces résultats restent obtenus en simulation, sur des bancs d'essai standards (Panda, AntMaze), sans validation sur robot physique où le bruit de perception, les occlusions et les erreurs de calibration compliquent généralement ce type d'approche. Ce travail s'inscrit dans le rapprochement croissant entre logique temporelle, utilisée de longue date en planification et vérification formelle, et les générateurs de trajectoires par flow matching ou diffusion qui sous-tendent des modèles vision-langage-action comme Pi-0, GR00T ou Helix. Les auteurs situent explicitement leur contribution par rapport aux méthodes existantes qui esquivent le problème de liaison perception-symbole en s'appuyant sur une géométrie exacte. Leurs études de résolution et d'intervention montrent que la finesse de l'ancrage spatial dépend du contenu sémantique et que l'identité du prédicat influence à la fois l'attention et la performance, ouvrant la voie à des travaux futurs sur des scènes multi-objets plus complexes et une validation sur robot réel.

Recherche❖Paper

1 source

39

512arXiv cs.RO 

Robot humanoïde : planification dynamique de tâches guidée par LLM et logique temporelle hiérarchique pour le transfert d'objets

Des chercheurs proposent un nouveau cadre neuro-symbolique pour piloter des tâches de transfert d'objets (handover) entre plusieurs robots en présence d'humains, en combinant modèles de langage (LLM) et logique temporelle formelle. Le système traduit une instruction humaine en langage naturel en spécifications hiérarchiques de type LTLf (Linear Temporal Logic sur traces finies), puis résout un problème conjoint d'allocation de tâches et de planification, appelé STAP (Simultaneous Task Allocation and Planning). Contrairement aux approches statiques classiques, l'architecture intègre une boucle de planification à horizon glissant (receding horizon planning) couplée à une perception en temps réel, ce qui lui permet de réajuster dynamiquement les plans lorsque l'environnement change, par exemple si une personne se déplace ou modifie sa consigne. Les auteurs rapportent des expériences menées à la fois en simulation et sur des robots réels. Ce travail s'attaque à un problème central pour l'industrie robotique : les LLM permettent aujourd'hui à des non-experts de formuler des tâches complexes en langage naturel, mais les plans générés restent souvent cinématiquement infaisables ou inefficaces sur des horizons longs, faute de garanties formelles. À l'inverse, les méthodes de logique temporelle offrent des garanties de correction et d'optimalité, mais fonctionnent généralement hors-ligne et passent mal à l'échelle. En démontrant un gain mesurable de taux de réussite, de fluidité d'interaction et une réduction du surcoût de replanification par rapport à des méthodes de référence, cette approche illustre une piste concrète pour fiabiliser les systèmes multi-robots collaboratifs en environnement partagé avec des humains, un enjeu direct pour les intégrateurs qui cherchent à dépasser le stade de la démonstration contrôlée. Le papier s'inscrit dans la lignée des travaux cherchant à combiner l'expressivité des LLM avec la rigueur des méthodes formelles de planification, un axe de recherche actif face aux limites connues des architectures purement neuronales de type VLA (vision-language-action) pour les tâches longues et critiques en sécurité. Il s'agit d'une republication (replace) sur arXiv, signe d'une révision par les auteurs ; le texte ne précise pas d'affiliation industrielle ni de calendrier de déploiement commercial, ce qui en fait une contribution de recherche plutôt qu'une annonce produit.

Recherche❖Paper

1 source

38

513arXiv cs.RO 

Explicit guidage cinématique à partir de concepts analytiques pour les modèles vision-langage-action

Une équipe de recherche publie sur arXiv (référence 2607.26513v1) un nouveau module baptisé Concept Expert, conçu pour les modèles Vision-Language-Action (VLA) utilisés en manipulation robotique. Le constat de départ est simple : la plupart des VLA actuels s'appuient uniquement sur des entrées 2D et ignorent la structure tridimensionnelle réelle des objets, ce qui limite leur précision dans les tâches de manipulation fine. Le Concept Expert construit ce que les auteurs appellent des "concepts analytiques exécutables", des sortes de plans programmatiques explicites décrivant chaque objet. Le mécanisme fonctionne en deux temps : avant l'inférence, il exploite des modèles de fondation visuels (VFM) pour estimer les paramètres cinématiques et structurels initiaux d'un objet ; ensuite, pendant la manipulation, le VLA suit et met à jour dynamiquement ces paramètres pour rester aligné avec ce qu'il observe en temps réel. Ces concepts servent ensuite à guider le fine-tuning du modèle, via des récompenses programmatiques denses et un guidage spatial précis. Les auteurs rapportent des gains constants de taux de succès et d'efficacité d'apprentissage, en apprentissage supervisé comme en renforcement. L'intérêt de cette approche pour l'industrie robotique tient à un problème persistant des modèles VLA à grande échelle : leur difficulté à généraliser des manipulations précises sans passer par une compréhension géométrique explicite des objets manipulés. En intégrant une représentation 3D structurée directement dans le pipeline d'apprentissage, plutôt que de compter uniquement sur des corrélations apprises à partir d'images 2D, cette méthode s'attaque frontalement à l'écart entre démonstrations en laboratoire et robustesse en conditions réelles, un point sensible pour les intégrateurs qui déploient des VLA de type Pi-0, GR00T N2 ou Helix sur des tâches industrielles exigeant une précision fine (préhension, insertion, alignement). Si les gains annoncés se confirment sur des bancs d'essai plus larges, cela pourrait renforcer la crédibilité des approches hybrides combinant fondations visuelles 3D et bout-en-bout, plutôt que le tout-apprentissage pur actuellement dominant chez la plupart des labos. Ce travail s'inscrit dans une tendance de fond de la recherche en VLA post-training, où plusieurs équipes cherchent à injecter des a priori structurels (géométrie, physique, cinématique) dans des modèles historiquement entraînés de façon purement data-driven sur des vidéos ou démonstrations téléopérées. Les grands acteurs du secteur, qu'il s'agisse des laboratoires derrière Pi-0 ou GR00T, explorent des voies similaires pour combler le fossé entre performance en démonstration et fiabilité en déploiement réel. La publication, encore au stade de preprint arXiv, ne précise pas de partenariat industriel ni de calendrier de transfert vers des plateformes commerciales ; elle reste pour l'instant une contribution méthodologique dont l'impact concret dépendra de sa reproduction et de son adoption par des équipes travaillant sur des bras robotiques ou des humanoïdes en conditions réelles.

Recherche❖Paper

1 source

38

514arXiv cs.RO 

Speech2Grasp : transfert efficace de la détection de préhension conditionnée par le texte vers la parole chez les robots humanoïdes

Des chercheurs publient sur arXiv (référence 2607.26567v1) Speech2Grasp, un framework qui transfère vers la parole une capacité jusque-là limitée au texte : la détection de préhension (grasp detection) chez les robots humanoïdes. Le point de départ est ALBEF, un modèle vision-langage établi utilisé comme cas d'étude. Les auteurs montrent par des analyses diagnostiques qu'un simple projecteur léger, un perceptron multicouche (MLP), suffit à adapter ALBEF à des entrées vocales, en conservant sa capacité de discrimination sémantique et sa robustesse. Sur cette base, l'équipe construit Speech2Grasp, un système entraîné de façon économe en données. Testé sur un robot humanoïde réel, il surpasse un pipeline classique en cascade, où la parole est d'abord transcrite par reconnaissance vocale (ASR) puis traitée comme du texte, tout en réduisant la latence d'inférence. Ce résultat comble un décalage fréquent dans l'interaction homme-robot : la plupart des systèmes de perception et de manipulation restent conditionnés par du texte, alors que la parole est le canal naturel pour un humain donnant des instructions. Passer par un pipeline ASR classique ajoute de la latence et propage les erreurs de transcription vers l'étape de compréhension. Pour les intégrateurs qui conçoivent des interfaces vocales pour humanoïdes, la démonstration qu'une adaptation légère et peu coûteuse en données suffit à conserver les performances d'un modèle texte est un signal pratique : elle suggère qu'il n'est pas nécessaire de réentraîner des modèles vision-langage entiers pour les rendre exploitables en environnement vocal réel. Le travail s'inscrit dans la vague plus large des modèles vision-langage-action (VLA), à l'image de GR00T N2, Pi-0 ou Helix, qui conditionnent tous leurs actions sur des instructions en langage naturel, généralement écrites. ALBEF, lui, vient de la recherche en pré-entraînement vision-langage, hors robotique. Speech2Grasp propose ainsi un paradigme de transfert potentiellement réutilisable pour d'autres systèmes texte-conditionnés du secteur, plutôt qu'une architecture figée. Les auteurs présentent leurs résultats comme une preuve de concept ; les prochaines étapes attendues porteraient sur l'extension à d'autres tâches de manipulation et à d'autres modèles VLA.

Recherche❖Paper

1 source

38

515arXiv cs.RO 

HumanCLAW : les modèles vision-langage peuvent-ils agir à travers un corps ?

Décider où poser le pied ou quoi ramasser est une chose ; l'exécuter avec un corps qui doit garder l'équilibre en est une autre, et jusqu'ici les benchmarks d'IA incarnée mélangeaient les deux dans un seul score d'échec. Une équipe de recherche présente HumanCLAW, un cadre d'évaluation qui sépare explicitement la décision d'action, confiée à un modèle vision-langage (VLM) générique non modifié, de son exécution motrice. À chaque étape, le VLM se contente d'émettre une commande de compétence atomique (aller vers, saisir, éviter), traduite ensuite en une fraction de seconde de mouvement corporel complet soumis à la vraie physique, gravité et collisions comprises, mais dont l'exécution motrice elle-même n'est pas imputée au modèle. Sur cette base, les chercheurs ont construit HumanCLAW-Bench : 1 218 épisodes longs, en vue égocentrique, combinant recherche, navigation et interaction dans 41 scènes d'intérieur. Neuf VLMs de pointe ont été testés, et aucun ne parvient à résoudre le benchmark ; le meilleur plafonne à 16,8 % de réussite. Ce résultat déplace le diagnostic habituel sur l'IA incarnée. Puisque les erreurs de motricité et d'équilibre sont neutralisées par construction, l'échec ne peut plus être attribué à un contrôleur bas niveau défaillant : il révèle une limite propre à l'intelligence décisionnelle du modèle. Or reconnaître la cible visuellement n'est pas le problème, selon les auteurs : c'est l'absence de conscience corporelle incarnée qui bloque les VLMs, incapables de savoir où se situe leur propre corps, s'ils ont atteint l'objectif, ou s'ils viennent de heurter un obstacle. Pour les équipes qui développent des modèles vision-langage-action destinés à des robots humanoïdes, cela suggère que l'ajout de capacités motrices ou de données de démonstration ne suffira pas tant que le modèle n'intègre pas une forme de proprioception explicite. HumanCLAW s'inscrit dans une lignée de benchmarks d'IA incarnée cherchant à isoler les sources d'échec plutôt qu'à mesurer un taux de succès global. En proposant une méthodologie reproductible et un large jeu de scènes, les auteurs ouvrent la voie à des comparaisons plus fines entre futurs VLMs et à des pistes de recherche ciblées sur l'auto-localisation et le suivi d'état corporel, plutôt que sur la seule perception d'objets.

Recherche❖Paper

1 source

38

516arXiv cs.RO 

SymmGrid : passer à l'échelle l'apprentissage embarqué grâce aux symétries parallélisées et à la perception visuelle égocentrique-exocentrique

SymmGrid, présenté dans un article déposé sur arXiv (2607.26985v1), s'attaque à la lenteur de l'apprentissage par renforcement directement sur robot physique, dit « on-robot learning ». La méthode exploite des symétries parallélisées : des transformations de groupe appliquées au niveau de la trajectoire entière, qui peuplent le buffer de rejeu avec de multiples variantes cohérentes de chaque expérience vécue par le robot. Le système fonctionne aussi bien en vision égocentrique (caméra embarquée) qu'exocentrique (caméra externe) ; dans ce second cas, des homographies déforment la scène visuelle pour qu'elle reste cohérente avec chaque transformation spatiale appliquée à l'état et à l'action. Les auteurs ont testé SymmGrid sur robot réel, sur trois tâches de manipulation avec contact : insertion de pièces (peg-insertion), routage de câbles et repositionnement d'objets. Comparé aux méthodes de référence, l'apprentissage converge 1,37 à 2,17 fois plus vite, avec un taux de réussite amélioré de 1,09 à 1,27 fois. Les temps de convergence les plus rapides obtenus sont de 16,6, 10,9 et 79,3 minutes pour ces trois tâches respectivement, et le gain sur l'aire sous la courbe normalisée atteint 2,59 fois. L'enjeu dépasse la simple optimisation académique : entraîner un robot en conditions réelles reste bloqué par le temps machine, chaque essai se déroulant en temps réel sans parallélisation possible, ce qui pousse l'essentiel de la recherche vers le sim-to-real. SymmGrid propose une voie alternative, moins gourmande en données et en simulateurs haute fidélité, directement exploitable sur le matériel. Si les gains se confirment à plus grande échelle, l'objectif affiché de descendre sous les dix minutes d'entraînement pour des tâches de manipulation avec contact intéresserait directement les intégrateurs devant reconfigurer rapidement des bras ou des humanoïdes pour de nouvelles tâches, sans dépendre de politiques génératives entraînées sur des volumes massifs de données. Les résultats restent toutefois limités à trois tâches définies en laboratoire, sans validation sur une politique généraliste multi-tâches ni sur des plateformes humanoïdes complexes. L'approche s'inscrit dans la lignée des méthodes d'apprentissage par renforcement exploitant des symétries connues du problème pour augmenter artificiellement les données d'entraînement, une piste étudiée depuis plusieurs années en robotique et en RL équivariant. L'ambition affichée par les auteurs, du sub-10-minute training pour la manipulation de précision, tranche avec les cycles d'entraînement de plusieurs heures voire jours habituels en apprentissage réel. La page du projet est accessible sur symmgrid-robot.github.io ; l'article ne précise pas encore de calendrier de transfert vers des plateformes commerciales.

Recherche❖Paper

1 source

38

517arXiv cs.RO 

GBPP : prédiction de placement de base sensible à la préhension via un apprentissage en deux étapes

Des chercheurs proposent GBPP, un système d'apprentissage rapide qui détermine où positionner la base d'un robot mobile avant une opération de préhension, à partir d'une simple image RGB-D. La méthode repose sur un apprentissage en deux temps : une première phase utilise une règle simple de distance et de visibilité pour étiqueter automatiquement un grand volume de données à faible coût, puis une seconde phase affine le modèle grâce à un nombre plus restreint d'essais en simulation à haute fidélité, calibrés sur les résultats réels de préhension. Le cœur du système est un encodeur de nuage de points inspiré de PointNet++, couplé à un perceptron multicouche qui évalue une grille dense de poses candidates pour la base du robot. Testé à la fois en simulation et sur un manipulateur mobile réel, GBPP surpasse les approches de référence fondées uniquement sur la proximité ou la géométrie, en choisissant des positions plus sûres et plus facilement atteignables, et en se dégradant progressivement plutôt que brutalement lorsque son estimation est erronée. Ce travail s'attaque à un goulot d'étranglement classique de la manipulation mobile : trouver la bonne position de la base avant de saisir un objet nécessite normalement une optimisation conjointe de la tâche et du mouvement, coûteuse en temps de calcul et peu compatible avec des cadences industrielles. En remplaçant cette optimisation complète par un scoring quasi instantané, GBPP ouvre la voie à une sélection de pose en ligne, un enjeu direct pour les intégrateurs déployant des robots mobiles en entrepôt ou en usine, où chaque seconde de planification compte. Le résultat conforte aussi une hypothèse plus large du secteur : des heuristiques peu coûteuses suffisent à couvrir l'essentiel du problème, à condition d'être recalibrées par un nombre ciblé de simulations fidèles, plutôt que de tout miser sur une simulation massive ou sur un apprentissage entièrement supervisé. Le papier, référencé arXiv:2509.11594 et publié dans une troisième version révisée, s'inscrit dans la lignée des travaux sur le placement de base pour la manipulation mobile, un problème habituellement traité par des méthodes de planification tâche-et-mouvement (TAMP) ou par des heuristiques géométriques simples, toutes deux limitées soit en vitesse soit en robustesse. En positionnant GBPP comme une alternative data-efficiente entre ces deux extrêmes, les auteurs proposent une recette réutilisable pour d'autres briques de la robotique mobile où la donnée réelle est rare mais où la simulation ciblée reste abordable.

Recherche❖Paper

1 source

38

518arXiv cs.RO 

Apprentissage par renforcement sur du matériel quadrupède à coût limité

Des chercheurs démontrent qu'il est possible d'obtenir une locomotion robotique robuste sur du matériel quadrupède bas coût, malgré des latences matérielles qui compromettent habituellement les politiques de contrôle apprises par renforcement. Sur la plateforme Mini Pupper 2, l'équipe mesure un délai de transport de plus de 50 millisecondes entre la commande envoyée à l'actionneur et son exécution réelle, un délai qui transforme la tâche de marche d'un processus de décision markovien classique en un problème partiellement observable, bien plus difficile à résoudre par apprentissage. Pour combler cet écart entre simulation et déploiement réel, les auteurs combinent un modèle prédictif du délai moyen des actionneurs avec un réseau de neurones "conscient du temps" (time-aware), c'est-à-dire capable d'intégrer explicitement la dimension temporelle dans ses décisions. Résultat marquant : ce réseau apprend spontanément un générateur de motif central (CPG), un patron de marche rythmique auto-entretenu qui reste stable même face à des perturbations de latence allant jusqu'à 320 millisecondes. L'enjeu dépasse le simple exercice académique. La plupart des progrès en locomotion apprise par renforcement s'appuient sur du matériel haut de gamme, aux actionneurs précis et peu sujets au bruit, ce qui limite la portée pratique de ces recherches pour des robots réellement abordables. Ici, l'équipe montre qu'un défaut matériel structurel, le délai de transport, peut être compensé non pas en améliorant l'actionneur mais en changeant l'architecture de contrôle elle-même. C'est un signal utile pour les intégrateurs et fabricants visant des plateformes robotiques low-cost : le goulot d'étranglement du sim-to-real n'est pas uniquement une question de fidélité de simulation, mais aussi de représentation temporelle dans le réseau de contrôle. L'approche s'inspire directement de la biologie : les générateurs de motifs centraux existent naturellement dans la moelle épinière des vertébrés, où ils produisent des rythmes moteurs autonomes indépendants du retour sensoriel direct, précisément pour gérer les délais de transmission nerveuse. En retrouvant ce même mécanisme de manière émergente dans un réseau artificiel confronté à un problème analogue, les auteurs suggèrent que l'auto-organisation temporelle pourrait constituer une stratégie générale, et non un simple artifice, pour la locomotion sur matériel contraint en coût. Les auteurs positionnent ce travail comme une piste à creuser plutôt qu'une solution définitive, ouvrant la voie à des tests sur d'autres plateformes bas coût et d'autres profils de délai.

Recherche❖Paper

1 source

37

519arXiv cs.RO 

PolygMap : un cadre de locomotion perceptive pour la montée d'escaliers des robots humanoïdes

Traversée d'escaliers pour robots humanoïdes: des chercheurs présentent PolyMap, un système de navigation qui construit en temps réel une carte sémantique polygonale des marches à partir de la fusion de plusieurs capteurs, LiDAR, caméra RGB-D et centrales inertielles. Le robot segmente chaque plan de marche sous forme de polygones puis calcule où poser le pied grâce à un planificateur qui exploite directement ces segments plans. L'ensemble tourne sur une carte NVIDIA Orin embarquée, avec une sortie de planification de mouvement corps entier à 20-30 Hz, une cadence suffisante pour ajuster la trajectoire du robot en marchant sans interrompre la locomotion. Les auteurs, dont les travaux sont documentés dans un article déposé sur arXiv (2510.12346, version 2, remplaçant une publication antérieure), rapportent des essais réels en intérieur et en extérieur validant la robustesse et l'efficacité de l'approche pour la montée d'escaliers. L'enjeu dépasse la simple prouesse technique: la marche humanoïde actuelle reste largement conçue pour des sols plats et prévisibles, un schéma de marche générique qui ne demande pas au robot de regarder où il pose le pied. Grimper un escalier inconnu exige au contraire une perception précise et une planification de pas en temps réel, exactement le type de tâche où les démonstrations spectaculaires en environnement contrôlé échouent souvent une fois confrontées à un terrain réel non calibré. En combinant cartographie sémantique et planification de pas sur du matériel embarqué à cadence élevée, PolyMap répond directement à ce fossé entre démonstration et déploiement, un point sensible pour tout intégrateur envisageant des humanoïdes en environnement industriel ou logistique comportant des dénivelés. Cette approche s'inscrit dans une lignée de recherche plus large sur la locomotion perceptive, qui cherche à remplacer les mouvements scriptés par une perception active de l'environnement, un axe également exploré par d'autres laboratoires académiques et industriels travaillant sur la marche humanoïde. Le papier étant une publication arXiv de recherche et non une annonce produit, aucun calendrier de commercialisation n'est communiqué; il s'agit ici d'une contribution méthodologique destinée à alimenter les futurs systèmes de contrôle plutôt que d'un déploiement commercial annoncé.

Recherche❖Paper

1 source

37

520arXiv cs.RO 

MoMo : composer le mode de mouvement en manipulation robotique via une tokenisation spatio-temporelle de l'action

Une équipe de recherche présente MoMo, un framework d'apprentissage par imitation en deux étapes qui permet de faire varier non plus seulement la précision d'un geste robotique, mais sa manière d'être exécuté. Le système combine un tokeniseur d'actions spatio-temporel et un transformeur de clonage comportemental, qui reçoit en entrée à la fois la tâche à accomplir et une condition continue de « mode de mouvement ». Testé sur six tâches de manipulation avec un robot réel, ce paramètre permet de produire des comportements qualifiés de posés, dynamiques ou intermédiaires, que des évaluateurs humains parviennent à distinguer de façon fiable. Les différences se mesurent concrètement dans la vitesse et l'accélération des articulations, ainsi que dans l'angle d'approche de l'effecteur terminal. Fait notable, lorsqu'une tâche n'a été démontrée que dans un seul mode d'exécution, MoMo parvient à transférer un mode demandé mais jamais vu pour cette tâche précise, tout en conservant l'essentiel du taux de réussite. Le papier est publié sur arXiv (2607.26315v1). Cette capacité de généralisation compositionnelle, à savoir combiner une tâche connue avec un style d'exécution inédit, touche un point sensible du déploiement industriel des robots manipulateurs: jusqu'ici, les modèles vision-langage-action (VLA) de type Pi-0, GR00T N2 ou Helix se concentrent surtout sur le « quoi faire », rarement sur le « comment le faire ». Or pour un intégrateur, la manière d'exécuter un geste compte autant que sa réussite: un préhenseur qui va vite sur une pièce robuste mais qui doit ralentir sur un composant fragile, ou une cadence différente selon la proximité d'un opérateur humain. Que ce réglage de style soit réutilisable d'une tâche à l'autre, sans réentraîner un modèle dédié par comportement, laisse entrevoir une réduction du coût de personnalisation des compétences robotiques en usine. Ce travail s'inscrit dans la lignée des recherches en clonage comportemental et en apprentissage par imitation, qui cherchent depuis plusieurs années à dépasser la simple reproduction de trajectoires démontrées pour capturer des facteurs de comportement transférables. Il reste, à ce stade, une preuve de concept académique limitée à six tâches et un seul bras robotique en laboratoire, sans indication de partenariat industriel ni de calendrier de déploiement. La suite logique serait une validation sur davantage de plateformes et de familles de tâches, pour vérifier si ce contrôle du style de mouvement tient à l'échelle des modèles VLA généralistes actuellement commercialisés.

Recherche❖Paper

1 source

37

521arXiv cs.RO 

La pratique fait la politique : construire et consolider des capacités robotiques sans démonstration humaine

HERO (Heuristic-Exemplar-Reflexive Orchestration) est un cadre robotique proposé dans un article arXiv publié fin juillet 2026, conçu pour permettre à un bras ou un robot manipulateur d'apprendre des tâches de manipulation sans aucune démonstration humaine préalable. Le système combine trois mécanismes dans une architecture hiérarchique unifiée : un raisonnement heuristique pour explorer et amorcer de nouvelles tâches, une réutilisation d'exemplaires pour transférer rapidement des comportements déjà appris à des situations similaires, et une exécution réflexive qui corrige les erreurs en temps réel pendant l'interaction physique. L'idée centrale est que le robot collecte lui-même ses données d'entraînement en agissant dans l'environnement, puis consolide progressivement les interactions récurrentes en politiques visuomotrices en boucle fermée, c'est-à-dire des comportements appris directement à partir des flux caméra et capteurs, sans supervision humaine continue. Les auteurs rapportent, via des expériences étendues, une réduction substantielle de l'intervention humaine lors de la collecte de données, avec une manipulation jugée robuste sur des tâches variées. L'intérêt pour l'industrie tient au problème que HERO cherche à résoudre : la plupart des systèmes de manipulation robotique actuels apprennent des compétences figées, calibrées pour une tâche ou un environnement précis, et ne s'améliorent pas de façon autonome au fil de l'usage réel. Un mécanisme qui transforme l'expérience accumulée en capacités réutilisables, sans démonstrations humaines coûteuses à collecter, s'attaque directement au goulot d'étranglement des données qui freine le déploiement à grande échelle des politiques de type VLA (vision-language-action) chez les intégrateurs et fabricants de robots généralistes. Ce travail s'inscrit dans une lignée de recherche plus large sur l'auto-amélioration des agents incarnés, où plusieurs laboratoires explorent des boucles fermées entre collecte de données, entraînement de politiques et exécution. Il s'agit ici d'une publication de recherche, pas d'un produit commercialisé ni d'un déploiement industriel documenté : les résultats proviennent d'expériences en laboratoire, et l'article ne précise ni le matériel utilisé ni de comparaison chiffrée avec des systèmes concurrents nommés.

Recherche❖Paper

1 source

35

522arXiv cs.RO 

NeoRacer : voiture de course autonome open source à l'échelle 1:12, standardisée pour l'évaluation et l'enseignement

La Neobotics Foundation et Seeed Studio ont présenté NeoRacer, une plateforme open source de voiture de course autonome à l'échelle 1:12, conçue pour le benchmarking et l'enseignement en robotique. Vendue pré-assemblée à 2 699 dollars, elle embarque un NVIDIA Jetson Orin Nano délivrant 67 TOPS de calcul, un LiDAR à 270 degrés, une caméra global shutter à 120 images par seconde et une centrale inertielle 9 axes. Seeed Studio assure la fabrication, avec pour objectif une production évolutive et reproductible. Selon les concepteurs, NeoRacer offre plus de trois fois la puissance de calcul des plateformes comparables, pour moins de la moitié du prix de l'alternative pré-assemblée la plus proche. Le matériel est publié sous licence CERN-OHL-S v2 et le logiciel sous GPLv3 ; fichiers de conception, firmware et paquets ROS2 sont accessibles publiquement. Deux déploiements pilotes ont validé l'architecture : le programme IAP du MIT, avec 15 étudiants, et le CPS Lab de l'université de Boston, avec 10 étudiants. La recherche en course autonome souffre d'un manque de plateforme matérielle standardisée : les équipes assemblent des systèmes maison ou achètent des véhicules de niche coûteux, ce qui rend la comparaison des algorithmes et la reproductibilité des résultats difficiles d'un laboratoire à l'autre. Cette fragmentation limite aussi l'accès des équipes hors des laboratoires bien financés, tandis que les robots éducatifs abordables restent souvent sous-dimensionnés en calcul embarqué. En proposant un châssis unique, ouvert et documenté à un prix contenu, NeoRacer cherche à combler ce vide, à la manière dont d'autres disciplines scientifiques ont accéléré leurs progrès grâce à des bancs d'essai partagés. Pour les chercheurs en contrôle et robotique comme pour les enseignants, cela ouvre la possibilité de comparer des algorithmes de perception et de planification sur un matériel commun plutôt que sur des configurations disparates, un enjeu concret pour la crédibilité des publications et l'accessibilité pédagogique. Le projet est porté conjointement par la Neobotics Foundation, dédiée à l'open hardware robotique, et Seeed Studio, fabricant connu pour ses cartes de développement et son implication dans plusieurs initiatives matérielles ouvertes en robotique et IA embarquée. NeoRacer s'inscrit dans la lignée des plateformes de course miniature autonome existantes, comme F1TENTH, référence académique du domaine, avec l'ambition d'un meilleur compromis coût-performance et d'une chaîne de production industrialisée plutôt qu'artisanale. La publication détaille les choix d'architecture matérielle et logicielle ainsi que les arbitrages coût-performance issus des deux déploiements pilotes. La disponibilité publique de l'ensemble des fichiers de conception laisse présager une adoption élargie par d'autres établissements, à confirmer par de futurs déploiements au-delà du MIT et de Boston University.

Infrastructure⚡Actu

1 source

32

523arXiv cs.RO 

Contrôle temporel par retard utilisant une nouvelle loi adaptative non linéaire pour robots à câbles

Des chercheurs présentent, dans une prépublication déposée sur arXiv le 26 juillet 2026 (arXiv:2607.26383v1), une nouvelle stratégie de commande pour les robots à câbles, ces manipulateurs entraînés par des câbles au lieu de bras rigides. Ces systèmes souffrent de fortes non-linéarités et d'une faible rigidité structurelle, ce qui complique le suivi précis de trajectoire face à des incertitudes variables et des perturbations externes. La méthode, baptisée AFONTSM (adaptive fractional-order nonsingular terminal sliding mode), s'appuie sur l'estimation du retard temporel (time-delay estimation, TDE) dans un cadre de commande sans modèle dynamique, combinée à une dynamique d'erreur en mode glissant terminal non singulier d'ordre fractionnaire et à une loi d'approche en mode glissant terminal rapide. Sa contribution principale est une loi adaptative qui introduit un terme exponentiel dans le gain de mise à jour, un mécanisme non linéaire censé limiter le broutement (chattering) causé par le bruit pendant un suivi lisse, tout en maintenant le gain adaptatif lors des inversions de trajectoire. Une analyse de Lyapunov établit la bornitude uniforme de l'erreur de poursuite. Sur banc d'essai, mesuré sur deux articulations, le RMSE recule de 34,52% et 31,11%, l'ITAE de 33,79% et 32,97%, et l'ISCT de 6,69% et 17,77% par rapport à une méthode de référence. Pour les intégrateurs qui déploient des robots à câbles, en logistique, en rééducation ou pour des applications à grande échelle comme les radiotélescopes suspendus, l'intérêt tient surtout au caractère sans modèle de l'approche: la commande TDE évite de devoir identifier précisément la dynamique du robot, souvent complexe et changeante pour ce type de mécanisme. Une meilleure suppression du chattering sans sacrifier la réactivité lors des changements brusques de direction s'attaque à un compromis classique des commandes en mode glissant, potentiellement transposable à d'autres classes de robots sous-actionnés ou à câbles industriels. Ce travail s'inscrit dans une lignée de recherche déjà dense sur les modes glissants terminaux et leurs variantes d'ordre fractionnaire, où les auteurs comparent explicitement leur loi adaptative à plusieurs lois récemment publiées, revendiquant une réponse plus rapide et une évolution de gain plus stable. Des essais complémentaires en charge visent à vérifier la robustesse et la répétabilité. Il s'agit toutefois d'une prépublication non encore évaluée par les pairs, validée en laboratoire sur un prototype à deux articulations, loin d'un déploiement industriel: les gains annoncés restent à confirmer sur des architectures de câbles plus complexes.

Recherche❖Paper

1 source

40

524Pandaily 

AgiBot WITA-Omni domine le classement mondial DailyOmni, devant Google Gemini, ByteDance Doubao et Alibaba Qwen en compréhension multimodale incarnée

AgiBot a annoncé que son modèle multimodal maison WITA-Omni Preview a obtenu un score de 85,21 sur le classement DailyOmni, se plaçant devant Alibaba Qwen, Google Gemini, ByteDance Doubao et NVIDIA, avec la première place sur six des huit indicateurs évalués. Ce benchmark mesure la capacité à traiter simultanément des signaux audio et visuels en environnement réel : alignement audio-visuel (86,13), raisonnement temporel sur des événements (84,64), raisonnement croisé multimodal (85,06), ainsi que les meilleurs scores sur des tâches de compréhension vidéo de 30 et 60 secondes. Contrairement aux modèles multimodaux généralistes conçus pour l'interaction avec du contenu numérique, WITA-Omni est construit dès l'origine pour l'interaction incarnée, où un robot doit comprendre, répondre et agir dans un environnement physique en temps réel. Son architecture, baptisée Thinker-Talker-Actor, remplace le pipeline séquentiel classique (reconnaissance vocale, compréhension sémantique, génération de réponse, synthèse vocale, puis action) par trois modules exécutés en parallèle sur une même ligne temporelle : Thinker pour le raisonnement multimodal, Talker pour la génération de parole en flux continu, et Actor pour les gestes et expressions faciales. Le module Actor reçoit à la fois l'état sémantique de Thinker et les variables latentes audio de Talker, ce qui synchronise les mouvements du robot avec le rythme, les pauses, l'emphase et le ton émotionnel de la parole. Cette annonce mérite d'être lue avec prudence : il s'agit d'un score de benchmark communiqué par AgiBot lui-même, sans validation indépendante ni accès public au modèle à ce stade, et la comparaison porte sur des systèmes multimodaux généralistes (Gemini, Doubao, Qwen) plutôt que sur des concurrents directement spécialisés dans l'incarnation robotique. Cela dit, si les chiffres se confirment, l'enjeu dépasse le simple classement technique. La suppression de la latence cumulative du pipeline séquentiel classique et la synchronisation geste-parole-expression touchent directement un problème concret pour les intégrateurs : la crédibilité des interactions humain-robot dans des environnements non contrôlés, au-delà de l'usine. Pour les décideurs B2B du secteur, cela illustre une thèse qu'AgiBot pousse activement : les entreprises d'IA incarnée peuvent surpasser les modèles généralistes adaptés après coup en optimisant directement pour les contraintes du monde réel, plutôt qu'en pariant sur la seule taille ou qualité générale du modèle. Ce résultat s'inscrit dans une stratégie plus large chez AgiBot, qui avait déjà revendiqué la première place du classement WorldArena avec son modèle du monde Genie Envisioner-Sim 2.0. L'entreprise chinoise, l'un des acteurs majeurs de la course aux robots humanoïdes aux côtés de Figure, Unitree ou Fourier Intelligence, construit ainsi une pile en trois piliers : WITA-Omni pour l'interaction, un modèle du monde pour la compréhension physique, et le matériel robotique pour l'action. Sur ce terrain de l'interaction multimodale synchronisée, encore peu disputé frontalement par les géants généralistes chinois et américains, AgiBot cherche à se positionner comme référence avant que la compétition ne s'intensifie, à mesure que les robots humanoïdes quittent les usines pour des espaces sociaux non structurés où la coordination entre parole et geste devient un critère de différenciation aussi important que la dextérité physique elle-même.

IA physique❧Opinion

1 source

26

525The Verge 

Le gouvernement américain interdit les Roomba

Cette annonce du gouvernement américain interdit les « dispositifs robotiques avancés » en provenance de certains pays étrangers, avec une portée qui va bien au-delà des humanoïdes : les aspirateurs-robots comme les Roomba sont explicitement concernés, confirme Katie Gorscak, directrice des relations médias de la FCC, à The Verge. Les appareils déjà approuvés et importés restent autorisés à la vente, et les propriétaires actuels d'aspirateurs connectés ne sont pas affectés. Mais les futurs modèles fabriqués par des entreprises étrangères jugées à risque pourraient être bloqués à l'entrée du territoire américain, au nom de la sécurité nationale. Résultat inattendu : même les fabricants de robots aspirateurs se voient désormais sommés de s'engager sur une fabrication locale aux États-Unis. Cette mesure illustre un changement de paradigme dans la régulation robotique américaine : l'exécutif ne cible plus seulement les usages militaires ou industriels sensibles, mais élargit la définition de « robot à risque » à tout appareil domestique connecté capable de cartographier un intérieur et de transmettre des données. Pour les fabricants chinois notamment, très présents sur ce marché (iRobot ayant lui-même été concurrencé par des marques comme Roborock ou Ecovacs), cela signifie une pression accrue vers la relocalisation de la production ou l'exclusion pure et simple du marché américain. Pour les integrateurs et décideurs B2B du secteur robotique au sens large, ce signal confirme que les barrières commerciales autour de la robotique s'étendent désormais à des catégories de produits jusque-là considérées comme anodines. Cette décision s'inscrit dans la continuité des politiques de l'administration Trump visant à restreindre les technologies étrangères jugées porteuses de risques d'espionnage, un cadre déjà appliqué aux télécommunications (Huawei) et désormais étendu à la robotique domestique et humanoïde. Les modalités précises du dispositif, notamment les critères d'exclusion par pays ou par fabricant, ainsi que le calendrier d'application aux nouveaux modèles, restent à préciser par la FCC dans les prochaines semaines.

FR/EU ecosysteme⚡Actu

1 source

31

526Robotics Business Review 

GMEX Robotics va racheter MediaMeta.ai pour son intelligence sociale

GMEX Robotics Corp., basé à Taren Point en Australie et anciennement connu sous le nom de Fitell Corp., a annoncé la signature d'un accord définitif d'achat d'actions avec Alpha Meta AI Pte. Ltd., MetaGen AI Ltd. et d'autres parties liées à MediaMeta.ai, société singapourienne spécialisée dans la modélisation comportementale humaine par IA. Selon les termes de l'accord, GMEX acquerra dans un premier temps 30% du capital entièrement dilué de l'entité, avec une option lui permettant d'obtenir à terme une participation majoritaire. La contrepartie combine numéraire et actions ordinaires GMEX, selon des modalités encore à finaliser. L'accord prévoit des clauses de complément de prix liées à un objectif de revenus de plus de 52,6 millions de dollars sur les cinq années suivant la clôture, avec un mécanisme d'ajustement ou de remboursement partiel si MediaMeta n'atteint pas cette cible. GMEX et ses filiales obtiennent en outre une licence technologique perpétuelle, exclusive et libre de redevances sur la propriété intellectuelle, les logiciels, les modèles d'IA et les données robotiques concernés. L'opération reste soumise à sa clôture effective ainsi qu'à des travaux ultérieurs d'intégration, de tests et de commercialisation. Cette acquisition illustre une tendance de fond dans la robotique de service: l'ajout d'une couche de "compréhension sociale" aux systèmes déjà capables physiquement, jugée nécessaire pour des déploiements crédibles dans l'hôtellerie, la santé, l'aide à la personne, l'éducation ou le commerce de détail, marchés visés par GMEX pour ses robots. MediaMeta affirme construire des modèles du monde social capables d'interpréter contexte culturel, signaux comportementaux et environnementaux pour permettre à un système de mieux anticiper les réactions humaines. Les formulations employées par les deux entreprises, qui parlent de "prochaine génération de machines intelligentes" ou de couche "manquante" entre IA et interaction humaine réelle, restent à ce stade des éléments de communication: aucun produit intégré n'est encore livré, et la portée réelle de cette "intelligence sociale" appliquée à des robots physiques reste à démontrer une fois l'intégration technique effectuée. GMEX, fournisseur d'équipements de fitness à l'origine sous le nom Fitell, s'est repositionné ces dernières années vers les robots de service et sociaux, avec l'ambition affichée de bâtir une plateforme baptisée "Terminal + Intelligence", décrite par le PDG Sam Lu comme l'axe central de 2026 pour l'entreprise. MediaMeta, de son côté, a développé un écosystème allant de la création de contenu au marketing intelligent pour des besoins d'entreprise, avant de réorienter sa technologie vers la modélisation sociale appliquée à l'IA. L'opération s'inscrit dans un mouvement plus large de consolidation où des fabricants de robots cherchent à intégrer, par acquisition plutôt que développement interne, des briques logicielles jugées différenciantes, une dynamique déjà observée chez plusieurs acteurs du secteur des robots humanoïdes et de service.

Business⚡Actu

1 source

44

527Interesting Engineering 

Un robot de patrouille monoroue autoéquilibré promet une sécurité plus intelligente et plus légère

Une startup estonienne, Rollo Robotics, fondée en 2025, a dévoilé 1ROLLO, un robot de sécurité autonome se déplaçant sur une seule roue de 60 centimètres de diamètre, qu'elle présente comme le premier robot monoroue stable capable d'assurer des rondes réelles. L'engin mesure 110 centimètres de haut pour environ 45 kilogrammes et embarque un volant d'inertie (flywheel) monté verticalement à l'intérieur de la roue, dont les forces gyroscopiques le maintiennent en équilibre à l'arrêt, en mouvement ou sur terrain irrégulier ; pour tourner, ce volant s'incline et fait pencher le robot comme une moto. Des capteurs haute fréquence alimentent en continu le logiciel de contrôle maison pour ajuster l'équilibre, y compris par vent fort. 1ROLLO atteint 30 km/h, tient jusqu'à huit heures sur batterie avant de retourner seul à sa station de charge sans fil, et son boîtier IP65 encaisse pluie, poussière et des températures de -20°C à 55°C. Il embarque une vision à 360 degrés par computer vision et IA embarquée pour détecter personnes, véhicules ou portes ouvertes, une navigation RTK-GNSS sur itinéraires pré-cartographiés, et remonte ses alertes en 4G, 5G ou Wi-Fi vers une plateforme cloud de gestion de flotte permettant vidéo en direct, communication via micro/haut-parleur intégrés et pilotage de plusieurs robots depuis un tableau de bord unique. Le pari de Rollo Robotics est que le format monoroue, plus étroit qu'un robot à quatre roues classique, se faufile mieux dans les couloirs, entrées et zones encombrées des sites industriels, campus, data centers ou aéroports, tout en réduisant le nombre de rondes humaines nécessaires. C'est un signal intéressant pour le secteur de la sécurité robotisée, où la stabilisation gyroscopique reste rare hors du monde des deux-roues motorisés expérimentaux : si le système tient ses promesses en conditions réelles (et pas seulement sur les vidéos de démonstration diffusées par l'entreprise), il ouvrirait une alternative crédible aux plateformes à roues ou chenilles dominantes. Il faut toutefois noter que l'affirmation « premier au monde » et la mention d'un problème de stabilité « résolu » restent des éléments de communication de l'entreprise elle-même, non vérifiés de façon indépendante. Plutôt que de vendre le robot, Rollo Robotics opte pour un modèle par abonnement mensuel incluant matériel, maintenance, mises à jour logicielles et futures évolutions matérielles, une approche qui rapproche 1ROLLO d'acteurs établis de la sécurité robotisée comme Knightscope ou Cobalt Robotics, mais avec un ticket d'entrée plus bas. L'architecture modulaire du robot, compatible caméras thermiques, PTZ, vision nocturne ou lecteurs RFID, laisse entrevoir des déploiements sur mesure selon les sites, sans que l'entreprise n'ait pour l'instant communiqué de calendrier de déploiements pilotes ni de clients nommés.

FR/EU ecosysteme❧Opinion

1 source

38

528Interesting Engineering 

Ce robot muni d'une pince gonflée de café peut saisir des objets fragiles sans capteurs complexes

Un préhenseur robotique fait d'un ballon de baudruche rempli de café moulu illustre une approche low-cost pour manipuler des objets de formes variées sans caméra ni capteur sophistiqué. Le principe, documenté depuis 2010 par des chercheurs de Cornell, de l'université de Chicago et d'iRobot, repose sur le jamming granulaire : la membrane souple, une fois pressée contre un objet, voit son air aspiré par une pompe à vide, ce qui fait passer le café moulu d'un état fluide et meuble à une masse rigide qui épouse la forme de l'objet. Cette contraction de volume, inférieure à 0,5 %, suffit à verrouiller le grain et à générer une prise ferme, maintenue tant que l'air ne revient pas dans le sac. Le dispositif a démontré sa capacité à soulever des charges plusieurs fois supérieures à son propre poids et à saisir des objets aussi disparates que des ciseaux, des ampoules, des œufs crus, des rouleaux de ruban adhésif, des blocs de bois, des ressorts, des bouchons d'oreille en mousse ou des amortisseurs, sans programmation spécifique à chaque forme. L'intérêt pour l'industrie tient à la simplicité du système : sans caméra ni capteur de force, les coûts et la complexité logicielle chutent fortement, tout en gardant une fiabilité correcte. Parce que la force de préhension se répartit sur une large surface de contact plutôt que sur des doigts rigides, les objets fragiles risquent moins d'être endommagés, un atout net face aux pinces mécaniques classiques. Des versions industrielles existent déjà sur des lignes de convoyage où les produits varient beaucoup en forme et en taille, un cas d'usage typique en logistique et en e-commerce où le préhenseur universel reste un problème ouvert. Cette approche ne prétend pas remplacer les pinces de précision pour la production de masse homogène, mais elle offre une alternative crédible pour la manutention de flux hétérogènes à moindre coût, un segment où le rapport prix-polyvalence prime sur la performance brute. Le concept de préhenseur à jamming granulaire remonte à des travaux académiques de 2010 associant Cornell, l'université de Chicago et iRobot, et continue depuis à susciter de l'intérêt pour sa robustesse. Le choix du café moulu n'est pas anodin : sa forme irrégulière et la variabilité de la taille de ses grains permettent un verrouillage plus efficace que des billes de verre, qui jament moins bien, ou que le sable, qui produit un effet comparable mais alourdit inutilement le système. Les limites demeurent sur les objets très lisses ou plats, plus difficiles à saisir par ce principe. Les chercheurs explorent désormais de nouveaux matériaux souples et des designs à sacs multiples, en vue de préhenseurs plus grands et plus capables pour des applications industrielles et de service futures.

IA physique❖Paper

1 source

47

529Robotics Business Review 

Les experts réagissent aux restrictions de la FCC sur les importations de robots humanoïdes et mobiles aux États-Unis

La Federal Communications Commission (FCC) a annoncé cette semaine, sur mandat d'un organe interagences convoqué par la Maison-Blanche, la restriction des importations aux États-Unis de certains robots mobiles fabriqués à l'étranger, notamment les humanoïdes et les quadrupèdes, ainsi que des onduleurs de puissance connectés utilisés dans leurs articulations. La commission juge que ces "dispositifs robotiques avancés" présentent des "risques inacceptables pour la sécurité nationale", en raison de vulnérabilités de chaîne d'approvisionnement et de cybersécurité pouvant affecter les infrastructures critiques américaines. Une exemption existe toutefois pour les robots et onduleurs ayant reçu une approbation conditionnelle du Département de la Guerre ou du Département de la Sécurité intérieure. La mesure ne s'applique ni aux appareils déjà acquis, ni aux modèles ayant déjà obtenu une autorisation FCC, ni aux achats fédéraux ; les mises à jour logicielles de systèmes étrangers restent possibles via une dérogation. La FCC s'appuie sur le précédent des restrictions déjà imposées aux drones et à leurs composants critiques, secteur où les États-Unis tentent de reconstruire une capacité de production perdue face à la Chine il y a une dizaine d'années. Cette décision marque, selon Evan Beard, PDG de Standard Bots, "l'une des actions de sécurité technologique les plus fortes de l'histoire américaine récente" : elle signale que la robotique est un domaine que les États-Unis entendent dominer sans laisser des robots subventionnés par des États étrangers écraser la concurrence, comme cela s'est produit dans le solaire. Standard Bots (Glen Cove, New York), qui a levé 200 millions de dollars en série C le mois dernier pour étendre sa production américaine, avait plaidé pour ce type de mesure auprès de la Maison-Blanche et du Congrès, tout comme le fabricant d'humanoïdes Agility Robotics (Salem, Oregon). Pour les intégrateurs et décideurs industriels, le signal est clair : la course aux humanoïdes ne se limite plus à la performance technique, elle devient un enjeu de politique industrielle et de cybersécurité, avec un risque réel de fragmentation de l'offre entre fournisseurs américains et chinois. L'inquiétude sécuritaire n'est pas nouvelle : Robert Little, ancien responsable de la stratégie robotique chez Novanta et lauréat 2026 des Joseph F. Engelberger Robotics Awards, rappelle que des chercheurs avaient découvert une porte dérobée dans des robots Unitree, certains modèles transmettant des données vers des serveurs en Chine à l'insu de leurs propriétaires. Unitree a déposé en mars une demande d'introduction en bourse en Chine évaluée à 610 millions de dollars. Selon Little, l'administration américaine considère que le risque dépasse une entreprise isolée, du fait de l'autorité exercée par le gouvernement chinois sur les sociétés opérant sur son sol, en plus des subventions massives faussant la concurrence. La FCC présente sa règle comme neutre en matière de pays d'origine, tandis que le Département du Commerce étudie en parallèle des tarifs douaniers sur la robotique importée, les machines industrielles et les équipements de protection.

Regulation⚖Reglementation

1 source

42

530Robotics & Automation News 

Mimic Robotics déploie ses « modèles vision-action de pointe » sur la chaîne de production Audi

Robots industriels apprenant des tâches complexes chez Audi ? Voici le résumé factuel de 200-250 mots, sans invention de chiffres absents du communiqué. --- mimic robotics, entreprise suisse de « physical AI » spécialisée dans les Video-Action Models (VAM) pour l'automatisation industrielle, présente FLUX-mimic, un nouveau modèle développé avec Black Forest Labs, le laboratoire allemand connu pour ses modèles de génération d'image FLUX. Le système est censé permettre à des bras robotiques d'apprendre et d'exécuter des tâches de manipulation complexes directement en environnement d'usine, avec une mise en avant explicite d'un déploiement chez Audi. Le communiqué de mimic reste toutefois vague sur les aspects techniques concrets : aucun chiffre communiqué sur le payload, les degrés de liberté, le temps de cycle ou le nombre de sites équipés, ce qui invite à la prudence tant qu'aucune démonstration indépendante n'est disponible. Si la promesse se confirme, l'enjeu dépasse la simple vitrine technologique : faire fonctionner un modèle vision-langage-action dans une usine automobile, environnement réputé exigeant en précision et en fiabilité, constituerait un signal fort pour les intégrateurs industriels cherchant à dépasser le stade de la démonstration en laboratoire. Cela toucherait directement au débat sur l'écart entre annonces spectaculaires et réalité opérationnelle qui traverse le secteur de la robotique dexterous. mimic robotics développe depuis plusieurs années des modèles de manipulation robotique par apprentissage, et ce partenariat avec Black Forest Labs, davantage connu pour la génération d'images que pour la robotique, marque une diversification notable. FLUX-mimic vient ainsi s'ajouter à une compétition déjà dense sur les modèles d'action généralistes, aux côtés de Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Le communiqué ne précise pas de calendrier pour un déploiement élargi au-delà d'Audi.

FR/EU ecosysteme⚡Actu

1 source

46

531SCMP Tech 

La France (ou plutôt les États-Unis) interdit les robots chinois : ce que ça change pour leurs start-up

Les autorités américaines viennent d'ajouter un nouvel obstacle à l'expansion internationale des entreprises robotiques chinoises. La Federal Communications Commission (FCC) a inscrit mardi les « dispositifs robotiques avancés » de fabrication étrangère sur sa Covered List, la liste des équipements jugés à risque pour la sécurité nationale. Concrètement, cette décision bloque l'obtention de l'autorisation nécessaire pour importer et commercialiser aux États-Unis tout nouveau modèle concerné : humanoïdes, quadrupèdes, et un large éventail de machines mobiles connectées. La FCC justifie cette mesure par des inquiétudes liées à la chaîne d'approvisionnement. Pour les fabricants chinois de robotique, aujourd'hui en pointe sur les humanoïdes et les robots quadrupèdes, cette décision ferme une porte d'entrée majeure vers le marché américain au moment où le secteur cherche justement à passer du prototype à la commercialisation à grande échelle. Elle envoie aussi un signal aux intégrateurs et décideurs industriels occidentaux : l'accès aux plateformes robotiques chinoises les plus avancées pourrait se restreindre durablement, les poussant à diversifier leurs fournisseurs ou à privilégier des alternatives américaines et européennes. Ce geste s'inscrit dans la continuité d'une Covered List historiquement utilisée contre les équipementiers télécoms chinois comme Huawei ou ZTE, avant d'être désormais étendue à la robotique. Il intervient alors que des entreprises chinoises comme Unitree ou UBTech se sont imposées comme des références mondiales de l'humanoïde à bas coût, concurrençant directement les acteurs américains comme Figure ou Tesla. Reste à savoir si d'autres juridictions occidentales suivront cette logique protectionniste.

Regulation⚖Reglementation

1 source

33

532Robotics & Automation News 

Tacta Systems dévoile une main robotique dotée d'IA pour la fabrication à haute valeur ajoutée

Tacta Systems, une entreprise de robotique jusqu'ici discrète, a dévoilé une plateforme conçue pour apporter aux robots industriels une dextérité et un sens du toucher proches de ceux de la main humaine. Son premier produit, TactaBot, associe une main robotique, un système portable de capture de gestes (wearable skill capture) destiné à enregistrer les mouvements d'opérateurs humains, et un moteur d'intelligence artificielle chargé de transformer ces données en compétences manipulables par le robot. L'entreprise vise trois secteurs prioritaires : l'électronique, les infrastructures liées à l'IA (data centers, serveurs) et l'automobile, des environnements où les tâches fines d'assemblage restent aujourd'hui difficiles à automatiser. Cette annonce s'inscrit dans une course plus large autour de la manipulation dextre, considérée comme le principal verrou technique des robots humanoïdes et des bras industriels avancés, bien plus que la locomotion. Si les mains robotiques capables de saisir des objets existent depuis longtemps, reproduire la finesse tactile nécessaire à des gestes de précision, comme le montage de composants électroniques, reste un défi non résolu à grande échelle. L'approche par capture de gestes humains plutôt que par simulation pure rejoint une tendance déjà explorée par d'autres acteurs du secteur pour accélérer l'apprentissage. Le communiqué de Tacta Systems reste pour l'instant peu détaillé sur les spécifications techniques (degrés de liberté, charge utile, temps de cycle) et sur un éventuel calendrier de déploiement chez des clients industriels. Il s'agit à ce stade d'une présentation de plateforme plutôt que d'un produit commercialisé ou déployé en usine, et la validation en conditions réelles reste à démontrer. Note : l'extrait source fourni est tronqué et ne contient pas de chiffres précis (financement, DOF, dates de lancement), je n'en ai donc inventé aucun. Si tu as le lien complet ou plus de texte, je peux affiner le résumé.

IA physique⚡Actu

1 source

38

533Robot Magazine FR 

Quelle est la stratégie robotique de Samsung ?

Pendant que Tesla, Figure AI, Agility Robotics ou Boston Dynamics multiplient les démonstrations de robots humanoïdes capables de marcher, danser ou manipuler des objets, Samsung avance sur un registre différent, sans vitrine spectaculaire. Le groupe sud-coréen mise sur son robot domestique Ballie, un assistant mobile déjà présenté lors de précédentes éditions du CES, mais surtout sur des années d'investissements moins visibles dans la mobilité autonome, les capteurs, la vision par ordinateur et les interfaces homme-machine. Sa force tient à l'intégration verticale : Samsung produit lui-même processeurs, mémoires, batteries, capteurs, caméras, écrans OLED et modules de communication, soit l'essentiel des briques électroniques d'un robot moderne, là où la plupart des concurrents dépendent de fournisseurs tiers pour au moins une partie de cette chaîne. Cette maîtrise industrielle change la donne pour les integrateurs et décideurs B2B qui évaluent la viabilité à long terme des plateformes robotiques. Les robots dotés d'IA embarquée doivent traiter en continu de la reconnaissance d'objets, du langage naturel et de la prise de décision en temps réel, ce qui suppose une puissance de calcul importante conjuguée à une gestion fine de la consommation énergétique. En s'appuyant sur son expertise en semi-conducteurs pour data centers, smartphones et systèmes embarqués, Samsung s'affranchit d'une dépendance à des fournisseurs externes de puces ou de capteurs, un talon d'Achille pour plusieurs acteurs du secteur qui doivent négocier leur approvisionnement en composants critiques. Il faut toutefois noter que cette stratégie reste, à ce stade, une thèse d'investissement plutôt qu'un produit commercial démontré à grande échelle : aucune annonce chiffrée de volumes de déploiement, de prix ou de calendrier de commercialisation d'un robot humanoïde Samsung n'a été communiquée. Le raisonnement de Samsung part de l'usage plutôt que de la machine : au lieu de concevoir un robot puis de lui chercher des applications, comme le font nombre de start-up humanoïdes, le groupe part de son écosystème existant de maison connectée pour imaginer comment la robotique peut l'enrichir. Ballie illustre cette logique : au-delà de son apparence ludique, il est pensé comme une interface physique circulant dans le logement, dialoguant avec les occupants et pilotant les appareils compatibles, plutôt que comme un simple gadget de salon. Reste à voir si cette approche, construite sur des décennies d'accumulation technologique plutôt que sur des démonstrations médiatiques, se traduira par des annonces produits concrètes face à des concurrents qui, eux, communiquent déjà sur des déploiements pilotes chiffrés.

Business❧Opinion

1 source

47

534Robotics & Automation News 

FCC ajoute des robots avancés et des onduleurs fabriqués à l'étranger à sa liste noire

La Federal Communications Commission (FCC) a mis à jour sa "Covered List", la liste des équipements jugés problématiques pour la sécurité nationale américaine, en y ajoutant deux nouvelles catégories de matériels produits à l'étranger. La première regroupe les "appareils robotiques avancés", définis comme des robots mobiles incluant humanoïdes et quadrupèdes. La seconde concerne les onduleurs connectés (power inverters) fabriqués hors des États-Unis. Cette mise à jour fait suite à des déterminations formelles d'agences de l'exécutif américain, qui ont conclu que ces catégories de dispositifs représentent une menace pour la sécurité nationale du pays. Pour l'industrie robotique et les décideurs B2B, ce signal élargit considérablement le périmètre de la surveillance réglementaire américaine, jusqu'ici centrée sur les télécoms. L'inscription des robots humanoïdes et quadrupèdes sur cette liste ouvre la voie à des restrictions d'achat pour les administrations fédérales et les infrastructures critiques, dans un contexte où des fabricants chinois comme Unitree dominent le segment des robots mobiles à bas coût. Pour les intégrateurs et acheteurs industriels, cela introduit un risque de conformité supplémentaire à anticiper dans les choix de fournisseurs, en particulier pour les déploiements liés à des marchés publics ou sensibles. La Covered List a été créée en 2019 dans le cadre du Secure and Trusted Communications Networks Act, initialement pour viser les équipementiers télécoms Huawei et ZTE, interdits de subventions fédérales. Son extension aux robots avancés et aux onduleurs reflète une inquiétude croissante à Washington sur la dépendance aux chaînes d'approvisionnement chinoises dans la robotique et l'énergie. Les prochaines étapes attendues incluent des règles de procurement plus strictes pour les agences fédérales, sans qu'un blocage général des achats privés soit encore annoncé.

Regulation⚖Reglementation

1 source

49

535Interesting Engineering 

US : l'administration Trump interdit les importations de robots humanoïdes chinois

Le 28 juillet, la Federal Communications Commission (FCC) américaine a ajouté deux nouvelles catégories d'équipements à sa « Covered List », la liste des technologies jugées trop risquées pour être autorisées sur le marché américain : les robots avancés (humanoïdes et quadrupèdes) fabriqués à l'étranger, et les onduleurs de puissance utilisés dans les centres de données, le stockage par batteries et les installations solaires, également fabriqués à l'étranger. L'annonce a été faite par le président de la FCC, Brendan Carr, sur X. Concrètement, tout nouveau robot humanoïde ou quadrupède importé devra obtenir une autorisation FCC préalable, ce qui exclut de facto la plupart des nouveaux modèles chinois du marché américain. Les appareils déjà autorisés avant cette décision restent commercialisables : il s'agit donc d'une restriction tournée vers l'avenir, pas d'un rappel de produits existants. Pékin a dénoncé une décision politisant le commerce sur la base de « prétextes sans fondement ». Par ailleurs, United Airlines et Delta ont récemment interdit les robots humanoïdes à bord de leurs vols commerciaux pour des raisons de sécurité opérationnelle, signe supplémentaire d'une méfiance croissante envers ces machines aux États-Unis. La mesure vise directement la domination chinoise dans la robotique humanoïde. Selon les données du secteur citées par Forbes, six des dix plus grands fabricants mondiaux de robots humanoïdes sont chinois (Agibot, Unitree, UBTech, Leju Robotics, Engine AI, Fourier Intelligence), et représentent environ 87 % des livraisons mondiales. En limitant l'accès au marché américain aux seuls modèles déjà approuvés, la FCC ralentit mécaniquement la capacité de ces acteurs à suivre le rythme d'innovation du secteur, où les générations de produits se succèdent rapidement. Pour les intégrateurs et décideurs B2B américains, la décision crée un environnement plus protégé pour les fabricants domestiques (Figure AI, Agility Robotics, Apptronik, 1X) qui montent en cadence de production, mais elle réduit aussi le choix disponible sur le marché US à court terme, dans un secteur où la Chine détenait jusqu'ici une avance commerciale nette. Cette décision s'inscrit dans une escalade plus large des tensions commerciales et technologiques entre Washington et Pékin, déjà marquée par des restrictions sur les semi-conducteurs et les technologies avancées. La FCC justifie l'inclusion des robots humanoïdes et des onduleurs par des risques de sécurité nationale : les robots, équipés de caméras, capteurs et connectivité réseau, pourraient selon elle servir à la surveillance, au renseignement ou au contrôle à distance par des acteurs hostiles, tandis que les onduleurs pourraient être exploités pour perturber les réseaux électriques, voler des données ou faciliter des cyberattaques. Reste à voir comment la FCC appliquera concrètement ce nouveau processus d'autorisation, et si les fabricants chinois tenteront de certifier leurs modèles avant sa pleine mise en œuvre ou se tourneront vers d'autres marchés moins restrictifs.

Regulation⚖Reglementation

1 source

46

536arXiv cs.RO 

HiFi-UMI : des politiques de manipulation déployables apprises uniquement à partir de données UMI haute fidélité

Une équipe de recherche a présenté HiFi-UMI, un système portable de capture de démonstrations manipulatoires sans robot, conçu pour atteindre une précision de 3 mm au niveau du poignet dans l'espace de travail local, sans infrastructure de suivi externe. Le dispositif, monté sur la tête de l'opérateur, combine du SLAM stéréo-inertiel hors ligne, un calcul natif (et non reconstruit) de la pose relative entre les deux pinces, un déclencheur GPIO partagé à la microseconde et deux caméras grand angle par main couvrant environ 200 degrés. À partir de ce corpus, les chercheurs démontrent un post-entraînement "zéro robot réel" : une politique entraînée uniquement sur des données HiFi-UMI, déployée directement sur un robot physique, égale les performances d'une téléopération réelle sur trois architectures différentes, StarVLA-QwenPI, OpenPI-pi_0.5 et LingBot-VA, avec des écarts de taux de réussite de -2,5, +3,1 et -0,6 point de pourcentage. La politique la plus performante atteint 85 % sur une tâche d'insertion de précision. Un pré-entraînement sur 4 000 heures issues du même corpus réduit de 41 % l'erreur d'action sur dix tâches inédites et ajoute 18,1 points de réussite supplémentaires pour StarVLA-QwenPI. Les auteurs publient HiFi-UMI-2K, 2 000 heures de démonstrations synchronisées à la microseconde et validées par rejeu en simulation. Ce résultat s'attaque directement à un goulot d'étranglement central de l'apprentissage par imitation en robotique : la téléopération réelle est précise mais coûteuse à faire passer à l'échelle, tandis que la capture "sans robot" de type UMI scale facilement mais servait jusqu'ici surtout au pré-entraînement, avec un ancrage réel systématique en aval. Si la fidélité des données de capture suffit vraiment à supprimer cet ancrage, cela change la logique de coûts pour tout intégrateur ou laboratoire cherchant à entraîner des politiques VLA sans multiplier les heures de téléopération sur robot physique, un poste de dépense important dans la course humanoïde et manipulatoire actuelle. Il faut toutefois noter que les gains varient selon l'architecture (un des trois modèles recule légèrement) et que le chiffre de 85 % porte sur une seule tâche de précision, ce qui appelle à la prudence avant de généraliser. Le principe UMI (Universal Manipulation Interface), popularisé ces dernières années comme alternative légère à la téléopération robotique classique, souffrait jusqu'ici d'un déficit de fidélité géométrique justifiant son cantonnement au pré-entraînement. HiFi-UMI s'inscrit dans la lignée des travaux sur les modèles vision-langage-action (VLA) et sur les modèles monde-action, dans un paysage où Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) investissent aussi sur la généralisation de politiques manipulatoires. La publication ouverte du jeu de données HiFi-UMI-2K devrait permettre à la communauté de vérifier indépendamment ces résultats et d'étendre l'approche à d'autres tâches et robots.

IA physique⚡Actu

1 source

44

537arXiv cs.RO 

FIRMGrasp : une marge de risque tenant compte du frottement pour une synthèse de prise robuste

Une équipe de recherche présente FIRMGrasp, une nouvelle famille de métriques de qualité de préhension robotique fondée sur la mesure de risque CVaR (Conditional Value-at-Risk), dans un article publié le 25 juillet sur arXiv. Contrairement aux métriques classiques comme l'epsilon de Ferrari-Canny, qui supposent un coefficient de friction unique et déterministe, FIRMGrasp évalue la marge de force-closure au point le plus défavorable de la distribution de friction, produisant une marge ajustée au risque notée epsilon^(bêta). Les chercheurs démontrent sa monotonie selon le niveau de confiance bêta, sa différentiabilité par rapport aux paramètres de préhension, et un certificat probabiliste garantissant la fermeture de force avec une probabilité au moins égale à bêta. Sur un jeu de 1599 préhensions testées avec des mains robotiques LEAP Hand et Allegro Hand, 53% des prises jugées fiables par la métrique Ferrari-Canny perdent en réalité leur fermeture de force dans les conditions de friction défavorables. Ce résultat est significatif pour l'industrie de la préhension robotique car il expose une faille méthodologique répandue dans l'évaluation des grippers et mains articulées : les métriques standards surestiment systématiquement la robustesse des prises face à l'incertitude réelle des surfaces de contact. Concrètement, epsilon^(bêta) prédit mieux les échecs observés que la métrique nominale, avec des probabilités de discrimination de 0,63 et 0,78 contre 0,53 et 0,67 pour distinguer respectivement les échecs de secousse (shake) et de prise (pick) réussis. Dans des essais de levage simulés avec gravité activée et un coefficient de friction dégradé à 0,2, les prises validées par epsilon^(bêta) atteignent un taux de réussite de 70% sous traction latérale, contre seulement 25% pour les prises validées uniquement par la marge classique. Pour les intégrateurs et concepteurs de systèmes de préhension, cela suggère qu'intégrer une marge de risque friction-dépendante dès la phase de planification de prise réduirait sensiblement les échecs en conditions réelles, où la friction des surfaces varie selon l'usure, l'humidité ou les matériaux manipulés. Le travail s'inscrit dans la lignée des recherches sur la synthèse de préhension robuste, un domaine où les métriques analytiques historiques comme celle de Ferrari-Canny font référence depuis des décennies mais peinent à capturer l'incertitude physique réelle. Les auteurs comparent leur approche à des méthodes différentiables récentes, positionnant FIRMGrasp comme une alternative directement intégrable dans des pipelines d'optimisation de préhension existants, sans changement matériel requis.

Recherche❖Paper

1 source

44

538arXiv cs.RO 

CycleVLA : correction proactive et autonome des modèles vision-langage-action par retour en arrière des sous-tâches et décodage à risque bayésien minimal

Des chercheurs présentent CycleVLA, un système qui dote les modèles Vision-Language-Action (VLA) d'une capacité d'autocorrection proactive, c'est à dire anticiper un échec avant qu'il ne se produise plutôt que le corriger après coup comme le font les approches existantes. L'architecture combine trois briques : un VLA conscient de sa progression qui repère les points de transition critiques entre sous-tâches, là où les échecs surviennent le plus souvent, un prédicteur d'échec basé sur un VLM qui déclenche un retour en arrière ciblé (subtask backtracking) dès qu'un risque est détecté, et une stratégie de test-time scaling fondée sur le décodage à risque bayésien minimal (Minimum Bayes Risk, MBR) pour améliorer les chances de réussite lors des tentatives suivantes. Sur les bancs d'essai en simulation LIBERO et LIBERO-Plus, CycleVLA dépasse le modèle de référence pi-0.5 et améliore les taux de réussite sur des politiques VLA de maturité variable, des modèles sous-entraînés aux versions pleinement convergées. Sur robot réel, le système atteint un taux de réussite moyen de 91% sur trois tâches de manipulation, dont une exigeant une grande précision et deux à horizon long. Des tests de robustesse avec perturbations injectées manuellement, comme l'échange d'un objet distracteur à l'emplacement attendu pendant que la vraie cible est déplacée en cours d'exécution, montrent que CycleVLA corrige environ 80% des échecs provoqués artificiellement. Ce travail s'attaque à un point faible connu des VLA en conditions réelles : la plupart des systèmes actuels ne réagissent qu'après l'échec constaté, ce qui coûte du temps et de la fiabilité en environnement industriel ou domestique. Démontrer une correction proactive, avant la manifestation complète de l'erreur, constitue un argument concret pour rapprocher les démonstrations en simulation des déploiements réels, un écart qui reste l'un des principaux freins à l'adoption des VLA par les intégrateurs robotiques. CycleVLA s'inscrit dans la lignée des travaux récents sur la détection et la correction d'échecs pour les modèles de type VLA, aux côtés de références comme GR00T N2 ou Helix, et se positionne explicitement contre pi-0.5 dans ses comparaisons de performance. Les auteurs présentent leur travail comme une réplique (replace) sur arXiv, signe d'une itération après une première version, et mettent à disposition une page projet dédiée avec démonstrations vidéo pour documenter les résultats sur robot réel.

IA physique⚡Actu

1 source

43

539arXiv cs.RO 

Localisation intervues à l'échelle d'une ville grâce aux cartes sémantiques

Des chercheurs proposent une méthode pour localiser un robot dans un environnement qu'il n'a jamais parcouru en s'appuyant sur les cartes sémantiques déjà disponibles, comme celles d'OpenStreetMap. Publiée sur arXiv le 25 juillet 2026 (arXiv:2607.25215), l'étude combine des modèles vision-langage (VLM) pour extraire des points de repère à partir de panoramas capturés par le robot, avec un appariement léger entraîné par distillation pour les relier aux repères d'une carte aérienne préexistante, potentiellement immense: jusqu'à 628 km² dans les tests. Les correspondances alimentent un filtre bayésien qui affine en continu l'estimation de position dans le temps. Les auteurs publient aussi un jeu de données couvrant onze environnements, avec des panoramas collectés dans des conditions extrêmes, dont une tempête de neige et des prises de nuit à Boston. Le modèle a été entraîné uniquement sur les données d'une seule ville par beau temps, et testé ailleurs. L'enjeu dépasse la simple curiosité académique: la localisation cross-view, faire correspondre la vue au sol d'un robot à une imagerie aérienne ou cartographique, reste un verrou pour déployer des robots mobiles hors des zones cartographiées en 3D dense (LiDAR, SLAM préalable). Utiliser des cartes sémantiques publiques comme OpenStreetMap réduirait fortement le coût de préparation d'un site avant déploiement, un frein réel pour les intégrateurs en logistique ou robotique de service urbaine. Le résultat le plus notable ici est la généralisation: un système entraîné sur une seule ville et une météo dégagée tient face à des lieux, éclairages et conditions météo différents, ce qui, si confirmé à plus grande échelle, contredirait l'idée reçue que ces méthodes de localisation restent fragiles dès qu'on change de contexte visuel. Les approches précédentes de matching panorama/imagerie aérienne ignoraient l'information sémantique ou la réduisaient à un petit nombre de classes fixes, limitant leur richesse descriptive. Le principal obstacle contourné par cette équipe est le passage à l'échelle: interroger un VLM pour chaque correspondance possible devient intraitable quand la carte grossit, d'où l'idée de distiller un modèle plus léger. Code et jeu de données sont publiés sur efahnestock.github.io/loci/, ouvrant la voie à des comparaisons futures sur d'autres villes et conditions.

Recherche❖Paper

1 source

42

540arXiv cs.RO 

RoboMME-Interference : évaluation de la mémoire des robots sous interférence

Des chercheurs publient RoboMME-Interference, un nouveau benchmark conçu pour mesurer la mémoire des robots sur de longues sessions parsemées de distracteurs (arXiv:2606.22338v2, version corrigée). Construit à partir du benchmark existant RoboMME, ce protocole confronte un modèle VLA (vision-language-action) à une séquence de sessions : une démonstration pertinente issue d'une session antérieure, suivie d'un nombre contrôlé de sessions sans rapport, le tout fourni comme contexte mémoire avant d'évaluer la réussite de la tâche. Les auteurs testent les variantes de π0.5 augmentées de mémoire déjà publiées par RoboMME, sans modification. Résultat : les variantes à mémoire perceptuelle améliorent bien le taux de réussite lorsqu'aucun distracteur n'est présent, mais leurs performances se dégradent fortement et de façon continue à mesure que des sessions sans rapport s'accumulent dans l'historique. En ajoutant une étape de récupération (retrieval) à la variante la plus performante, laquelle identifie la démonstration pertinente par similarité visuelle et ne transmet que celle-ci à la politique, les chercheurs retrouvent le niveau de réussite obtenu sans distracteur, et ce quel que soit le niveau d'interférence testé. Ce travail pointe un écart concret entre les démonstrations de mémoire robotique en conditions contrôlées et les exigences réelles du déploiement : un robot industriel accumule de l'expérience sur des dizaines, voire des centaines de sessions, et doit retrouver l'information utile au milieu du bruit. Les résultats montrent que le simple fait de "donner accès" à l'historique complet à un VLA ne suffit pas ; sans mécanisme de récupération explicite, la mémoire devient un handicap plutôt qu'un atout dès que le contexte s'allonge. Pour les intégrateurs qui envisagent des déploiements de longue durée, c'est un signal que l'architecture de mémoire, et non la seule capacité du modèle de base, conditionnera la fiabilité en production. Le projet s'inscrit dans la continuité de RoboMME, benchmark de référence pour la mémoire cross-session en robotique, et cible spécifiquement les modèles π0.5 de type VLA. Code, vidéos et données sont publiés sur robotmemorybench.com, ouvrant la voie à des comparaisons avec d'autres approches de mémoire ou de récupération que la communauté pourra tester sur ce même protocole d'interférence.

Recherche❖Paper

1 source

42

541arXiv cs.RO 

Quand les données héritées commencent-elles à aider ? Transfert émergent dans l'apprentissage robotique multi-configurations

Des chercheurs publient une étude (arXiv:2507.25593) sur un problème concret pour l'industrie robotique : que faire des données de démonstration collectées sur une ancienne génération de robot quand le matériel change ? L'équipe a testé la question sur une plateforme humanoïde à roues, en comparant deux générations de matériel où la caméra et la pince ont été remplacées, la morphologie générale restant identique. Sur plusieurs tâches de manipulation réelles, ils observent trois régimes distincts selon le niveau de compétence déjà atteint par le robot mis à jour sur la nouvelle configuration : à faible compétence, les données historiques n'apportent strictement aucun gain (10,0 % de réussite reste à 10,0 % même en co-entraînant avec les anciennes données) ; une fois un certain seuil de compétence franchi, le gain devient brutal, comme sur une tâche d'insertion de fleur où le taux de réussite passe de 23,3 % à 86,7 % ; enfin, près de la saturation, les gains redeviennent marginaux, à l'image d'une tâche d'insertion de stylo qui progresse seulement de 85,0 % à 93,3 %. Une quatrième tâche de manipulation bimanuelle mobile (arrosage) confirme ce même schéma en trois phases. Ce résultat va à l'encontre d'une hypothèse répandue dans le secteur, celle qu'accumuler un maximum de données cross-configuration est toujours bénéfique pour l'apprentissage par imitation. Pour les équipes qui entraînent des politiques de type VLA (vision-language-action) sur des flottes de robots en évolution matérielle constante, ce papier fournit un critère pratique : il ne sert à rien de réutiliser des démonstrations legacy tant que le nouveau matériel n'a pas atteint un seuil minimal de compétence sur la tâche visée, et au-delà d'un certain point de saturation, continuer à collecter de nouvelles données coûte plus cher que ça ne rapporte. C'est un signal utile pour les intégrateurs et laboratoires qui doivent arbitrer entre collecter de nouvelles démonstrations coûteuses sur le matériel actuel ou recycler des jeux de données déjà constitués. Les auteurs proposent une explication théorique basée sur l'alignement des gradients et l'incertitude résiduelle de la politique, ce qui leur permet de formaliser une règle « phase-aware » pour décider quand collecter versus quand réutiliser. Le travail s'inscrit dans la lignée des recherches sur le transfert de données entre configurations robotiques, un sujet devenu central à mesure que les fabricants itèrent rapidement sur leurs capteurs et effecteurs sans vouloir jeter les données déjà accumulées.

Recherche❖Paper

1 source

41

542arXiv cs.RO 

S2A2 : apprentissage par imitation audio-visuel pour tâches de manipulation via information spatiale acoustique

Des chercheurs ont présenté S2A2 (Spatial-Spectral Audio Action), un nouveau cadre d'apprentissage par imitation qui combine vision et son pour des tâches de manipulation robotique. Le papier introduit d'abord un ensemble de tâches inédites où le robot doit localiser et identifier sa cible uniquement grâce à des indices acoustiques, comme le bruit produit par un contact ou un mouvement, avant de pouvoir agir dessus. Contrairement aux approches classiques qui reposent presque exclusivement sur la caméra, S2A2 fusionne les caractéristiques visuelles avec des informations acoustiques spatiales (d'où vient le son) et spectrales (à quoi il ressemble, son timbre). Les auteurs ont intégré ce cadre à plusieurs politiques d'apprentissage par imitation déjà reconnues dans le secteur : ACT, Diffusion Policy, VQ-BeT et $\pi_0$. Les tests ont été menés à la fois en simulation et sur un robot réel. L'intérêt principal tient au type de tâches ciblées : celles qui nécessitent à la fois de localiser un objet dans l'espace et de reconnaître sa nature sonore, un cas où les méthodes purement visuelles échouent souvent, par exemple un objet caché, un contenant dont il faut deviner le contenu au bruit, ou une source de son mobile. Pour l'industrie de la manipulation robotique, cela ouvre une piste concrète pour des environnements où la vision seule est insuffisante, entrepôts encombrés, tri de pièces occluses, ou interaction avec des mécanismes dont l'état se signale par le son plutôt que par l'apparence. Le fait que le framework s'intègre à des politiques VLA et de diffusion déjà utilisées à l'échelle, plutôt que de proposer une architecture isolée, facilite une adoption potentielle sans repartir de zéro. Le travail s'inscrit dans la lignée des recherches en apprentissage par imitation multimodal, un domaine qui a jusqu'ici privilégié le couple vision-proprioception au détriment de l'audio, largement sous-exploité en robotique malgré son rôle reconnu en perception humaine. En démontrant l'apport de l'acoustique spatiale sur des politiques de référence variées plutôt que sur un seul modèle, les auteurs cherchent à établir une preuve de généralité plus qu'un simple gain ponctuel. Les prochaines étapes attendues concernent l'extension à des environnements réels plus bruités et à un plus grand nombre de tâches acoustiques distinctes.

Recherche❖Paper

1 source

41

543arXiv cs.RO 

Amortissement de l'optimisation de trajectoire pour la MPC résiduelle via différentiation implicite du contact

Cette étude publiée sur arXiv (2607.24959v1) s'attaque à un goulot d'étranglement classique de la robotique de contact : l'optimisation de trajectoire dans des simulateurs différentiables. Les chercheurs introduisent une méthode de dérivation implicite assistée par différentiation automatique (AD), appliquée au moteur MuJoCo MJX et fondée sur le théorème des fonctions implicites (IFT). Contrairement aux différences finies, coûteuses et sensibles au choix du pas, ou au déroulement complet de l'AD à travers un solveur de contact itératif, qui fait exploser la trace de calcul stockée en mémoire, leur approche différencie directement le résidu de stationnarité à la solution convergée, sans reconstruire à la main les systèmes KKT propres à chaque solveur. Résultat mesuré : la mémoire temporaire compilée reste quasi constante quel que soit l'effort du solveur, avec moins de 4% de variation entre une et dix itérations, contre une croissance de 10,6 fois pour l'AD déroulée classique. Le gain s'accentue avec la complexité du problème : 20 fois moins de mémoire à 256 contacts actifs, 6 fois moins à 16 contacts et 96 degrés de liberté. L'équipe va plus loin avec une technique de "distillation d'optimiseur" pour le contrôle prédictif résiduel (residual MPC) : un iLQR complet, calculé en batch sur tout l'horizon temporel, est condensé en une politique qui guide ensuite un iLQR résiduel à horizon court, bien moins coûteux à exécuter en ligne. Sur trois bancs d'essai (Finger, bras Franka, quadrupède Unitree), cette approche améliore le taux de succès à six pas de 28 à 98 points de pourcentage par rapport à un iLQR standard. Pour les équipes qui développent du contrôle robotique riche en contacts, manipulation fine, locomotion sur terrain irrégulier, l'intérêt est double : réduire drastiquement l'empreinte mémoire permet de faire tourner des simulations différentiables à plus grande échelle ou en temps réel embarqué, tandis que la distillation d'optimiseur offre une voie pour transférer la qualité d'une planification hors-ligne coûteuse vers un contrôleur exécutable en boucle rapide sur le robot. Le travail s'inscrit dans la lignée des efforts récents autour de MuJoCo MJX et de la simulation différentiable pour la robotique, un axe de recherche actif depuis que des laboratoires comme DeepMind ou des groupes académiques cherchent à exploiter les gradients de simulateurs physiques pour accélérer l'apprentissage et la planification, plutôt que de s'appuyer uniquement sur l'apprentissage par renforcement sans modèle. La méthode proposée ici comble un vide méthodologique entre les approches génériques mais gourmandes en mémoire et les dérivations KKT sur mesure, difficiles à maintenir et à généraliser d'un solveur à l'autre. Les auteurs ne précisent pas de calendrier de publication du code ni de partenariat industriel, mais la validation croisée sur des plateformes hétérogènes (doigt robotique, bras manipulateur Franka, quadrupède Unitree) suggère une ambition de généralisation au-delà d'un cas d'usage unique, avec un potentiel d'intégration dans des piles de contrôle MPC pour la manipulation ou la locomotion dynamique.

Recherche❖Paper

1 source

41

544arXiv cs.RO 

SAM3D pour aligner les représentations centrées sur l'objet dans les modèles vision-langage-action

Cette recherche présente un cadre d'alignement de représentations 3D centré sur l'objet, appliqué au modèle vision-langage-action (VLA) $\pi0$. Les auteurs utilisent SAM3D, un modèle 3D figé servant de "professeur", pour injecter des connaissances géométriques sur les objets cibles pendant l'entraînement : les objets pertinents pour la tâche sont localisés via des modèles de reconnaissance, des masques sont générés, puis SAM3D en extrait des représentations 3D denses alignées avec les caractéristiques visuelles intermédiaires de $\pi0$. Fait notable, ce module 3D n'intervient qu'à l'entraînement : au moment de l'inférence, le pipeline reste purement RGB-langage-vers-action, sans besoin de profondeur, nuage de points, masques ou calculs SAM3D supplémentaires. Les résultats en simulation atteignent 99,1% de réussite sur le benchmark LIBERO et une longueur moyenne de tâches de 4,11 sur CALVIN, avec des gains confirmés en conditions réelles, notamment sur des scénarios de manipulation longue durée impliquant plusieurs sous-tâches et objets cibles différents. L'enjeu pour l'industrie robotique est la résolution d'un point faible connu des modèles VLA actuels : leur dépendance à des backbones vision-langage 2D qui peinent face à l'occlusion, aux variations de pose ou d'échelle, et aux interactions spatiales précises. En démontrant qu'on peut internaliser une compréhension 3D fine sans alourdir le pipeline de déploiement, ce travail répond à une critique récurrente du secteur : les architectures VLA génériques marchent bien en démo contrôlée mais échouent sur des tâches de manipulation fine en conditions réelles. Pour les intégrateurs et décideurs B2B, cela suggère une voie pour améliorer la robustesse des politiques de manipulation sans complexifier ni ralentir le matériel embarqué, un compromis critique pour le déploiement industriel à grande échelle de bras robotiques et de robots humanoïdes. Ce travail s'inscrit dans la lignée des modèles VLA construits sur $\pi_0$ (Physical Intelligence), déjà positionné comme concurrent direct des approches comme GR00T N2 de NVIDIA ou Helix de Figure AI dans la course à des politiques de manipulation généralistes. L'apport spécifique ici est méthodologique plutôt qu'un nouveau produit ou déploiement terrain : il s'agit d'une technique d'entraînement, testée pour l'instant en simulation (LIBERO, CALVIN) et en expérimentations réelles limitées, sans annonce de déploiement commercial ni de partenariat industriel. Les prochaines étapes attendues porteraient sur l'extension à d'autres backbones VLA et sur la validation à plus grande échelle en environnement réel, au-delà des bancs d'essai académiques actuels.

Recherche❖Paper

1 source

41

545arXiv cs.RO 

P3 : propagation de politique probabiliste pour un apprentissage robotique stable basé sur VAE

Une équipe de recherche présente P³ (Probabilistic Policy Propagation), une méthode d'apprentissage par renforcement conçue pour corriger un défaut méthodologique dans l'entraînement des politiques robotiques basées sur des autoencodeurs variationnels (VAE). Le problème identifié : les implémentations classiques de Proximal Policy Optimization (PPO) estiment le ratio de probabilité et la divergence KL à partir d'un seul échantillon tiré de l'espace latent stochastique du VAE, alors qu'une politique efficace devrait théoriquement marginaliser sur toute la distribution latente. Cette approximation à échantillon unique introduit un biais et une variance significatifs dans la fonction de perte substitutive utilisée par PPO. P³ combine une méthode probabiliste basée sur les moments statistiques pour un apprentissage stable, avec une calibration par échantillonnage pour maintenir un comportement robuste face à l'incertitude latente. Les auteurs rapportent une amélioration de l'efficacité des données de 64,6% à plus de 96%, ainsi qu'une réduction de plus de 20% du nombre d'étapes nécessaires à la convergence. La méthode a été testée sur des tâches de parkour humanoïde, un benchmark exigeant en contrôle moteur. Le code est disponible sur GitHub (ylyem9x/P3_Open). Pour l'industrie robotique, ce travail touche à un point technique mais consequential : la fiabilité de l'apprentissage par renforcement appliqué à des représentations latentes compressées, une brique de plus en plus centrale dans les pipelines VLA (vision-language-action) et les politiques de contrôle moteur des humanoïdes. Un gain d'efficacité de données de cet ordre, s'il se confirme au-delà du benchmark parkour, réduirait le coût d'entraînement en simulation avant transfert sur robot réel, un goulot d'étranglement connu du secteur. Cela dit, il s'agit ici d'un article de recherche avec validation sur tâches simulées spécifiques, pas d'un déploiement industriel : les chiffres de performance viennent des propres expériences des auteurs et méritent d'être confirmés par des reproductions indépendantes avant d'être généralisés à d'autres architectures ou environnements. Ce travail s'inscrit dans la lignée des recherches cherchant à combiner représentations latentes compactes (via VAE) et apprentissage par renforcement pour le contrôle robotique, une approche distincte des politiques VLA de bout en bout comme Pi-0 ou GR00T N2, qui traitent directement des observations brutes. L'angle ici est plus fondamental : corriger une faille mathématique dans la manière dont PPO interagit avec des espaces latents stochastiques, plutôt que proposer une nouvelle architecture de politique. Les suites logiques attendues seraient des tests sur des tâches de manipulation plus variées et une adoption éventuelle par des frameworks de RL robotique existants, mais aucune timeline ni partenariat industriel n'est mentionné dans la publication.

Recherche❖Paper

1 source

41

546arXiv cs.RO 

Robots à trois bras : apprentissage par imitation visuomotrice de politiques robotiques

Voici l'article traduit et résumé. Une équipe de recherche présente TriManPolicy, un système d'apprentissage par imitation conçu pour piloter des robots à trois bras simultanément. Le problème de départ est concret : la téléopération bi-manuelle classique fonctionne bien quand le nombre de canaux de contrôle correspond entre l'opérateur humain et le robot, mais elle échoue dès qu'un robot dispose d'un troisième bras, puisqu'un seul opérateur ne peut piloter en continu que deux membres à la fois. Basculer entre paires de bras force alors à enregistrer des mouvements indépendants de façon séquentielle, ce qui pousse l'apprentissage par clonage comportemental à reproduire des délais imposés par l'interface de contrôle plutôt que par la tâche elle-même. Le composant central de TriManPolicy est le Dependency-Aware Tri-Arm Scheduling (DATS), un algorithme qui retraite les démonstrations hors ligne : il conserve les segments sensorimoteurs locaux tels que démontrés mais les repositionne dans le temps selon des contraintes d'ordre des tâches et d'usage des bras, validées par un humain. Le résultat entraîne une politique unique et synchrone pour les trois bras, sans nécessiter le graphe de dépendances ni le planificateur au moment du déploiement. Sur six tâches réelles complexes, les politiques entraînées sur données retimées par DATS montrent une coordination plus efficace, avec un taux de succès comparable aux méthodes classiques. Cette avancée s'attaque à un goulot d'étranglement peu discuté de la robotique humanoïde et multi-bras : la collecte de données de démonstration reste le facteur limitant pour entraîner des politiques visuomotrices de type VLA, et les systèmes à trois bras ou plus (bras additionnels, mains bimanuelles montées sur base mobile) sont de plus en plus courants dans les plateformes industrielles. En prouvant qu'il est possible de découpler la structure temporelle de la démonstration humaine de celle exigée par la tâche, TriManPolicy ouvre la voie à une collecte de données plus rapide et moins coûteuse pour des architectures robotiques complexes, un enjeu direct pour les intégrateurs qui cherchent à réduire le coût par démonstration sans sacrifier la qualité de coordination entre membres. Ce travail s'inscrit dans la lignée plus large des recherches sur l'apprentissage par imitation visuomoteur, où la majorité des systèmes existants (type ALOHA, Mobile ALOHA ou les plateformes bimanuelles standard) suppose une correspondance stricte entre canaux de téléopération humains et effecteurs robotiques. En proposant une méthode de retiming offline validée par supervision humaine plutôt qu'un simple filtrage des temps morts, les auteurs montrent que DATS modifie réellement la structure de supervision entre bras. Les six tâches testées en conditions réelles suggèrent une piste concrète pour les futurs travaux sur les architectures à quatre bras ou plus, notamment pour les robots humanoïdes à deux bras plus une base mobile ou un troisième effecteur dédié à une tâche auxiliaire.

Recherche❖Paper

1 source

40

547arXiv cs.RO 

Tripody : un robot parallèle surcontraint de type 3-SPR pour les tâches de construction en hauteur

Tripody, un robot parallèle sur roues à 3 degrés de liberté conçu pour les travaux de construction en hauteur, notamment le perçage de plafonds, a été présenté par une équipe de recherche dans une publication arXiv (2607.25781, juillet 2026). Pesant 33 kg, l'engin s'étend de 1,7 m à 3,4 m de hauteur et supporte une charge continue de 32 kg via une interface d'effecteur modulaire. Sa cinématique reprend l'architecture classique 3-SPR (trois jambes, joint sphérique à la base, articulation prismatique actionnée, joint de rotation à l'effecteur), mais remplace les joints sphériques par des joints universels, ce qui surcontraint volontairement le mécanisme ; de petites déflexions élastiques réparties absorbent les incompatibilités cinématiques résultantes tout en préservant un mouvement essentiellement translationnel. Les essais montrent une rigidité en plan comparable à celle d'une variante à base sphérique, mais une rigidité en torsion nettement supérieure : +67% à 1,7 m, +196% à 2,6 m et +454% à 3,4 m, avec un couplage inter-axes négligeable. Le positionnement en boucle fermée, mesuré par station totale, converge sous 0,6 mm sur tout l'espace de travail, tandis que la simple extrapolation par modèle atteint une erreur au 95e centile de 2,7 mm (maximum 3,6 mm). Une démonstration de perçage de plafond en boucle ouverte, avec un motif de 15 trous, affiche une erreur de position relative maximale de 4,5 mm après alignement rigide. Ces résultats s'adressent directement à un problème concret du secteur de la construction : les manipulateurs sériels lourds actuellement utilisés pour les travaux en hauteur sont difficiles à déployer dans des intérieurs encombrés, faute de compacité et de mobilité. En misant sur une architecture surcontrainte qui tolère la compliance plutôt que de la combattre, les auteurs proposent une voie pratique vers des robots légers, à grande portée verticale et à précision millimétrique, un compromis rarement atteint simultanément par les solutions existantes. Pour les intégrateurs et décideurs du BTP, l'intérêt tient moins à la performance brute qu'à la validation en conditions quasi réelles : le perçage de 15 trous avec une précision de l'ordre de quelques millimètres démontre une faisabilité tâche par tâche, au-delà d'une simple preuve de concept en laboratoire. Le papier reste toutefois prudent : il s'agit d'une étude en boucle ouverte sur un motif limité, pas d'un déploiement chantier. L'approche s'inscrit dans une lignée de recherches en robotique parallèle explorant les architectures 3-SPR pour des tâches nécessitant rigidité et précision sur de grands espaces de travail, un terrain habituellement dominé par les bras sériels ou les portiques fixes. En intégrant des actionneurs linéaires sur mesure et une pile de contrôle combinant estimation d'état SE(3), cinématique directe et commande dans l'espace des tâches, les auteurs positionnent Tripody comme une alternative mobile et reconfigurable aux solutions de perçage plafond existantes, qu'elles soient manuelles ou robotisées de type portique. Les prochaines étapes attendues, non détaillées dans l'abstract, porteraient logiquement sur un contrôle en boucle fermée pour la tâche de perçage elle-même et sur des essais en environnement de chantier réel plutôt qu'en conditions contrôlées de laboratoire.

Recherche❖Paper

1 source

40

548arXiv cs.RO 

Transformer Transformer : un modèle unifié pour la co-conception de robots conditionnée par le mouvement

Une équipe de recherche publie sur arXiv (2607.25798v1) un nouveau modèle baptisé Transformer Transformer, conçu pour la co-conception de robots conditionnée par le mouvement. L'idée : générer automatiquement des architectures robotiques complètes capables de suivre des trajectoires d'effecteur cibles issues de démonstrations humaines, tout en optimisant des fonctions de récompense définies par l'utilisateur. Le système repose sur les RoboTokens, une tokenisation unifiée des morphologies, états et actions des robots, qui permet à une seule architecture de diffusion transformer de fonctionner sur des espaces d'embodiment très différents : robots bimanuels à roues, quadrupèdes, humanoïdes. Plutôt que d'optimiser pour une récompense unique, le modèle agit comme un modèle de dynamique générique, dont les prédictions d'état et d'action servent ensuite à calculer des valeurs spécifiques à chaque objectif, via une procédure nommée Dynamics Self-Guidance qui guide la diffusion vers des designs à haute valeur. Preuve concrète : les chercheurs ont fabriqué une version optimisée de la plateforme ALOHA, réduisant l'erreur de suivi de trajectoire de plus de 70 % par rapport au design d'origine. L'intérêt pour le secteur tient à ce que la conception mécanique des robots reste largement découplée du contrôle et de l'apprentissage, alors que la performance en manipulation dépend fortement de l'embodiment. Un modèle capable d'optimiser en zero-shot pour des récompenses et trajectoires jamais vues, plus rapidement qu'une baseline évolutionniste, ouvre la voie à des cycles de co-conception matériel-logiciel beaucoup plus rapides pour les intégrateurs et les fabricants de bras ou de plateformes bimanuelles. C'est un signal supplémentaire que les architectures de type transformer/diffusion, déjà dominantes pour les politiques VLA, s'étendent maintenant à la conception physique elle-même, et pas seulement au contrôle. Le travail s'inscrit dans la lignée de la recherche sur la co-conception robotique, historiquement dominée par des algorithmes évolutionnistes coûteux en calcul et spécifiques à une seule récompense. ALOHA, plateforme bimanuelle open source popularisée par les travaux de Stanford et Google, sert ici de banc d'essai matériel concret plutôt que de simple simulation. Le papier ne précise pas de calendrier de déploiement industriel ni de partenaire, il s'agit à ce stade d'un résultat de recherche fraîchement publié, dont la portée reste à confirmer sur des espaces de conception plus larges.

Recherche❖Paper

1 source

40

549arXiv cs.RO 

πR²: politiques de flux réactives en temps réel

Des chercheurs présentent πR² (Reactive Real-time Flow Policies), une méthode qui rend les politiques de manipulation robotique par flow matching capables de réagir en temps réel aux données sensorielles, sans sacrifier la taille des modèles ni la prédiction multi-actions. Le problème identifié : les politiques actuelles à base d'"action chunking" (comme GR00T ou Pi-0) génèrent des séquences d'actions en boucle ouverte via de multiples étapes de débruitage sur de gros backbones, ce qui les rend trop lentes pour replanifier fréquemment ; les actions engagées deviennent obsolètes avant d'être exécutées. πR² s'appuie sur le "diffusion forcing" à échéancier de bruit par position et introduit deux mécanismes : un canal rapide de proprioception rafraîchi à chaque tick, découplé d'un canal lent de features vision-langage mis à jour de façon asynchrone, et un échéancier de flow adaptatif à la latence qui traite les actions en cours comme contrainte d'inpainting et n'émet qu'une seule étape de débruitage par appel. Appliqué par fine-tuning à GR00T-N1.7 sur une plateforme réelle xArm6 avec main XHand, πR² replanifie environ 4 fois plus vite que la politique de base, à environ 25Hz sur un GPU A5000, avec une observation fraîche prise en compte toutes les 40 millisecondes. Les auteurs rapportent des gains de taux de réussite allant jusqu'à 23% en simulation et 30% en conditions réelles face à la meilleure référence testée. Pour l'industrie de la manipulation robotique, ce travail s'attaque à un angle mort connu des politiques VLA (vision-language-action) génératives : la démonstration en environnement contrôlé masque souvent une latence de contrôle incompatible avec des tâches dynamiques (objets en mouvement, contacts imprévus, correction de trajectoire). En dissociant la fréquence de mise à jour proprioceptive de celle, plus coûteuse, de la perception visuo-langagière, πR² propose une piste concrète pour combler l'écart entre boucle ouverte et contrôle réactif sans reconstruire les backbones existants ni renoncer à leur expressivité. C'est un signal utile pour les intégrateurs qui évaluent des plateformes comme GR00T pour des applications nécessitant du contact fin ou de la réactivité, un terrain où les chunks figés posent problème. Le travail s'inscrit dans la lignée du diffusion forcing, une technique de génération séquentielle par bruitage différencié selon la position, ici adaptée au contrôle robotique. Il se positionne face aux grandes familles de politiques VLA actuelles telles que GR00T N1.7 de NVIDIA (utilisé comme base pour les expériences), Pi-0 de Physical Intelligence ou Helix de Figure, toutes construites sur le même compromis entre taille de backbone et latence. Les auteurs présentent πR² comme une modification légère, applicable par fine-tuning à une politique déjà entraînée plutôt que par un réentraînement complet, ce qui en facilite l'adoption potentielle. Le papier, publié en préprint sur arXiv, reste à ce stade une contribution de recherche testée en laboratoire sur un bras xArm6 et une main XHand, sans indication de déploiement industriel ni de partenaire commercial annoncé.

IA physique⚡Actu

1 source

40

550arXiv cs.RO 

Vers une cognition incarnée chez les robots grâce à des mondes synthétiques ancrés dans l'espace

Résumé traduit en français, à publier : Une équipe de recherche présente un cadre conceptuel destiné à entraîner des modèles vision-langage (VLM) à réaliser de la prise de perspective visuelle, une capacité jugée essentielle à la cognition incarnée dans l'interaction homme-robot. Pour amorcer ce travail, les auteurs publient un jeu de données synthétique généré dans NVIDIA Omniverse, conçu pour l'apprentissage supervisé de tâches de raisonnement spatial. Chaque exemple associe une image RGB, une description en langage naturel et une matrice de transformation 4x4 servant de vérité terrain pour la pose d'un objet. La première étape se limite à l'inférence de la distance sur l'axe Z ; les auteurs annoncent vouloir étendre l'approche à un raisonnement complet sur les 6 degrés de liberté (DOF) dans de futurs travaux. Le jeu de données est mis à disposition publiquement pour la communauté de recherche. La prise de perspective visuelle est une brique jugée fondamentale pour qu'un robot comprenne non pas seulement ce que voit sa propre caméra, mais ce qu'un humain perçoit depuis son propre point de vue, une condition posée comme nécessaire à une interaction homme-robot naturelle. Le choix de générer les données dans un simulateur plutôt que de les collecter en conditions réelles répond à un problème classique du secteur : produire des annotations 3D précises (pose exacte d'un objet) est coûteux et peu fiable dans le monde réel, alors qu'un environnement synthétique comme Omniverse fournit une vérité terrain exacte par construction. Ce travail illustre aussi une limite persistante des VLM génériques actuels, plutôt performants en reconnaissance sémantique 2D mais fragiles dès qu'il s'agit de raisonnement spatial 3D précis, une distinction que les auteurs eux-mêmes reconnaissent en limitant leur preuve de concept au seul axe Z plutôt qu'aux 6 DOF complets. Il s'agit donc d'un jalon de recherche exploratoire, pas d'un système prêt à être intégré par des équipes robotique en production. Ce travail s'inscrit dans une tendance de fond où les plateformes de simulation comme NVIDIA Omniverse et Isaac Sim deviennent des outils centraux de génération de données pour la robotique incarnée, dans un paysage où d'autres laboratoires (Physical Intelligence avec Pi-0, NVIDIA avec GR00T, Figure avec Helix) développent en parallèle des modèles vision-langage-action visant à doter les robots humanoïdes d'un raisonnement spatial et manipulatoire directement exploitable. La suite annoncée par les auteurs consiste à faire passer leur approche de l'estimation d'une simple distance à un raisonnement complet sur les 6 degrés de liberté d'une pose d'objet, une extension nécessaire avant d'envisager une application concrète en interaction homme-robot.

Recherche❖Paper

1 source