Aller au contenu principal

Dossier arXiv cs.RO — page 4

568 articles · page 4 sur 12

Les preprints robotique sur arXiv cs.RO : les avancées techniques avant publication, dont planification, learning from demos, sim2real, manipulation.

Rollbot : un robot sphérique propulsé par un seul actionneur
151arXiv cs.RO RecherchePaper

Rollbot : un robot sphérique propulsé par un seul actionneur

Rollbot, présenté dans un article de recherche déposé sur arXiv (réf. 2404.05120v2, révision 2024), est un robot sphérique prototype capable de se déplacer de façon contrôlée sur un plan 2D avec un seul actionneur. Le robot roule au sol en décrivant des arcs de cercle et ajuste la courbure de sa trajectoire en accélérant et décélérant son unique moteur ainsi que la masse solidaire attachée à celui-ci. Les auteurs ont dérivé des lois de contrôle fondées sur une dynamique dite "quasi-stable", et ont validé expérimentalement la capacité du système à suivre des waypoints successifs. Aucune institution ni source de financement n'est mentionnée dans l'abstract public. Ce travail remet en cause une contrainte de conception longtemps tenue pour acquise dans la robotique sphérique: l'obligation d'utiliser au minimum deux actionneurs pour obtenir un mouvement plan maîtrisé. Ramener ce seuil à un seul actionneur réduit mécaniquement la complexité structurelle, la consommation énergétique et le nombre de points de défaillance potentiels. Pour les concepteurs de robots d'inspection en espace confiné, de plateformes de surveillance ou de démonstrateurs éducatifs, cette approche peut ouvrir des architectures plus légères et moins coûteuses à produire. Il faut cependant noter que les résultats sont présentés en contexte laboratoire; aucune métrique de robustesse sur terrain non contrôlé ni de cycle de production n'est communiquée. Les robots sphériques à actionnement interne existent depuis les années 1990 dans la recherche académique, avec des prototypes issus de MIT, ETH Zurich ou Carnegie Mellon, et ont trouvé des applications limitées dans la surveillance et l'exploration. Côté produits grand public, Sphero a popularisé la forme, mais sans ambition de navigation autonome précise. Le créneau du robot sphérique à un seul actionneur reste un espace purement expérimental; la prochaine étape logique serait de démontrer la robustesse aux perturbations extérieures (surface irrégulière, contact), d'étendre le cadre théorique à la navigation 3D, et d'évaluer l'intégration de capteurs embarqués dans un volume aussi contraint.

1 source
Apprendre ce qui compte : objectifs adaptatifs fondés sur la théorie de l'information pour l'exploration robotique
152arXiv cs.RO 

Apprendre ce qui compte : objectifs adaptatifs fondés sur la théorie de l'information pour l'exploration robotique

Une équipe de chercheurs a publié en mai 2025 sur arXiv (référence 2605.12084) une méthode appelée Quasi-Optimal Experimental Design, ou QOED, visant à résoudre un problème fondamental de l'exploration robotique : comment guider un robot vers les expériences qui lui apprendront réellement quelque chose d'utile ? La méthode repose sur une analyse de l'espace propre de la matrice d'information de Fisher pour identifier les directions de paramètres réellement observables, puis modifie l'objectif d'exploration pour concentrer l'effort sur ces directions tout en atténuant l'influence des paramètres secondaires ("nuisance"). Évaluée sur des tâches de navigation et de manipulation en simulation et en conditions réelles, QOED génère un gain de performance de 35,23 % grâce à la sélection des directions identifiables, et de 21,98 % supplémentaires via la suppression des effets parasites. Intégrée comme objectif d'exploration dans une boucle d'optimisation de politique model-based, elle surpasse les baselines classiques de RL. Ce résultat compte parce qu'il attaque directement le goulot d'étranglement de l'apprentissage actif en robotique : dans les systèmes haute dimension (bras articulés, manipulation dextre, navigation en environnement non structuré), une large fraction des paramètres du modèle est faiblement observable, voire non identifiable. Les méthodes classiques de curiosité ou d'information gain mesurent une incertitude globale sans distinguer ce qui peut être réduit par l'expérience de ce qui ne le peut pas. QOED fournit une approximation à facteur constant de l'objectif idéal théorique, une garantie formelle rare dans ce champ, ce qui lui confère une légitimité au-delà de la démonstration empirique seule. La méthode s'inscrit dans une longue tradition de théorie du design expérimental optimal (OED) issue des statistiques, ici adaptée au cadre RL avec optimisation en ligne. Sur le plan concurrentiel, les approches voisines incluent les méthodes de curiosité bayésienne (type DIAYN ou LEXA) et les objectifs d'information mutuelle comme VIME ou Plan2Explore. QOED se distingue par son ancrage théorique rigoureux et l'explicitation du sous-espace identifiable, deux points que les méthodes heuristiques négligent. Aucun déploiement industriel ni partenaire n'est mentionné : il s'agit à ce stade d'un résultat académique, dont l'intégration dans des pipelines de calibration ou de sim-to-real reste à valider à plus grande échelle.

RecherchePaper
1 source
VRA : ancrage de l'accélération articulaire en temps discret dans l'actionnement sous contrainte de tension
153arXiv cs.RO 

VRA : ancrage de l'accélération articulaire en temps discret dans l'actionnement sous contrainte de tension

Des chercheurs présentent dans un preprint arXiv (2605.10696, mai 2026) une abstraction de contrôle baptisée Voltage-Realizable Acceleration (VRA), destinée à combler un écart entre planification cinématique et exécution matérielle dans les robots à actionneurs électriques. Le problème identifié : les contraintes d'accélération articulaire en temps discret, couramment utilisées pour imposer des limites de position et de vitesse, peuvent générer des commandes cinématiquement valides mais physiquement irréalisables lorsque les actionneurs opèrent sous contrainte de tension. VRA introduit une interface d'accélération au niveau de l'articulation qui restreint les commandes commandées aux seules valeurs réalisables compte tenu des limites de tension effectives. Des expériences sur actionneurs électriques réels et sur un quadrupède roue-patte ont validé l'approche : suppression des accélérations irréalisables, exécution plus cohérente en régime de contrainte proche des limites, et réduction des oscillations induites. L'impact potentiel concerne tout intégrateur travaillant avec des robots à moteurs électriques, humanoïdes, quadrupèdes, bras industriels. Les oscillations liées aux contraintes sont un problème fréquent en déploiement réel, souvent invisible en simulation, ce qui contribue au sim-to-real gap. En formalisant une couche d'abstraction entre le planificateur cinématique et l'actionneur, VRA pourrait améliorer la robustesse des piles de contrôle existantes sans nécessiter de refonte architecturale. La contribution est conceptuelle : elle nomme et corrige un angle mort longtemps ignoré dans les pipelines de contrôle standard. Les contraintes d'accélération en temps discret sont un outil classique depuis les années 2000, mais leur interaction avec les limites physiques des actionneurs électriques modernes, opérés dans des régimes de plus en plus extrêmes, n'avait pas été formalisée à ce niveau d'abstraction. Ce preprint n'est pas encore évalué par les pairs, et les expériences restent limitées à une seule plateforme roue-patte, type ANYbotics ou Unitree. Les suites logiques incluent une intégration dans des piles open source telles que ros2_control et des validations sur des plateformes humanoïdes à haute dynamique.

UEImpact indirect : tout intégrateur européen s'appuyant sur ros2_control ou des piles de contrôle standard pour robots électriques (bras industriels, quadrupèdes, humanoïdes) pourrait bénéficier d'une future intégration de VRA pour réduire les oscillations en régime limite et améliorer la robustesse sim-to-real.

RecherchePaper
1 source
Wavelet Policy : apprentissage par imitation dans le domaine des échelles avec mémoire a priori du monde
154arXiv cs.RO 

Wavelet Policy : apprentissage par imitation dans le domaine des échelles avec mémoire a priori du monde

Une équipe de chercheurs propose Wavelet Policy (arXiv:2504.04991), un framework léger d'apprentissage par imitation pour la manipulation robotique. L'approche combine deux innovations : une mémoire de scène persistante appelée World Prior Memory (WPM), qui encode la structure statique de l'environnement à partir d'images de fond dans des vecteurs compacts, et une modélisation des actions par décomposition en ondelettes (wavelet-domain decomposition). L'architecture résultante, baptisée Single-Encoder Multiple-Decoder (SE2MD), décompose les représentations latentes des actions en sous-bandes temporelles distinctes, reconstruites via transformée inverse avant d'être projetées en séquences d'actions exécutables. Validée sur quatre tâches simulées et six tâches réelles de manipulation robotique, la méthode surpasse les baselines de référence sur l'ensemble des benchmarks. Le code source, les données et les poids du modèle sur tâches simulées sont disponibles publiquement sur GitHub. L'enjeu central est double. D'une part, les politiques visuomotrices classiques (ACT, Diffusion Policy) opèrent entièrement dans le domaine temporel et peinent à maintenir une conscience cohérente de la scène physique sur des horizons longs. D'autre part, les architectures à modèle du monde qui résolvent ce problème imposent un surcoût computationnel significatif, incompatible avec un déploiement embarqué sur robot. Wavelet Policy avance que la décomposition fréquentielle des représentations d'actions latentes suffit à capturer simultanément les composantes rapides (corrections fines) et lentes (planification gestuelle) sans recourir à un modèle du monde explicite. Pour les intégrateurs industriels et les équipes R&D embarquées, cela ouvre la voie à des politiques de manipulation longue-horizon déployables avec des ressources de calcul modestes. Le travail s'inscrit dans une compétition intense sur les politiques visuomotrices généralisées : Physical Intelligence a publié π0 fin 2024 sur des tâches de manipulation complexes, NVIDIA a proposé GR00T N2 avec apprentissage par simulation, et des laboratoires académiques comme Stanford ou Berkeley poussent des variantes de Diffusion Policy et d'imitation par Transformer. Wavelet Policy se positionne comme une alternative légère, sans prétendre au déploiement sur robot humanoïde : les expériences réelles restent au stade du bras manipulateur en environnement contrôlé. Publié en version preprint (v4, avril 2025), le travail n'a pas encore fait l'objet d'une publication dans une conférence de rang A (ICRA, CoRL, RSS), ce qui invite à nuancer la portée des résultats annoncés avant validation par les pairs.

IA physiqueOpinion
1 source
De la conformité ontologique à la reconfiguration admissible : argument d'adéquation RoSO/SMGI pour la gouvernance robotique
155arXiv cs.RO 

De la conformité ontologique à la reconfiguration admissible : argument d'adéquation RoSO/SMGI pour la gouvernance robotique

Un preprint arXiv (2605.08185, mai 2026) propose un cadre théorique qui relie la Robotic Service Ontology (RoSO) au Structural Model of General Intelligence (SMGI), développé par Osmani en 2026. RoSO fournit un vocabulaire sémantique typé pour décrire les services robotiques: fonctions, interactions et contraintes de déploiement. Mais la conformité à une ontologie ne répond pas à une question plus difficile: lorsqu'un service robotique est reconfiguré, recomposé, réparé ou redéployé, sous quelles conditions la configuration résultante reste-t-elle une réalisation admissible du même service protégé? Les auteurs embarquent formellement RoSO dans SMGI comme couche sémantique typée et démontrent trois résultats: un théorème d'adéquation RoSO/SMGI, des critères de reconfiguration préservant l'identité de service, et des conditions compositionnelles garantissant que des mises à jour localement acceptables restent globalement admissibles à l'échelle du système. L'enjeu pratique est concret pour les intégrateurs et les industriels qui exploitent des flottes de robots de service. Les ontologies comme RoSO certifient qu'un système est "bien formé" à l'instant de la certification, mais elles restent muettes sur ce qui se passe en cours d'exploitation: patch logiciel, substitution de composant, changement de domaine de déploiement. SMGI ajoute précisément cette dimension dynamique via une interface structurelle θ et une sémantique comportementale induite T_θ, qui permettent de raisonner formellement sur les modifications à l'exécution. Dans le contexte réglementaire actuel, l'EU AI Act imposant une conformité continue pour les systèmes autonomes à haut risque, ce formalisme constitue un socle théorique pour concevoir des mécanismes de gouvernance robustes, au-delà des audits ponctuels de certification. RoSO a émergé pour combler le manque de vocabulaire sémantique précis en robotique de service, notamment pour des déploiements multi-robots en environnements hétérogènes. SMGI, proposé par Osmani en 2026, modélise les systèmes intelligents à travers structure, comportement et gouvernance des normes. Ce travail s'inscrit dans une tendance plus large portée par l'IEEE RAS et le comité ISO/TC 299, qui cherchent à fonder formellement la certification continue des systèmes autonomes. Il faut noter que le papier reste un preprint non encore évalué par les pairs, sans déploiement industriel ni partenariat annoncé, et que son apport demeure théorique. La validation empirique sur des architectures concrètes comme ROS 2 ou l'intégration avec des cadres d'assurance existants tels qu'IEC 61508 constitueront les prochaines étapes naturelles.

UELe cadre formel RoSO/SMGI pose un socle théorique pour concevoir des mécanismes de conformité continue compatibles avec l'EU AI Act pour les systèmes robotiques autonomes classés à haut risque.

RegulationReglementation
1 source
RoboMemArena : un benchmark complet et exigeant pour la mémoire des robots
156arXiv cs.RO 

RoboMemArena : un benchmark complet et exigeant pour la mémoire des robots

Une équipe de chercheurs a publié sur arXiv (2605.10921) RoboMemArena, un benchmark de grande envergure conçu pour évaluer les capacités mémorielles des robots dans des tâches longues et partiellement observables. Le benchmark couvre 26 tâches distinctes, avec des trajectoires d'exécution dépassant en moyenne 1 000 étapes par tâche, dont 68,9 % des sous-tâches nécessitent explicitement la mobilisation de la mémoire passée. Sa pipeline de génération repose sur un modèle vision-langage (VLM) pour composer les sous-tâches, produire les trajectoires via des fonctions atomiques, et annoter les séquences clés (keyframes, instructions de sous-tâches). Une évaluation en environnement physique réel complète les expériences en simulation, ce qui distingue RoboMemArena des benchmarks existants. Les chercheurs proposent également PrediMem, une architecture VLA à double système : un planificateur VLM haut niveau gère une banque mémoire combinant un buffer récent et un buffer de keyframes, tandis qu'une tête de codage prédictif améliore la sensibilité aux dynamiques de tâche. PrediMem surpasse tous les modèles de référence testés sur RoboMemArena. Ce travail s'attaque à un angle mort persistant dans la recherche robotique : les systèmes actuels, y compris les VLA récents comme Pi-0, GR00T N2 ou Helix, sont majoritairement évalués sur des tâches courtes et observables, où la mémoire à long terme n'est pas critique. RoboMemArena expose la fragilité de ces architectures dès que l'horizon de décision s'allonge et que l'environnement devient partiellement observable. Pour un intégrateur ou un décideur B2B, le chiffre-clé est celui des 1 000 étapes : la plupart des benchmarks industriels actuels restent en dessous de 100 étapes, ce qui masque des lacunes importantes en conditions réelles. L'inclusion d'une évaluation physique réelle renforce la crédibilité des résultats, même si les détails de configuration matérielle ne sont pas précisés dans l'abstract. La question de la mémoire robotique n'est pas nouvelle : des travaux comme MemoryReplay, EpisodeVQA ou les architectures à attention récurrente (R-VLA) ont posé les bases, mais sans benchmark unifié à cette échelle. RoboMemArena s'inscrit dans une tendance plus large d'outillage de l'évaluation des VLA, aux côtés de BenchBot, RLBench2 ou Open X-Embodiment. PrediMem reste pour l'instant un modèle académique sans déploiement annoncé, et ses résultats devront être confirmés sur des plateformes matérielles tierces (Unitree G1, Figure 03, Boston Dynamics Atlas) pour convaincre au-delà du laboratoire. Les auteurs évoquent des lois de mise à l'échelle (scaling laws) pour les systèmes mémoriels complexes, ce qui suggère une piste de recherche active dans les mois à venir.

UELes laboratoires européens (CEA-List, INRIA) pourraient adopter RoboMemArena comme référence commune pour évaluer leurs architectures VLA sur des horizons longs, comblant l'absence actuelle de benchmark unifié à cette échelle.

RecherchePaper
1 source
IA incarnée : apprendre de ses essais et erreurs grâce à la planification réflexive à l'inférence
157arXiv cs.RO 

IA incarnée : apprendre de ses essais et erreurs grâce à la planification réflexive à l'inférence

Une équipe de chercheurs a déposé sur arXiv en février 2026 (réf. 2602.21198, v2) un framework baptisé Reflective Test-Time Planning (RTTP), conçu pour résoudre un angle mort structurel de la robotique pilotée par LLM : les agents embarqués traitent chaque essai de façon indépendante, ce qui fait répéter les mêmes erreurs au lieu d'en tirer une expérience cumulative. Le RTTP introduit deux mécanismes : la reflection-in-action, où l'agent génère et évalue plusieurs actions candidates via un scaling à l'inférence avant d'agir, et la reflection-on-action, qui met à jour le modèle de réflexion interne et la politique d'action après exécution via un entraînement à l'inférence. Une troisième composante, la réflexion rétrospective, permet de réévaluer des décisions antérieures pour corriger l'attribution de crédit sur des tâches à long horizon. Les expériences portent sur deux benchmarks : Long-Horizon Household (tâches domestiques séquentielles) et MuJoCo Cupboard Fitting (manipulation en simulation physique), avec généralisation zero-shot vers les environnements HM3D photoréalistes et validation sur bras réel Franka Panda. L'enjeu industriel est direct : le déploiement de robots pilotés par VLA (Vision-Language-Action models) bute sur le demo-to-reality gap, où les modèles performent en laboratoire mais dégradent en conditions variables. RTTP propose une boucle fermée d'adaptation pendant le déploiement, sans fine-tuning offline coûteux. Les ablations confirment que les deux modes de réflexion sont mutuellement dépendants, et que la réflexion rétrospective surpasse le feedback step-wise classique avec un overhead computationnel inférieur, un avantage concret pour les intégrateurs soucieux de maîtriser les coûts d'inférence à l'échelle. Cette contribution s'inscrit dans la vague du test-time scaling, popularisée par les modèles de raisonnement d'OpenAI et Google DeepMind, mais appliquée à l'action robotique incarnée plutôt qu'au raisonnement abstrait. Les auteurs ne mentionnent ni partenariat industriel ni timeline commerciale : c'est un preprint de recherche, pas un produit shipé. Les travaux concurrents dans cette direction incluent les VLAs de Physical Intelligence (pi0), le programme RT-2-X de Google DeepMind et les recherches sur l'apprentissage online menées à Carnegie Mellon et Berkeley. Aucun acteur français ou européen n'est impliqué dans cette publication.

IA physiqueOpinion
1 source
LoopVLA : l'amélioration itérative par suffisance apprise pour les modèles vision-langage-action (VLA)
158arXiv cs.RO 

LoopVLA : l'amélioration itérative par suffisance apprise pour les modèles vision-langage-action (VLA)

Une équipe de chercheurs a déposé en mai 2026 sur arXiv un préprint décrivant LoopVLA, une nouvelle architecture de modèle Vision-Language-Action (VLA) conçue pour la manipulation robotique en boucle fermée. L'idée centrale : les VLA actuels utilisent systématiquement la représentation la plus abstraite de leur backbone vision-langage pour prédire les actions, ce qui se révèle sous-optimal pour les ajustements spatiaux fins et répétitifs qu'implique la manipulation de précision. LoopVLA remplace cette logique par un bloc Transformer partagé appliqué de manière récurrente : à chaque itération, le modèle produit à la fois une action candidate et un score de suffisance estimant si un raffinement supplémentaire est nécessaire. L'apprentissage de ce score, en l'absence de supervision directe, repose sur un objectif d'alignement de distribution auto-supervisé : les scores de confiance intermédiaires sont entraînés à refléter la qualité relative des actions produites à chaque étape de raffinement. Sur les benchmarks LIBERO, LIBERO-Plus et VLA-Arena, LoopVLA réduit le nombre de paramètres de 45 % et améliore le débit d'inférence jusqu'à 1,7 fois, tout en atteignant ou surpassant les baselines de référence sur les taux de réussite aux tâches. Le gain est concret pour les équipes qui déploient des VLA sur matériel embarqué ou sous contraintes de latence : un facteur 1,7x sur le throughput d'inférence peut faire la différence entre un robot capable de répondre en boucle de contrôle serrée et un système trop lent pour la production. L'approche remet également en question un postulat dominant dans le domaine, à savoir que la représentation la plus profonde est toujours la meilleure pour l'action. En montrant qu'une sortie anticipée guidée par un signal appris suffit à maintenir les performances, LoopVLA plaide contre le dogme "plus profond égale meilleur" pour la manipulation de précision, où les indices géométriques bas-niveau (position du préhenseur, orientation d'un objet) sont souvent dégradés par une abstraction excessive. Les VLA sont au coeur d'une compétition intense depuis l'émergence de Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA et Octo (UC Berkeley). La plupart de ces modèles héritent d'une logique "backbone figé + tête d'action" sans remettre en question la profondeur de représentation utilisée. LoopVLA s'inscrit dans la lignée des travaux sur l'early exit et le calcul adaptatif, comparable aux Mixture of Depths de DeepMind, mais appliqués à la politique robotique. Il n'y a pas de déploiement industriel annoncé : il s'agit d'un résultat de recherche avec évaluations uniquement en simulateur (LIBERO est un benchmark sim). La prochaine étape naturelle serait une validation sur robot réel pour mesurer le sim-to-real gap, en particulier sur des tâches de manipulation fine.

IA physiqueOpinion
1 source
VISOR : un oracle de test basé sur un modèle vision-langage pour tester les robots
159arXiv cs.RO 

VISOR : un oracle de test basé sur un modèle vision-langage pour tester les robots

Une équipe de chercheurs a présenté VISOR, un oracle de test automatisé pour la robotique basé sur des modèles vision-langage (VLM). Publiée sur arXiv (2605.10408), la méthode vise à résoudre ce que le domaine nomme le "problème de l'oracle de test" : déterminer automatiquement si un robot a accompli une tâche de manière correcte et avec une qualité suffisante. Jusqu'ici, deux approches coexistaient : les oracles symboliques, limités à des jugements binaires pass/fail et spécifiques à chaque tâche, et l'évaluation humaine manuelle, coûteuse, subjective et sujette aux erreurs. VISOR s'appuie sur GPT (OpenAI) et Gemini (Google) pour évaluer à la fois la correction et la qualité d'exécution, et pour quantifier son propre niveau d'incertitude lors des assessments. Le système a été validé sur plus de 1 000 vidéos couvrant quatre tâches robotiques distinctes. Les résultats montrent des profils contrastés : Gemini obtient un meilleur rappel (recall), identifiant davantage de vraies défaillances, tandis que GPT affiche une meilleure précision avec moins de faux positifs. Ces résultats nuancent l'idée d'un VLM universellement fiable comme juge de comportements robotiques. Plus problématique : les deux modèles présentent une faible corrélation entre leur score d'incertitude auto-déclaré et la correction réelle de leurs jugements. L'incertitude ne peut donc pas servir d'indicateur fiable pour filtrer les erreurs d'évaluation, ce qui est une limite directe pour tout déploiement en pipeline de test continu, où un tel signal de fiabilité serait précieux. Le "problème de l'oracle de test" est une problématique classique du génie logiciel, qui prend une dimension particulière en robotique physique : les comportements y sont continus, bruités et difficiles à formaliser symboliquement. L'approche VLM-as-judge, popularisée dans l'évaluation des LLMs textuels via des benchmarks comme MT-Bench ou AlpacaEval, est ici transposée à des sorties vidéo de robots, ce qui constitue une extension non triviale. Des travaux concurrents explorent des métriques spécifiques aux tâches ou des simulateurs avec vérification formelle, mais VISOR mise sur la généralité au détriment d'une calibration encore insuffisante. La prochaine étape identifiée par les auteurs est précisément d'améliorer cette corrélation incertitude-correction, condition nécessaire avant toute intégration dans un pipeline CI/CD robotique.

RecherchePaper
1 source
RePO-VLA : l'optimisation de politique guidée par la récupération pour les modèles vision-langage-action (VLA)
160arXiv cs.RO 

RePO-VLA : l'optimisation de politique guidée par la récupération pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (arXiv:2605.09410) RePO-VLA, un framework d'optimisation de politique pour modèles VLA (Vision-Language-Action) conçu pour améliorer la robustesse en manipulation bimanuelle sur des tâches longues et à fort contact. Le problème central identifié: les pipelines d'entraînement classiques exploitent uniquement les trajectoires réussies, abandonnant les épisodes ratés et rendant les modèles fragiles à la moindre perturbation d'exécution. RePO-VLA introduit trois mécanismes distincts: la Recovery-Aware Initialization (RAI), qui isole les segments de récupération et réinitialise l'historique d'état pour que les actions correctives s'ancrent dans l'état adverse courant plutôt que dans l'enchaînement d'erreurs précédent; la Progress-Aware Semantic Value Function (PAS-VF), qui attribue une valeur aux préfixes utiles des trajectoires échouées via un mécanisme de "reliability decay"; et le Value-Conditioned Refinement (VCR), qui entraîne la politique à sélectionner les actions à haute progression. Les auteurs introduisent également FRBench, un benchmark standardisé d'injection d'erreurs orienté récupération. Sur des tâches bimanuelle simulées et réelles, le taux de succès en conditions adverses passe de 20% à 75% en moyenne, et jusqu'à 80% lors d'essais réels à grande échelle. Ce résultat marque une rupture avec les pipelines dominants. Physical Intelligence (Pi-0, Pi-0.5), Figure AI et la quasi-totalité des approches VLA académiques s'entraînent exclusivement sur des trajectoires réussies, sacrifiant l'information contenue dans les épisodes ratés. RePO-VLA démontre que ces données sont exploitables à condition d'être labélisées en fonction de leur degré de progression vers l'objectif. Autre avantage pour le déploiement industriel: à l'inférence, aucun détecteur de défaillance en ligne n'est requis. Un simple paramètre fixe (v=1.0) suffit à biaiser les actions vers le manifold de succès appris, ce qui simplifie considérablement l'intégration en production sur des tâches de manipulation répétitive longue durée. Les VLA sont en 2025-2026 l'un des axes de recherche les plus actifs en robotique manipulatrice, portés par Physical Intelligence, Figure AI, et des laboratoires comme Berkeley, Stanford et CMU. La manipulation bimanuelle en contact représente l'échelon de difficulté le plus élevé: elle concentre les problèmes de sim-to-real gap, de gestion du contact imprédictible et de dérive d'exécution sur de longues séquences. RePO-VLA reste pour l'instant un article arXiv sans annonce de déploiement ni partenariat industriel associé. FRBench pourrait toutefois s'imposer comme référence communautaire pour évaluer la robustesse en récupération d'erreur, critère aujourd'hui absent des benchmarks standards comme LIBERO ou RoboSuite.

IA physiqueOpinion
1 source
Piloter un robot humanoïde par instructions en langage libre : un modèle d'action à grand vocabulaire de mouvement unifié
161arXiv cs.RO 

Piloter un robot humanoïde par instructions en langage libre : un modèle d'action à grand vocabulaire de mouvement unifié

Des chercheurs ont publié sur arXiv (identifiant 2511.22963, troisième version) Humanoid-LLA, un modèle d'action fondé sur un grand modèle de langage capable de convertir des instructions en langage naturel libre en séquences de mouvement whole-body exécutables directement sur des robots humanoïdes. Le système s'attaque à deux verrous techniques bien connus dans le domaine : la rareté des données appariées langage-mouvement humanoïde, et l'instabilité physique des mouvements synthétiques. Pour y remédier, l'architecture apprend un vocabulaire de mouvement unifié humain-humanoïde qui permet d'ancrer la sémantique de haut niveau dans un espace de contrôle physiquement cohérent. L'entraînement suit un protocole en deux étapes : une phase supervisée par Chain-of-Thought sur les séquences de mouvement, suivie d'un affinage par reinforcement learning conditionné par un retour de simulation physique. Les évaluations combinent tests en simulation et expériences réelles en cross-embodiment, soit sur plusieurs modèles de robots distincts. Ce travail comble un angle mort persistant dans la recherche sur les humanoïdes : la commande en langage libre pour le contrôle du corps entier, et pas seulement du bras manipulateur. Les approches existantes restent soit cantonnées à des instructions prédéfinies, soit contraintes à sacrifier la diversité des mouvements pour conserver la stabilité physique. Humanoid-LLA tente de lever ce compromis en intégrant explicitement la physique dans la boucle d'apprentissage via le RL. Pour les intégrateurs et les COO industriels, l'enjeu est concret : un tel modèle pourrait réduire la dépendance aux interfaces de programmation spécialisées et abaisser le coût d'interaction avec des humanoïdes en ligne de production. La capacité de généralisation à des commandes inédites reste la métrique-clé revendiquée, mais l'absence de benchmarks comparatifs standardisés et la sélection probable des démonstrations vidéo invitent à nuancer les conclusions. Humanoid-LLA s'inscrit dans la montée en puissance des modèles VLA (Vision-Language-Action), un segment où Physical Intelligence avec pi0, Google DeepMind avec RT-2 et GR00T N2 co-développé avec NVIDIA, et Figure avec son pipeline Helix ont toutes misé sur le couplage langage-action pour dépasser les politiques sensorimotrices figées. La spécificité de cette contribution est le focus explicite sur le mouvement du corps complet plutôt que sur la manipulation d'objets, un espace encore peu exploré à grande échelle. L'article demeure un preprint non évalué par les pairs, sans déploiement industriel ni partenariat de mise en production annoncé. Les prochaines étapes probables incluent une soumission en conférence de type ICRA ou CoRL, et une validation sur des humanoïdes commerciaux comme l'Unitree H1 ou le Boston Dynamics Atlas, régulièrement utilisés comme bancs de test dans ce segment.

IA physiqueOpinion
1 source
HeteroGenManip : manipulation généralisable pour les interactions avec des objets hétérogènes
162arXiv cs.RO 

HeteroGenManip : manipulation généralisable pour les interactions avec des objets hétérogènes

Une équipe de chercheurs a publié en mai 2026 sur arXiv (identifiant 2605.10201) un framework baptisé HeteroGenManip, conçu pour améliorer la manipulation robotique d'objets hétérogènes, c'est-à-dire d'objets appartenant à des catégories morphologiques différentes. L'architecture repose sur deux modules distincts : un module de saisie guidé par correspondance structurelle (Foundation-Correspondence-Guided Grasp) qui localise le point de contact initial, et une politique de diffusion multi-modèles (Multi-Foundation-Model Diffusion Policy, MFMDP) qui planifie la trajectoire d'interaction selon la catégorie de l'objet détecté. Les résultats expérimentaux annoncés font état d'une amélioration moyenne de 31 % en simulation sur un panel large de types d'objets, et d'un gain de 36,7 % sur quatre tâches réelles impliquant des types d'interactions différents. Aucun détail sur les sites de déploiement industriel ou les partenaires terrain n'est mentionné dans la publication. Ce travail s'attaque à un verrou bien identifié dans la manipulation robotique généraliste : les approches bout-en-bout (end-to-end) basées sur des modèles de fondation confondent la localisation du contact et la planification du mouvement, ce qui amplifie les erreurs sur les tâches longues (long-horizon tasks). En routant chaque objet vers un modèle spécialisé par catégorie via un mécanisme de double attention croisée (dual-stream cross-attention), HeteroGenManip tente de réconcilier généralisation inter-catégories et précision géométrique fine. Si les gains annoncés se confirment hors conditions de laboratoire, cela représente un argument sérieux contre l'hypothèse que les VLA (Vision-Language-Action models) end-to-end suffisent pour la diversité réelle du monde industriel. La problématique de la manipulation hétérogène est au coeur des efforts de nombreux groupes de recherche, notamment autour des politiques de diffusion comme Pi-0 de Physical Intelligence ou des travaux sur GR00T N2 chez NVIDIA. HeteroGenManip se positionne comme une alternative structurée en pipeline, s'appuyant sur des priors géométriques plutôt que sur l'apprentissage massif de données de démonstration. La publication reste à ce stade un résultat académique sans annonce de transfert industriel ni de code public répertorié, ce qui invite à attendre une validation reproductible avant toute extrapolation sur les cas d'usage en intégration réelle.

RechercheOpinion
1 source
MAG-VLAQ : agrégation multimodale aérien-sol pour la reconnaissance de lieux en vue croisée
163arXiv cs.RO 

MAG-VLAQ : agrégation multimodale aérien-sol pour la reconnaissance de lieux en vue croisée

Des chercheurs ont publié MAG-VLAQ (Multi-modal Aerial-Ground Query Aggregation for Cross-View Place Recognition), un framework de reconnaissance de lieux qui associe des observations au sol -- caméra RGB et LiDAR -- à des images aériennes ou satellites. L'architecture repose sur des modèles de fondation pré-entraînés pour extraire des tokens visuels denses depuis les images sol et aériennes, auxquels s'ajoutent des tokens géométriques issus du LiDAR. La contribution principale est l'ODE-conditioned VLAQ : une fusion RGB-LiDAR pilotée par des équations différentielles ordinaires (ODE), couplée à des vecteurs de requêtes localement agrégées (VLAQ) dont les centres s'adaptent dynamiquement à l'état multi-modal fusionné. Sur le benchmark KITTI360-AG, MAG-VLAQ atteint 61,1 de Recall@1 en configuration satellite, contre 34,5 pour l'approche concurrente la plus proche, soit un quasi-doublement de l'état de l'art. Les résultats sont également validés sur nuScenes-AG. Le papier est disponible en préprint sur arXiv (2605.09418v1) et n'a pas encore été soumis à revue par les pairs. Ce gain de performance est significatif pour la localisation robotique en milieu urbain, où la capacité à se positionner sur une carte satellite sans GPS fiable reste un verrou applicatif majeur pour les véhicules autonomes, les drones de livraison ou les AMR opérant en extérieur. Cela dit, les benchmarks KITTI360-AG et nuScenes-AG sont dérivés de datasets de conduite autonome : leur transférabilité à des environnements industriels ou à des configurations de drones réels n'est pas démontrée. Sur le plan technique, le conditionnement ODE pour piloter dynamiquement les prototypes de requêtes représente une approche originale pour fusionner des modalités hétérogènes dans un descripteur global cohérent. C'est un signal que les modèles de fondation commencent à apporter des gains mesurables sur des tâches de localisation géométrique, au-delà de la détection d'objets. La reconnaissance de lieux multi-modale est un champ actif depuis une décennie, avec des approches pionnières comme NetVLAD (2016) pour la compression de descripteurs visuels. L'essor des modèles de fondation visuels -- DINOv2, SAM -- a relancé les performances sur cette tâche depuis 2023. Dans le paysage concurrent, des travaux comme AnyLoc, EigenPlaces ou BEV-Net cherchent également à combler l'écart entre vue sol et vue aérienne, mais restent majoritairement mono-modaux (vision seule). MAG-VLAQ se distingue en intégrant LiDAR et conditionnement ODE là où ces approches s'appuient uniquement sur le RGB. Aucun partenariat industriel ni timeline de déploiement n'est mentionné dans l'article : à ce stade, il s'agit d'une contribution académique dont les suites pratiques dépendront de tests sur des capteurs et scénarios réels.

RecherchePaper
1 source
ElasticFlow : une politique à horizon temporel élastique pour la manipulation guidée par le langage
164arXiv cs.RO 

ElasticFlow : une politique à horizon temporel élastique pour la manipulation guidée par le langage

ElasticFlow est un cadre de politique robotique pour la manipulation guidée par le langage, présenté dans un preprint arXiv (2605.08799) publié en mai 2026. L'approche vise à résoudre le principal défaut des politiques de diffusion, dominantes en robotique incarnée depuis 2023: leur processus itératif de débruitage génère une latence incompatible avec le contrôle temps réel. ElasticFlow atteint une inférence en une seule évaluation réseau (1-NFE, Neural Function Evaluation) à environ 71 Hz, sans recourir à la distillation. La méthode est validée sur trois benchmarks standard: LIBERO, CALVIN et RoboTwin, où elle surpasse OpenVLA et Pi-0 (Physical Intelligence) sur des tâches à long horizon temporel. Le coeur de la contribution est double. D'une part, les auteurs reconstruisent la Mean Field Theory pour modéliser directement le champ de vitesse moyen, ce qui permet un mapping direct bruit-vers-action en une seule passe, sans sacrifier la cohérence physique des trajectoires. D'autre part, le mécanisme "Elastic Time Horizons" encode explicitement la granularité de contrôle afin d'aligner les instructions sémantiques en langage naturel avec les horizons d'exécution physique, adressant le Spectral Bias inherent aux réseaux neuronaux profonds. Si ces gains se confirment sur matériel réel, l'impact pour les intégrateurs est concret: des politiques VLA (Vision-Language-Action) déployables en temps réel sur des contrôleurs embarqués à ressources limitées, sans pipeline de distillation complexe à maintenir. Ce travail s'inscrit dans une compétition dense autour des architectures VLA: Pi-0 de Physical Intelligence, OpenVLA de Berkeley, RT-2 de Google DeepMind, ou encore les récents modèles de manipulation de Figure AI et 1X Technologies ont tous posé des jalons dans cette catégorie. Le backbone diffusion en robotique a été popularisé par Diffusion Policy (Chi et al., 2023), devenu une référence de facto. ElasticFlow cible précisément son goulot d'étranglement computationnel. Le papier reste un preprint non évalué par les pairs, et les expériences présentées reposent exclusivement sur des benchmarks simulés. Aucune validation sur plateforme matérielle réelle n'est annoncée, ce qui laisse entière la question du sim-to-real gap et nuance les affirmations de "cohérence physique" avancées par les auteurs.

RechercheOpinion
1 source
CapVector : des vecteurs de capacité transférables dans l'espace paramétrique pour les modèles VLA
165arXiv cs.RO 

CapVector : des vecteurs de capacité transférables dans l'espace paramétrique pour les modèles VLA

Des chercheurs ont publié le 15 mai 2026 sur arXiv un article présentant CapVector, une méthode d'adaptation des modèles Vision-Language-Action (VLA) qui réduit les coûts de fine-tuning sans sacrifier les performances. Le principe : entraîner le modèle deux fois sur un petit ensemble de tâches avec deux stratégies distinctes, puis calculer la différence entre les paramètres des deux modèles obtenus. Cette différence constitue un "vecteur de capacité" qui est ensuite fusionné avec les paramètres du modèle préentraîné pour former un méta-modèle enrichi. Une perte de régularisation orthogonale légère, ajoutée lors du fine-tuning standard, suffit à atteindre des performances comparables aux méthodes d'entraînement auxiliaire classiques, avec une empreinte computationnelle significativement réduite. L'enjeu est concret pour les équipes qui déploient des robots manipulateurs ou mobiles basés sur des VLA comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA : le fine-tuning sur de nouvelles tâches ou de nouveaux embodiments reste aujourd'hui coûteux en GPU-heures et en données. Les méthodes à objectifs auxiliaires améliorent la convergence mais multiplient les passes de gradient. CapVector propose une voie médiane : extraire les gains des méthodes avancées sous forme de vecteurs transférables, réutilisables sur d'autres modèles et d'autres environnements sans réentraînement. Les expériences internes et externes rapportées montrent une généralisation à des environnements et des morphologies non vus lors de la construction des vecteurs, ce qui est l'affirmation la plus forte de l'article et qui méritera une vérification indépendante. Les VLA sont devenus le paradigme dominant pour la robotique généraliste depuis la publication de RT-2 par Google DeepMind en 2023 et les releases successives d'OpenVLA, Octo, puis Pi-0 fin 2024. Le goulot d'étranglement s'est déplacé de la capacité du modèle vers l'efficacité de l'adaptation : comment spécialiser un grand modèle généraliste pour une cellule industrielle précise, avec peu de données et peu de calcul ? CapVector s'inscrit dans cette tendance aux "parameter-efficient adaptation" methods, aux côtés de LoRA, DoRA et des approches par model merging. Il s'agit d'un preprint arXiv (v1, pas encore évalué par les pairs) ; aucun déploiement industriel ni partenariat n'est mentionné à ce stade.

RechercheOpinion
1 source
Système de collecte de données visuo-tactiles avec retour haptique pour l'apprentissage par imitation du grossier au précis
166arXiv cs.RO 

Système de collecte de données visuo-tactiles avec retour haptique pour l'apprentissage par imitation du grossier au précis

Des chercheurs ont publié sur arXiv (référence 2605.08757) un système de collecte de données visuo-tactile conçu pour générer des démonstrations de manipulation riches en contacts, destinées à l'apprentissage par imitation. Le dispositif repose sur une pince à entraînement direct que l'opérateur actionne directement avec ses doigts, préservant ainsi le retour haptique naturel pendant l'exécution des tâches. Des capteurs visuels embarqués et des réseaux de capteurs tactiles personnalisés capturent simultanément des flux d'images et la géométrie des contacts. Un bouton-poussoir monté sur la poignée permet à l'opérateur d'annoter en temps réel la structure temporelle de la tâche, en marquant les phases critiques au moment même où elles se produisent. L'ensemble produit des jeux de données multimodaux structurés temporellement, exploitables par des algorithmes d'apprentissage "coarse-to-fine" (du grossier au fin). L'apport principal est d'ordre méthodologique : les systèmes de téleopération conventionnels dissocient l'opérateur des forces de contact, ce qui empêche de démontrer les modulations fines de force nécessaires à des manipulations précises, serrage d'une pièce fragile, insertion avec ajustement, assemblage à faible jeu. En couplant la perception des forces en main avec une annotation temporelle in situ, le système permet de produire des politiques de manipulation de meilleure qualité sans augmenter le volume de données collectées. Pour les intégrateurs qui cherchent à déployer des robots sur des tâches de contact (assemblage, tri délicat, industrie pharmaceutique), c'est une piste sérieuse pour réduire le "demo gap" entre les démonstrations humaines et ce que le robot reproduit réellement. Ce travail s'inscrit dans une dynamique intense autour de la collecte de données de haute qualité pour le robot learning. Les architectures de référence actuelles, ALOHA et ACT de Stanford, UMI de Columbia, ou encore les systèmes de Physical Intelligence derrière pi-0, ont montré que la qualité des démonstrations prime souvent sur leur quantité. Là où ALOHA mise sur la téleopération bimanuelle et UMI sur la portabilité via poignée universelle, ce système parie sur la boucle haptique fermée et l'annotation sémantique embarquée. Aucun déploiement industriel ni partenaire commercial n'est mentionné à ce stade : il s'agit d'une contribution de recherche, sans timeline de productisation annoncée.

IA physiquePaper
1 source
AssemPlanner : un cadre de planification de tâches multi-agents pour les systèmes d'assemblage flexibles
167arXiv cs.RO 

AssemPlanner : un cadre de planification de tâches multi-agents pour les systèmes d'assemblage flexibles

Une équipe de chercheurs a publié le 12 mai 2026 sur arXiv (référence 2605.08831) un framework de planification de tâches pour systèmes d'assemblage flexibles baptisé AssemPlanner. Le système prend en entrée des descriptions de tâches en langage naturel et les convertit automatiquement en séquences d'opérations de production exécutables. Son architecture repose sur plusieurs agents spécialisés : SchedAgent, qui joue le rôle de moteur de raisonnement central, KnowledgeAgent, chargé de fournir les connaissances métier, LineBalanceAgent, responsable de l'équilibrage des lignes, ainsi qu'un graphe de scène représentant l'état physique de l'environnement. Le code source et les jeux de données sont publiés en accès libre sur GitHub, ce qui facilite la reproductibilité des résultats. L'intérêt industriel de cette approche réside dans la réduction du temps de reconfiguration d'une ligne d'assemblage lors du passage à un nouveau produit. Dans les systèmes actuels, cette phase mobilise plusieurs experts pendant des périodes significatives, ce qui constitue un frein majeur à la flexibilité de la production. En substituant une interface en langage naturel à la configuration manuelle, AssemPlanner vise à abaisser la barrière d'entrée pour les intégrateurs et les responsables de production. Le recours à l'approche ReAct (Reasoning + Acting) permet à SchedAgent d'ajuster dynamiquement ses décisions en fonction des retours des autres agents, contrairement aux pipelines statiques traditionnels qui nécessitent une reprogrammation explicite dès que les contraintes du procédé changent. Cela pourrait réduire concrètement les délais de mise en production pour les PME industrielles et les intégrateurs spécialisés en automatisation. AssemPlanner s'inscrit dans la dynamique plus large des systèmes multi-agents LLM appliqués à l'automatisation industrielle, un champ en expansion rapide depuis 2023. L'architecture ReAct, introduite par des chercheurs de Google et Princeton en 2022, est ici transposée dans un contexte de manufacturing réel plutôt que symbolique. Les approches concurrentes incluent les systèmes experts classiques, la planification par jumeaux numériques, et des frameworks comme TaskMatrix ou AutoGen adaptés à des verticaux industriels. Il convient de souligner que le papier reste une contribution académique : aucun déploiement en environnement de production réel n'est documenté à ce stade, et les performances annoncées devront être validées hors contexte contrôlé.

RechercheActu
1 source
Apprentissage par renforcement neuromorphique pour la locomotion de robots quadrupèdes sur terrain accidenté
168arXiv cs.RO 

Apprentissage par renforcement neuromorphique pour la locomotion de robots quadrupèdes sur terrain accidenté

Une équipe de chercheurs a publié mi-mai 2026 sur arXiv (réf. 2605.09595) un framework d'apprentissage par renforcement basé sur l'équilibrium propagation (EP) pour contrôler la locomotion d'un quadrupède Unitree A1 à 12 degrés de liberté sur terrain accidenté. Plutôt que la rétropropagation classique, ils substituent les gradients globaux par des règles d'apprentissage locales pilotées par les états neuronaux, compatibles avec les substrats neuromorphiques et de calcul en mémoire. Le contrôleur combine un générateur de motif central (CPG) bio-inspiré avec une politique d'ajustement postural résiduel, entraîné via une variante PPO (Proximal Policy Optimization) adaptée à l'EP avec un mécanisme de clipping bilatéral du ratio pour stabiliser les mises à jour lors de la relaxation. Les résultats montrent des performances comparables à une baseline PPO classique en taux de succès, suivi de vitesse, consommation des actionneurs et stabilité corporelle, tout en réduisant la mémoire GPU de 4,3× par rapport à la rétropropagation à travers le temps (BPTT). L'ensemble des expériences reste en simulation, aucun déploiement terrain n'est documenté dans la publication. L'enjeu structurel est clair : les politiques de locomotion RL actuelles sont entraînées hors-ligne en simulation massivement parallèle, puis figées au déploiement. Elles ne s'adaptent pas à l'usure des actionneurs, aux variations de charge utile, ou au drift mécanique sur robot réel, limites critiques pour une industrialisation. En remplaçant la rétropropagation par un apprentissage local compatible avec des puces neuromorphiques (type Intel Loihi), cette approche ouvre la voie à une adaptation continue on-robot à faible consommation, sans dépendance à un GPU externe. Le gain de 4,3× en mémoire est déjà tangible pour les équipes embarquées, même si la validation reste entièrement simulée. Ces travaux s'inscrivent dans l'intense activité autour de la locomotion quadrupède par RL, dominée par l'ETH Zurich sur ANYmal et les robots Unitree. L'équilibrium propagation, formalisé par Scellier et Bengio en 2017, reste peu exploré pour le contrôle continu haute dimension, c'est l'une des premières démonstrations sur un robot à 12 DOF. Les approches concurrentes pour l'adaptation en ligne incluent RMA (Rapid Motor Adaptation, UC Berkeley) et les politiques méta-adaptatives de type MAML. L'étape suivante critique serait de valider sur hardware réel avec une puce neuromorphique embarquée et de mesurer la consommation effective en watts, deux points absents de la publication actuelle.

RecherchePaper
1 source
PISTO : inférence proximale pour l'optimisation stochastique de trajectoires
169arXiv cs.RO 

PISTO : inférence proximale pour l'optimisation stochastique de trajectoires

Des chercheurs ont publié sur arXiv (arXiv:2605.07215) un algorithme de planification de trajectoires robotiques appelé PISTO (Proximal Inference for Stochastic Trajectory Optimization). Leur contribution centrale est de démontrer que STOMP, méthode stochastique classique, minimise implicitement une divergence KL par rapport à une distribution de trajectoires de Boltzmann, révélant une structure d'inférence variationnelle (VI) sous-jacente. PISTO exploite cette observation en ajoutant une régularisation KL entre propositions gaussiennes successives, ce qui stabilise les mises à jour et produit une interprétation de type trust-region. L'algorithme reste entièrement sans dérivées et s'appuie sur un échantillonnage Monte Carlo à pondération d'importance. Sur les benchmarks de planification de bras robotiques, PISTO atteint 89 % de taux de succès contre 63 % pour CHOMP et 68 % pour STOMP, tout en générant des trajectoires plus courtes et plus lisses, à deux fois la vitesse des méthodes stochastiques concurrentes. Des validations complémentaires sur des tâches de locomotion et manipulation contact-rich en simulation MuJoCo montrent des performances supérieures aux baselines CEM et MPPI en termes de récompense cumulée. Pour les intégrateurs et ingénieurs en planification de mouvement, l'absence totale de dérivées est une caractéristique décisive : elle permet de traiter des fonctions de coût non-différentiables ou discontinues, fréquentes dans les environnements industriels réels (détection de collisions, zones interdites, contraintes non paramétriques). Le gain de vitesse d'un facteur deux par rapport aux méthodes stochastiques existantes réduit directement les temps de cycle dans les applications de planification en ligne, point critique pour la robotique collaborative et les systèmes pick-and-place haute cadence. La validation sur MuJoCo avec contacts ouvre des perspectives vers la locomotion humanoïde et la manipulation dextre, bien que ces résultats restent pour l'instant entièrement simulés, sans validation sur matériel physique. PISTO s'inscrit dans la lignée de STOMP (développé chez Willow Garage et présenté à l'ICRA 2011) et de ses concurrents gradient-based tels que CHOMP, ainsi que des méthodes stochastiques modernes MPPI (popularisé par NVIDIA en 2017) et CEM. Soumis comme preprint arXiv sans révision par les pairs à ce stade, l'article n'annonce ni déploiement industriel ni partenariat commercial. Son impact pratique dépendra de la mise à disposition du code source et de validations expérimentales sur robot réel, étapes absentes de la publication actuelle.

RecherchePaper
1 source
HAIC : contrôle agile d'interaction humanoïde avec les objets via un modèle du monde intégrant la dynamique
170arXiv cs.RO 

HAIC : contrôle agile d'interaction humanoïde avec les objets via un modèle du monde intégrant la dynamique

Des chercheurs ont publié sur arXiv (référence 2602.11758v2) un framework baptisé HAIC, Humanoid Agile Object Interaction Control, destiné à doter les robots humanoïdes d'une capacité de manipulation d'objets à dynamique indépendante, sans recours à des capteurs externes d'état. Le système repose sur un prédicteur de dynamique qui estime la vitesse et l'accélération d'un objet en contact uniquement à partir de l'historique proprioceptif du robot, c'est-à-dire ses propres données articulaires, sans caméra ni lidar dédié à l'objet. Ces estimations sont projetées sur des priors géométriques statiques pour générer une carte d'occupation dynamique spatialement ancrée, permettant au contrôleur d'inférer les limites de collision et les affordances de contact même dans les zones de l'espace occultées. Les tâches validées expérimentalement sur robot humanoïde incluent le skateboard, la poussée et traction de chariot sous charges variables, et le transport d'un carton sur terrain irrégulier avec plusieurs objets en interaction simultanée. L'apport industriel de HAIC est de combler un angle mort structurel de la robotique humanoïde actuelle : la quasi-totalité des méthodes d'interaction humain-objet (HOI) supposent que l'objet est rigidement couplé au robot et entièrement actionné. Cette hypothèse exclut les objets sous-actionnés à dynamique propre, roues, chariots, caisses sur sol glissant, qui sont précisément les objets courants en entrepôt logistique ou en atelier industriel. En gérant les forces de couplage et les perturbations inertielles de façon proactive, HAIC réduit la dépendance aux capteurs périphériques coûteux et améliore la robustesse aux variations de charge. Le mécanisme d'apprentissage asymétrique (asymmetric fine-tuning), où le world model s'adapte en continu à la politique apprise, adresse directement le problème de distribution shift, un point de fragilité classique des pipelines sim-to-real. La publication s'inscrit dans une course ouverte autour du contrôle whole-body pour humanoïdes, dominée par des approches VLA (Vision-Language-Action) comme pi0 de Physical Intelligence, GR00T N2 de NVIDIA, ou les travaux internes de Figure AI et Agility Robotics. HAIC se distingue en privilégiant une architecture model-based compacte plutôt qu'un grand modèle fondation, un choix de conception qui favorise la latence basse et l'embarquabilité. Le papier ne mentionne pas de partenaire industriel ni de timeline de déploiement ; il reste à ce stade une démonstration en laboratoire sur humanoïde non nommé, sans benchmark standardisé externe, ce qui rend la comparaison directe avec d'autres systèmes difficile à établir.

RechercheActu
1 source
HumanNet : passage à l'échelle de l'apprentissage vidéo centré sur l'humain à un million d'heures
171arXiv cs.RO 

HumanNet : passage à l'échelle de l'apprentissage vidéo centré sur l'humain à un million d'heures

Des chercheurs ont publié HumanNet, un corpus vidéo d'un million d'heures centré sur les activités humaines, conçu pour alimenter l'apprentissage de l'intelligence embodied à grande échelle. Disponible sous forme de preprint arXiv (2605.06747), le dataset couvre des perspectives à la fois à la première et à la troisième personne, et capture des interactions fines avec des objets, l'utilisation d'outils, et des comportements de longue durée dans des environnements réels variés. Au-delà de la vidéo brute, HumanNet fournit des annotations centrées sur l'interaction : légendes textuelles, descriptions de mouvement, et signaux liés aux mains et au corps. L'expérience clé de validation compare deux configurations d'entraînement continu à partir du modèle Qwen VLM : 1 000 heures de vidéo égocentrique tirées de HumanNet surpassent 100 heures de données issues de robots réels (Magic Cobot) sur un ensemble fixe de données de validation. Ce résultat, s'il se confirme à plus grande échelle, remet en cause un dogme du secteur : l'idée que les modèles VLA (Vision-Language-Action) nécessitent impérativement des données collectées sur des robots physiques pour progresser. La collecte de données robot est coûteuse, lente, et difficile à diversifier, ce qui constitue l'un des principaux goulots d'étranglement dans la course aux systèmes généralistes. HumanNet propose un chemin alternatif : exploiter la vidéo humaine comme substitut scalable et économique, en transférant des représentations motrices et interactives vers les systèmes robotiques. Il faut toutefois nuancer l'ambition de la démonstration : la validation présentée se limite à une seule ablation contrôlée sur un sous-ensemble de tâches, et aucun résultat en déploiement réel sur des robots n'est encore disponible. Ce projet s'inscrit dans une compétition plus large pour constituer des datasets à grande échelle pour l'embodied AI. Des corpus comme Ego4D (Meta, 3 500 heures), Epic-Kitchens ou Something-Something ont posé des jalons, mais aucun n'atteignait le million d'heures ni ne proposait ce niveau d'annotation motion-aware. Côté modèles, les concurrents directs incluent pi-0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind et Helix de Figure AI, tous confrontés au même problème de rareté des données robot. HumanNet ne s'accompagne d'aucune annonce commerciale ni de timeline de déploiement industriel ; il s'agit pour l'instant d'une contribution de recherche qui devra être validée dans des contextes robotiques réels avant de modifier les pratiques des intégrateurs.

💬 1000 heures de vidéo humaine qui surpassent 100 heures de données robot réel, c'est le genre de résultat qui fait mal au dogme du secteur. Si ça se confirme, ça change tout sur le goulot d'étranglement de la robotique généraliste : la collecte de données robot est un cauchemar logistique et financier, et là on parle de le contourner avec du YouTube. Bon, une ablation sur un sous-ensemble de tâches, c'est pas encore la preuve en déploiement, mais l'idée est là.

IA physiqueOpinion
1 source
Contrôle par assimilation d'intention pour un suivi précis à impédance variable en téléopération
172arXiv cs.RO 

Contrôle par assimilation d'intention pour un suivi précis à impédance variable en téléopération

Une équipe de chercheurs a publié sur arXiv (réf. 2605.07037) un nouveau paradigme de contrôle pour la télé-opération robotique baptisé IAC (Intention Assimilation Control), conçu pour résoudre le compromis fondamental entre précision de suivi et sécurité. Dans les systèmes maître-esclave classiques, le robot suiveur est attiré vers la position du meneur par un effet ressort : une rigidité élevée assure le suivi mais expose l'environnement à des forces dangereuses, tandis qu'une rigidité faible préserve la sécurité au détriment de la précision. IAC contourne ce problème en estimant la position cible du meneur, c'est-à-dire son intention de mouvement, plutôt que sa position instantanée, et en la transmettant au suiveur. L'impédance peut ainsi être ajustée en temps réel par l'opérateur ou modulée automatiquement selon les contraintes de la tâche. Le système a été validé sur deux manipulateurs à 7 degrés de liberté (DOF) au travers de quatre expériences : suivi libre, interaction avec un ballon, insertion cheville-trou (peg insertion) et polissage de surface avec retour de force. Les résultats montrent qu'IAC surpasse la tele-impedance control (TIC) classique sur les trois métriques clés : précision de suivi, taux de complétion des tâches et temps d'exécution. L'enjeu concret est réel pour les intégrateurs opérant en environnements contraints (chirurgie assistée, manipulation de pièces fragiles, intervention en milieu à risque), où la rigidité excessive du robot représente un danger direct. En dissociant la compliance perçue par l'environnement de la fidélité du suivi, IAC permet à l'opérateur de moduler l'impédance selon son intention à chaque instant sans sacrifier la précision du mouvement. Il faut noter que les tâches testées restent relativement simples et que ces résultats proviennent d'un preprint non encore soumis à révision par les pairs. Le contrôle en impédance variable pour la télé-opération est un axe de recherche actif depuis plusieurs décennies, mais la plupart des approches obligent l'opérateur à arbitrer entre précision et compliance. Des laboratoires comme le DLR (Allemagne) et le LIRMM (Montpellier, France) ont contribué significativement à ce domaine. IAC s'inscrit dans la continuité des travaux sur l'estimation d'intention en temps réel, une approche qui gagne du terrain à mesure que les applications avancées se multiplient, notamment en chirurgie robotique et en intervention nucléaire. Aucune entreprise n'est associée à ces travaux, qui relèvent de la recherche académique pure. Les prochaines étapes naturelles concernent la validation sur des tâches industrielles réelles et l'intégration dans des plateformes commerciales de télé-opération existantes.

UELe LIRMM (Montpellier) est cité comme contributeur historique du domaine ; les applications en intervention nucléaire et en chirurgie robotique représentent des débouchés naturels pour les équipes de recherche françaises et européennes actives dans la téléopération.

RecherchePaper
1 source
DynaRetarget : un retargeting dynamiquement réalisable par optimisation de trajectoire par échantillonnage
173arXiv cs.RO 

DynaRetarget : un retargeting dynamiquement réalisable par optimisation de trajectoire par échantillonnage

Des chercheurs ont publié en février 2026 sur arXiv (2602.06827v2) une méthode baptisée DynaRetarget, un pipeline complet visant à adapter automatiquement des mouvements humains en politiques de contrôle exécutables par des robots humanoïdes. Le coeur du système est un cadre d'optimisation de trajectoire par échantillonnage (Sampling-Based Trajectory Optimization, SBTO) qui transforme des trajectoires cinématiques imparfaites en mouvements dynamiquement faisables. La particularité technique de SBTO réside dans l'avancement incrémental de l'horizon d'optimisation, ce qui permet de traiter des tâches longues sans exploser en complexité computationnelle. Les auteurs rapportent avoir validé l'approche sur des centaines de démonstrations impliquant des interactions humanoïde-objet, avec des taux de succès supérieurs à l'état de l'art. Le pipeline se montre également capable de généraliser à des objets aux propriétés variables (masse, taille, géométrie) sans nécessiter de réentraînement spécifique. L'article ne fournit pas de métriques chiffrées dans son résumé (cycles de temps, charges utiles, DOF exploités) : les détails quantitatifs sont réservés au corps du papier. L'enjeu industriel est direct : collecter des données de loco-manipulation en conditions réelles reste le bottleneck principal pour entraîner les politiques d'imitation learning ou les modèles VLA (Vision-Language-Action) sur des humanoïdes. En permettant de générer des datasets synthétiques à grande échelle à partir de démonstrations humaines retargetées, DynaRetarget contourne partiellement la contrainte de la télé-opération coûteuse et de la capture de mouvement sur robot physique. La capacité à maintenir la faisabilité dynamique (et pas seulement cinématique) est un progrès concret : un humanoïde physique peut tomber ou violer ses limites d'actionneurs si la trajectoire n'est pas dynamiquement cohérente, un problème que les approches purement cinématiques ignorent. Le retargeting de mouvement humain vers robot humanoïde est un champ de recherche actif depuis une décennie, mais l'accélération actuelle est portée par la course aux données pour entraîner des politiques généralisables. Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et Google DeepMind investissent massivement dans des méthodes de génération de données synthétiques et de sim-to-real. DynaRetarget s'inscrit dans cette dynamique en proposant une brique d'infrastructure, sans acteur commercial spécifique identifié dans le papier : c'est une contribution académique, probablement destinée à alimenter des pipelines d'entraînement amont plutôt qu'un produit déployable en l'état. Aucun partenariat industriel ni timeline de déploiement n'est annoncé.

RechercheOpinion
1 source
CSR : politiques en temps réel à horizon infini avec représentations d'état massivement en cache
174arXiv cs.RO 

CSR : politiques en temps réel à horizon infini avec représentations d'état massivement en cache

Des chercheurs ont publié début mai 2026 un preprint sur arXiv (2605.07325) présentant CSR (Cached State Representation) et ASR (Asynchronous State Reconciliation), deux mécanismes visant à déployer des LLMs massifs comme contrôleurs temps réel pour des robots. Le verrou pratique est la latence TTFT (time-to-first-token) : sur un contexte de 120 000 tokens avec un modèle de 235 milliards de paramètres, la baseline standard exige 14,67 secondes avant la première sortie. CSR optimise la réutilisation du cache KV (key-value) pour ramener ce délai à 0,56 seconde, soit un facteur 26. ASR déleste en parallèle l'éviction de la mémoire d'état, éliminant les pics de latence sur 10 cycles d'opération continue. Testé sur un robot physique connecté sans fil à un serveur GPU on-premise, le système dépasse 2 Hz de fréquence de traitement et atteint un rappel de 0,836 sur un benchmark d'IA incarnée, contre 0,459 pour une approche RAG classique. L'enjeu est structurel pour la robotique incarnée : les approches existantes, RAG (retrieval-augmented generation) et fenêtres glissantes, font toutes deux un compromis, soit sur la cohérence contextuelle globale, soit sur la vitesse de re-calcul. CSR démontre qu'un modèle de 235 milliards de paramètres peut maintenir un horizon de contexte illimité tout en restant utilisable à fréquence robotique. C'est l'une des premières validations publiées de cette hypothèse sur un robot physique réel, et non en simulation. Pour les intégrateurs et les équipes ingénierie, cela signifie que les politiques robotiques fondées sur des LLMs ne seraient plus condamnées à tronquer l'historique ou à sacrifier le temps de cycle. Ces travaux s'inscrivent dans la tendance VLA (Vision-Language-Action), où des modèles fondation multimodaux remplacent progressivement les contrôleurs classiques. Les concurrents directs incluent Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et les architectures Helix de Figure AI, qui adoptent des approches comparables pour l'IA incarnée à grande échelle. Ce preprint reste cependant une contribution académique préliminaire : le protocole porte sur un seul robot, un unique serveur GPU on-premise, sans affiliation industrielle ni feuille de route de déploiement annoncée. La reproductibilité à l'échelle et en conditions industrielles reste entièrement à prouver.

RechercheOpinion
1 source
GA3T : jeu de données de traversabilité pour équipes de robots sol-aériens hétérogènes en milieux non structurés
175arXiv cs.RO 

GA3T : jeu de données de traversabilité pour équipes de robots sol-aériens hétérogènes en milieux non structurés

Une équipe de chercheurs a publié GA3T (Ground-Aerial Team for Terrain Traversal), un jeu de données de perception collaborative multi-robots ciblant les environnements non structurés, déposé sur arXiv en mai 2026. La collecte a mobilisé deux plateformes complémentaires : un robot terrestre Clearpath Husky (UGV) équipé de LiDAR 3D, caméra stéréo, IMU et GPS, et un drone Autel EVO II fournissant images RGB, observations thermiques/infrarouges et GPS depuis un point de vue aérien surplombant. Quatre environnements distincts ont été couverts -- sentiers forestiers, chemins rocheux, terrains boueux, congères et prairies -- pour un total de plus de 13 000 frames synchronisées sur environ 29 minutes d'opération. Le jeu de données intègre une segmentation zero-shot basée sur SAM 3 (Segment Anything Model v3, Meta) et plus de 8 000 images labellisées manuellement. Sa particularité tient à la période de collecte, en début de printemps : la canopée encore peu dense permet au drone d'observer partiellement le robot terrestre à travers les arbres, enrichissant la perception collaborative d'une dimension explicite de gestion des occlusions. GA3T comble un vide documenté dans la recherche sur la perception multi-robots en conditions réelles hors route. La quasi-totalité des datasets multi-robots existants se concentre sur le SLAM en environnements structurés ou sur la conduite coopérative simulée, sans fournir de capteurs multi-modaux chevauchants entre plateformes sol et air. La combinaison LiDAR terrestre et infrarouge aérien ouvre des pistes directes pour l'estimation de traversabilité -- problème central pour les déploiements autonomes en agriculture de précision, foresterie ou gestion de crise -- où les modèles doivent distinguer sol franchissable, boue instable et végétation dense sans balisage préalable. C'est précisément ce gap sim-to-real sur terrain non balisé que ce type de dataset vise à réduire, en fournissant des données brutes issues de conditions météo et de sol réelles. Clearpath Robotics, filiale de Rockwell Automation depuis 2023 et fournisseur de référence pour les UGV de recherche universitaire, est associé ici à l'Autel EVO II, drone commercial grand public repositionné en plateforme de collecte scientifique. Aucun acteur européen n'est impliqué dans cette publication. Sur le plan concurrentiel, GA3T se positionne face à des datasets établis comme RUGD, RELLIS ou le corpus DARPA SubT, mais avec l'angle inédit de la fusion cross-view air-sol sur terrain naturel non aménagé. Les auteurs ciblent explicitement comme applications prioritaires la fusion de points de vue hétérogènes, l'estimation de traversabilité et la compréhension de scènes collaboratives -- tâches directement pertinentes pour l'entraînement de modèles VLA (Vision-Language-Action) appliqués à la navigation hors route, un axe de recherche en forte accélération depuis 2024 dans plusieurs laboratoires américains et asiatiques.

RecherchePaper
1 source
Exploiter les gradients analytiques dans l'apprentissage par renforcement à sécurité garantie
176arXiv cs.RO 

Exploiter les gradients analytiques dans l'apprentissage par renforcement à sécurité garantie

Une équipe de recherche présente dans un article soumis sur arXiv (identifiant 2506.01665) le premier mécanisme de protection efficace pour l'apprentissage par renforcement à gradients analytiques (AGB-RL, analytic gradient-based reinforcement learning). L'approche consiste à analyser les protections différentiables existantes, à les adapter via des reformulations de mappings et de gradients, puis à les intégrer dans un algorithme d'apprentissage de pointe couplé à une simulation différentiable. La méthode a été validée sur trois tâches de contrôle robotique, avec pour résultat un entraînement sous contraintes de sécurité sans dégradation mesurable des performances. Le verrou levé ici est non trivial : jusqu'à présent, les garanties de sécurité prouvables en RL ("provably safe RL") n'étaient disponibles que pour les méthodes d'apprentissage par échantillonnage (PPO, SAC, TD3 et consorts). Or l'AGB-RL, qui exploite les gradients analytiques fournis par les simulateurs différentiables, converge plus vite et avec moins d'interactions environnement, un avantage décisif pour les applications industrielles où les données réelles sont coûteuses. L'absence de protections compatibles avec ce paradigme forçait les équipes à choisir entre performance d'apprentissage et garanties formelles. Ce travail supprime ce compromis, et en intégrant les protections dès la phase d'entraînement simulé, il réduit structurellement le sim-to-real gap, une problématique centrale pour déployer des robots en environnements critiques (soins, industrie lourde, coopération humain-robot). Sur le plan du contexte, le domaine du "safe RL" s'appuie depuis plusieurs années sur deux grandes familles d'outils : les Control Barrier Functions (CBFs) et les mécanismes de shielding, tous deux conçus initialement pour les politiques stochastiques. Parallèlement, les simulateurs différentiables, Isaac Lab de NVIDIA, Brax de Google DeepMind, ou encore MuJoCo MJX, ont rendu l'AGB-RL accessible à grande échelle, creusant un écart méthodologique que ce papier comble. Les auteurs mettent les visuels à disposition sur timwalter.github.io/safe-agb-rl.github.io ; les prochaines étapes naturelles porteront sur la validation en conditions réelles et l'extension à des systèmes à haute dimensionnalité, là où les garanties formelles ont le plus de valeur opérationnelle.

RecherchePaper
1 source
Reconstruction ou sémantique ? Ce qui rend un espace latent utile pour les modèles du monde en robotique
177arXiv cs.RO 

Reconstruction ou sémantique ? Ce qui rend un espace latent utile pour les modèles du monde en robotique

Une étude soumise sur arXiv le 8 mai 2025 (arXiv:2605.06388) remet en question le choix dominant des espaces latents dans les modèles de monde pour la robotique. Les auteurs comparent six encodeurs, répartis en deux familles, selon un protocole d'évaluation commun sur le dataset BridgeV2, référence de manipulation robotique généraliste. Les encodeurs de reconstruction testés sont VAE (standard actuel) et Cosmos (NVIDIA) ; les encodeurs sémantiques incluent V-JEPA 2.1 (Meta), Web-DINO et SigLIP 2 (Google). Le cadre évalué est celui des modèles de diffusion latente conditionnés par l'action (LDM), utilisés comme proxy de simulation pour tester des politiques de contrôle robot sans déploiement physique. L'évaluation repose sur trois axes : fidélité visuelle pixel-level, performance en planification et évaluation de politiques en aval, et qualité intrinsèque des représentations latentes. Les résultats invalident une hypothèse implicite courante dans le domaine : une bonne reconstruction pixel ne suffit pas à produire un bon modèle de monde opérationnel. VAE et Cosmos atteignent les meilleurs scores de fidélité visuelle, mais V-JEPA 2.1 domine sur l'axe le plus critique, la performance des politiques, tandis que Web-DINO et SigLIP 2 excellent sur les deux axes restants, et ce à toutes les échelles de modèles testées. Pour un intégrateur ou un labo qui construit des pipelines sim-to-real, cela implique que le choix de l'encodeur dans la stack LDM n'est pas un détail d'implémentation : il conditionne directement la qualité des politiques apprises. La fidélité visuelle, souvent retenue comme métrique de validation principale, s'avère un indicateur trompeur du potentiel d'un modèle de monde pour le contrôle robotique. Ce travail s'inscrit dans une course de fond autour des modèles de monde pour la robotique, impliquant des acteurs comme Physical Intelligence (pi-0), Figure AI et des équipes académiques autour des RoboVLMs. L'adoption des LDMs comme infrastructure d'évaluation de politiques s'est accélérée depuis 2023 avec l'essor des VLAs (Vision-Language-Action models). Le VAE reste l'encodeur par défaut dans la majorité des implémentations ouvertes, héritage direct des pipelines de diffusion image (Stable Diffusion, LDM de Rombach et al., 2022). Ce preprint, non encore évalué par des pairs, plaide pour un pivot vers les encodeurs à représentations sémantiques, une direction qui converge avec les travaux de Meta sur V-JEPA 2 et de Google sur SigLIP. Les étapes suivantes naturelles incluraient une validation sur des datasets robotiques plus diversifiés et des expériences en déploiement physique réel pour confirmer le transfert sim-to-real.

RechercheOpinion
1 source
Planification robotique sous contraintes de ressources face à une incertitude mixte
178arXiv cs.RO 

Planification robotique sous contraintes de ressources face à une incertitude mixte

Des chercheurs présentent le CMDPST (Consumption Markov Decision Process with Set-valued Transitions), un cadre formel inédit permettant à un robot de planifier ses actions en tenant compte simultanément de deux types d'incertitudes : le bruit probabiliste mesurable et les inconnues structurellement non-quantifiables, tout en garantissant que le système ne tombe jamais à court de ressources opérationnelles (batterie, capacité de charge, quota de déplacements). Publiée sur arXiv en mai 2026 (réf. 2605.05797), la contribution couple ce modèle à une spécification de tâche exprimée en LTLf (logique temporelle linéaire sur traces finies), un formalisme permettant d'encoder des objectifs complexes avec des contraintes temporelles précises. Les auteurs proposent deux algorithmes de synthèse de stratégie : une méthode directe par déroulage d'états et une version optimisée par élagage de l'espace d'états, plus efficace en temps de calcul. Les expériences sont conduites sur un réseau de transport en entrepôt simulé, sans validation sur hardware réel à ce stade. La contribution adresse un angle mort récurrent dans la planification robotique industrielle : la plupart des approches existantes traitent soit l'incertitude probabiliste via les MDP classiques, soit les contraintes de ressources, rarement les deux ensemble. Dans les déploiements AMR (autonomous mobile robots) d'entrepôt, où une flotte doit honorer des missions tout en gérant niveaux de batterie et pannes imprévisibles, cette dualité est pourtant critique. Le cadre CMDPST offre aux intégrateurs une garantie formelle : la stratégie synthétisée ne laissera jamais un robot en panne sèche, même face à des perturbations non modélisées. C'est un argument solide pour des environnements industriels où l'interruption de service a un coût direct et mesurable. Ce type de planification sous contraintes mixtes s'inscrit dans un corpus plus large incluant la vérification probabiliste de modèles (outils PRISM, Storm) et la planification formelle par MDP. Les acteurs de la logistique automatisée comme Exotec (France) ou Hai Robotics, dont les flottes AMR évoluent dans des environnements partiellement inconnus, sont directement concernés par ces avancées théoriques. Côté alternatives académiques, le reinforcement learning robuste et le model predictive control probabiliste existent, mais sans les garanties formelles d'épuisement de ressources que revendique cette approche. La prochaine étape attendue est une implémentation sur robot physique pour évaluer concrètement le gap sim-to-real.

UEExotec (France) est explicitement citée comme acteur directement concerné par ces avancées théoriques, ses flottes AMR en entrepôt étant précisément le cas d'usage visé par les garanties formelles de non-épuisement des ressources du cadre CMDPST.

RecherchePaper
1 source
Apprentissage par renforcement contraint via découplage dynamique sphérique-radial
179arXiv cs.RO 

Apprentissage par renforcement contraint via découplage dynamique sphérique-radial

Une équipe de chercheurs présente DD-SRad (Dynamic Decoupled Spherical Radial Squashing), une méthode d'apprentissage par renforcement contraint conçue pour respecter les limites de vitesse d'articulation lors du déploiement de politiques sur des robots physiques. Le problème cible est précis : chaque joint d'un robot a une vitesse maximale d'incrément par pas de contrôle, déterminée par l'inertie moteur, la bande passante électrique et la rigidité de transmission. Ces limites sont hétérogènes d'un joint à l'autre, formant une région admissible en forme de boîte rectangulaire dans l'espace des incréments d'action. Les benchmarks MuJoCo montrent que DD-SRad atteint le meilleur retour de tâche à zéro violation de contrainte, avec une couverture de l'espace admissible supérieure de 30 à 50 % aux méthodes de référence sphériques. Des simulations haute-fidélité dans IsaacLab valident l'approche sur les robots humanoïdes Unitree H1 et G1, en utilisant directement les spécifications officielles des joints comme paramètres d'entrée. L'apport technique central de DD-SRad est de remplacer un rayon global unique par un rayon adaptatif calculé indépendamment pour chaque actionneur, ce qui aligne précisément la contrainte imposée sur la vraie région admissible per-joint. Les méthodes existantes, projection par programme quadratique (QP) et paramétrisation sphérique, imposent une contrainte isotrope en forme de boule, qui sous-couvre exponentiellement l'espace réel à mesure que l'hétérogénéité des joints augmente. DD-SRad satisfait les contraintes dures par pas de contrôle avec probabilité 1, préserve des gradients bien conditionnés pendant l'entraînement, et ne requiert aucun solveur externe à l'exécution. Pour les intégrateurs industriels et les équipes de déploiement robotique, cela ouvre un chemin direct des fiches techniques hardware vers une politique sûre, sans étape de calibration manuelle des marges de sécurité. L'article s'inscrit dans un axe de recherche actif sur le sim-to-real pour les humanoïdes, dominé par les travaux autour des robots Unitree, Boston Dynamics Atlas, et des politiques apprises par imitation ou RL (IsaacLab, MuJoCo). Les approches concurrentes pour la gestion des contraintes d'actionneurs en RL incluent les méthodes de barrière logarithmique, les Lagrangiens augmentés, et les projections QP à chaud, chacune avec un surcoût computationnel à l'inférence que DD-SRad prétend éliminer. La validation reste pour l'instant en simulation ; aucun résultat de déploiement réel sur H1 ou G1 n'est reporté dans cette version arXiv, ce qui constitue la limite principale à surveiller avant toute généralisation industrielle.

RecherchePaper
1 source
Modélisation neuronale d'ordre réduit avec simulation différentiable pour la perception tactile haute résolution
180arXiv cs.RO 

Modélisation neuronale d'ordre réduit avec simulation différentiable pour la perception tactile haute résolution

Des chercheurs ont publié le 7 mai 2026 sur arXiv (arXiv:2605.05053) un framework de simulation tactile baptisé "reduced-order neural simulation", conçu pour modéliser la déformation haute résolution des élastomères utilisés dans les capteurs tactiles robotiques. Le système couple une dynamique MPM (Material Point Method) à grille grossière avec un décodeur neuronal implicite qui reconstruit les détails sub-particulaires à partir d'états latents compacts. Par rapport à TacIPC, la référence actuelle du domaine, le framework atteint une accélération de simulation supérieure à 65 % et une réduction de 40 % de l'empreinte mémoire, tout en améliorant la fidélité géométrique. En rendu tactile et en reconstruction de surface 3D, la précision progresse de 25 %, avec production d'images de profondeur réalistes et de maillages surfaciques cohérents physiquement. Ce résultat est significatif pour les équipes travaillant sur la manipulation dextre, un verrou reconnu de la robotique humanoïde et industrielle. Les capteurs tactiles à élastomère (de type GelSight ou DIGIT) génèrent des données de déformation complexes que les pipelines de sim-to-real peinent à exploiter en temps réel : le coût computationnel des méthodes éléments finis (FEM) ou des MPM classiques les rend incompatibles avec les boucles de contrôle rapides ou les phases d'entraînement par reinforcement learning. Un simulateur différentiable 65 % plus rapide et 40 % moins gourmand en mémoire ouvre concrètement la voie à l'intégration du retour tactile dans des politiques VLA (Vision-Language-Action) entraînées à grande échelle, hypothèse jusqu'ici limitée par les coûts de simulation. Le problème de la simulation tactile haute fidélité est actif depuis plusieurs années : TacICP, TacSim et les variantes FEM constituent le socle sur lequel ce travail se positionne. Dans le paysage compétitif, des laboratoires comme MIT CSAIL, CMU et Stanford travaillent sur des capteurs et simulateurs tactiles similaires, tandis que des startups comme Contactile ou Roboskin développent des solutions commerciales. Les auteurs ne mentionnent pas de partenariat industriel ni de déploiement prévu, et l'article reste à ce stade une contribution académique sans validation sur hardware réel annoncée. La prochaine étape naturelle serait une intégration dans un pipeline de manipulation fermée-boucle pour mesurer le gap sim-to-real résiduel.

IA physiquePaper
1 source
Préhension dextérique réactive par planification RL hiérarchique en espace de tâche et contrôle QP en espace articulaire
181arXiv cs.RO 

Préhension dextérique réactive par planification RL hiérarchique en espace de tâche et contrôle QP en espace articulaire

Des chercheurs ont publié le 6 mai 2026 sur arXiv (référence 2605.03363) un framework de contrôle hiérarchique hybride pour la préhension dextre réactive. L'architecture sépare explicitement deux niveaux d'exécution : un planificateur haut niveau basé sur du multi-agent RL, avec deux agents spécialisés distincts (un pour le bras, un pour la main), qui génère des commandes de vitesse en espace tâche; et un contrôleur bas niveau de programmation quadratique (QP) parallélisé sur GPU, qui traduit ces commandes en vitesses articulaires tout en respectant strictement les limites cinématiques et en assurant l'évitement de collisions. Le système a été validé sur matériel réel, avec un bras 7-DOF équipé d'une main anthropomorphique 20-DOF, en démontrant un transfert zero-shot depuis la simulation vers des objets non vus pendant l'entraînement, dans des environnements non structurés. La contribution principale n'est pas seulement la performance de saisie : c'est la propriété de "zero-shot steerability", c'est-à-dire la capacité d'un opérateur à ajuster dynamiquement les marges de sécurité ou à contourner des obstacles imprévus sans réentraîner la politique. Pour un intégrateur industriel, cela change radicalement le calcul de déploiement : les approches end-to-end classiques (VLA inclus) nécessitent typiquement un fine-tuning coûteux pour chaque variation d'environnement. Ici, la séparation structurelle entre planification et exécution permet d'injecter des contraintes nouvelles au niveau du QP sans toucher à la politique RL, ce qui accélère aussi la convergence en entraînement. La robustesse aux perturbations physiques imprévues, démontrée en conditions réelles, renforce la crédibilité du pipeline sim-to-real. Ce travail s'inscrit dans un mouvement de recherche qui cherche à dépasser les architectures purement end-to-end pour la manipulation dextre, en réintroduisant des couches de contrôle classiques (QP, contraintes cinématiques) comme fondation sûre sous une politique apprise. Des approches similaires émergent chez des équipes comme Physical Intelligence (Pi-0), Figure AI (Figure 03) ou 1X Technologies, qui combinent toutes apprentissage et contrôle structuré. La prochaine étape naturelle pour ce type de framework sera la validation sur des tâches d'assemblage industriel avec variabilité de forme et de matière, ainsi que l'extension à des mains à plus haute densité de capteurs pour fermer la boucle tactile.

IA physiquePaper
1 source
RoboEval : un cadre structuré et extensible pour évaluer la manipulation robotique
182arXiv cs.RO 

RoboEval : un cadre structuré et extensible pour évaluer la manipulation robotique

Une équipe de chercheurs a publié RoboEval (arXiv:2507.00435), un cadre d'évaluation structuré et un benchmark dédié à la manipulation robotique. L'outil propose huit tâches bimanuelles assorties de variantes systématiquement contrôlées, plus de trois mille démonstrations expertes, et une plateforme de simulation modulaire conçue pour garantir la reproductibilité des expériences. Chaque tâche est instrumentée avec des métriques standardisées couvrant l'efficacité d'exécution, la coordination entre les deux bras, et la stabilité ou sécurité du mouvement. Le cadre inclut également des mesures de progression par étapes qui permettent de localiser précisément où et pourquoi une politique échoue, plutôt que de simplement enregistrer un échec global. Les expériences ont été conduites sur des politiques visuomotrices de l'état de l'art, en évaluant la stabilité des métriques face aux variations de conditions et leur pouvoir discriminant entre politiques affichant des taux de succès similaires. L'enjeu est méthodologique autant qu'industriel. Aujourd'hui, la majorité des benchmarks de manipulation robotique réduisent la performance à un comptage binaire succès/échec, ce qui efface les différences réelles de qualité d'exécution. Deux politiques peuvent afficher le même taux de réussite tout en présentant des comportements radicalement différents en termes de fluidité, de robustesse aux perturbations, ou de coordination interdigitale. Pour un intégrateur ou un décideur industriel qui doit choisir entre plusieurs VLA (Vision-Language-Action policies) pour déployer un robot en production, cette granularité est critique. RoboEval tente de combler ce fossé en fournissant des métriques intermédiaires qui corrèlent avec le succès final mais révèlent aussi la structure des défaillances, un prérequis pour itérer efficacement sur l'entraînement. Ce travail s'inscrit dans une dynamique plus large de maturation de l'évaluation en robotique apprenable, un domaine qui souffre depuis des années d'une fragmentation des protocoles. Des initiatives comparables comme LIBERO ou RoboVerse ont tenté de standardiser les conditions expérimentales, mais restaient souvent limitées aux tâches unimanuelles ou aux métriques de haut niveau. RoboEval se distingue par son focus bimanuel, directement pertinent pour les applications industrielles d'assemblage ou de logistique, et par la richesse de ses métriques comportementales. La page projet est accessible sur robo-eval.github.io. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné : il s'agit pour l'instant d'une contribution académique, sans validation en environnement réel annoncée.

UEContribution académique ouverte utilisable par tout labo ou intégrateur européen souhaitant évaluer et comparer des politiques VLA bimanuelles sans dépendre de benchmarks propriétaires.

RecherchePaper
1 source
Bonne démonstration dans les mauvaises : filtrer les données d'utilisateurs pour apprendre une politique plus robuste
183arXiv cs.RO 

Bonne démonstration dans les mauvaises : filtrer les données d'utilisateurs pour apprendre une politique plus robuste

Une équipe de chercheurs a publié en mai 2026 sur arXiv (identifiant 2605.01529) un algorithme baptisé GiB (Good-in-Bad), conçu pour filtrer automatiquement les données d'apprentissage par imitation collectées auprès d'utilisateurs non-experts. Plutôt que de rejeter une démonstration entière ou de l'utiliser telle quelle au risque de générer des comportements dangereux, GiB décompose chaque démonstration en sous-tâches et attribue un poids binaire à chaque segment. Le système entraîne un modèle auto-supervisé pour extraire des caractéristiques latentes, modélise la distribution des segments de qualité élevée, puis utilise la distance de Mahalanobis pour détecter les portions défectueuses. Les données filtrées restent compatibles avec n'importe quel algorithme d'apprentissage de politique. La méthode a été validée sur un bras Franka Robotics en simulation et en conditions réelles, sur des tâches séquentielles multi-étapes. L'enjeu est concret : dans les déploiements réels, les démonstrateurs sont rarement des experts en robotique. Opérateurs en usine ou techniciens produisent des démonstrations hétérogènes où erreurs et bonnes séquences se mélangent. Jeter des démonstrations entières dans ces contextes à faible volume de données pénalise fortement l'entraînement. GiB préserve les segments exploitables tout en évitant que les erreurs contaminent la politique apprise. Cela adresse un angle mort persistant des méthodes d'imitation comme le behavior cloning ou les Diffusion Policies : ces architectures supposent implicitement des données propres, ce qui limite leur déployabilité hors des laboratoires. La compatibilité avec n'importe quel algorithme aval est un atout pratique pour les équipes disposant déjà d'une stack d'entraînement existante. L'apprentissage par imitation s'est imposé ces trois dernières années comme une voie majeure pour doter les robots de compétences polyvalentes, avec des architectures comme ACT (Action Chunking with Transformers) popularisé par l'équipe Aloha, ou les Diffusion Policies de Columbia. GiB s'inscrit dans une tendance émergente visant à rendre ces pipelines robustes aux données bruyantes, aux côtés de méthodes comme DART ou les variantes de DAgger. Le bras Franka (Franka Robotics, Munich) est devenu le banc de test standard de la communauté académique en manipulation. Ce travail reste à ce stade un preprint sans déploiement industriel annoncé, et ses performances sur des tâches longues ou sur des manipulateurs mobiles humanoïdes restent à démontrer.

UELes équipes européennes de recherche en manipulation robotique utilisant des bras Franka (Munich, Allemagne) pourraient intégrer GiB directement dans leurs pipelines d'imitation learning existants pour améliorer la qualité des politiques entraînées sur des données non-expertes.

RecherchePaper
1 source
Autonomie partagée assistée par un champ de guidage anisotrope à impédance variable
184arXiv cs.RO 

Autonomie partagée assistée par un champ de guidage anisotrope à impédance variable

Une équipe de recherche a publié le 5 mai 2026 (arXiv:2605.02410) un nouveau paradigme pour la téléopération robotique : IAGF-SA (Impedance-Driven Anisotropic Guidance Field Enhanced Shared Autonomy). Le principe repose sur un constat simple mais sous-exploré dans la littérature : l'autonomie partagée (SA) s'est historiquement concentrée sur la capacité du robot à inférer l'intention de l'opérateur humain, sans jamais résoudre le problème inverse, comment le robot communique sa propre intention à l'humain. IAGF-SA introduit un canal de communication physique et incarné, fondé sur le contrôle d'impédance, qui module dynamiquement la réponse du robot aux commandes humaines. Concrètement, le robot ne résiste pas uniformément dans toutes les directions : il oriente sa compliance de façon anisotrope pour guider subtilement la main de l'opérateur vers les trajectoires qu'il juge optimales. Les études utilisateurs couvrent trois scénarios de manipulation et deux interfaces de téléopération différentes, avec des résultats mesurés sur la performance de tâche, le taux d'accord humain-robot, et l'expérience subjective. L'enjeu industriel est concret : dans les déploiements de téléopération semi-autonome, chirurgie robotique, manipulation en environnements dangereux, ou encore téléopération d'humanoïdes en phase de démarrage comme chez Figure ou Apptronik, l'absence de retour d'intention robot oblige l'opérateur à compenser mentalement, ce qui ralentit les cycles et augmente les erreurs. Une approche purement physique, sans interface additionnelle (écran, indicateur sonore), réduit la charge cognitive et s'intègre dans des systèmes existants sans modification matérielle majeure. Le fait que le canal soit continu et gradué, plutôt que binaire ou discret, représente une avancée par rapport aux tentatives précédentes. Cela dit, il s'agit d'une preprint non encore soumise à revue par les pairs, et les études utilisateurs restent limitées en taille : les résultats sont prometteurs mais doivent être validés à plus grande échelle. La recherche en SA s'inscrit dans un contexte de convergence entre apprentissage par imitation (imitation learning, VLA) et contrôle classique en force/impédance. Des travaux antérieurs comme DAgger ou les approches de goal inference bayésienne ont résolu une partie de l'inférence d'intention côté robot, mais la boucle retour vers l'humain restait largement ignorée. Le recours au contrôle d'impédance, technologie maîtrisée industriellement par des cobot comme ceux de KUKA, FANUC ou Universal Robots, rend cette approche potentiellement transférable sans rupture technologique. Les suites logiques incluent une validation sur des plateformes physiques humanoïdes ou cobotiques, ainsi qu'une intégration dans des pipelines VLA où l'intention robot émerge d'un modèle appris plutôt que d'une planification explicite.

UEL'approche repose sur le contrôle d'impédance, technologie maîtrisée par KUKA (allemand) et Universal Robots (danois), ce qui facilite une intégration directe pour les intégrateurs robotiques européens sans rupture matérielle.

RecherchePaper
1 source
Un indicateur efficace pour mesurer la qualité des données en apprentissage par imitation
185arXiv cs.RO 

Un indicateur efficace pour mesurer la qualité des données en apprentissage par imitation

Des chercheurs ont proposé sur arXiv (arXiv:2605.01544, mai 2026) une métrique automatisée pour évaluer la qualité des démonstrations en apprentissage par imitation (IL), fondée sur la densité spectrale de puissance (PSD) des trajectoires enregistrées. Une PSD faible signale une trajectoire lisse et exploitable ; une PSD élevée indique oscillations, corrections abruptes et mouvements erratiques qui dégradent les politiques apprises. Contrairement aux méthodes existantes, la métrique ne requiert ni rollout de politique, ni interaction avec l'environnement, ni étiquetage expert. Elle a été évaluée sur deux benchmarks IL et via une étude terrain avec des résidents âgés d'un établissement de retraite, dont les démonstrations ont servi à affiner π0.5 de Physical Intelligence pour une tâche de vie quotidienne. Les politiques issues des données filtrées par PSD surpassent les baselines non filtrées et deux méthodes concurrentes en taux de succès et en fluidité d'exécution. Le déploiement réel de robots guidés par imitation bute sur les scénarios hors distribution (OOD), aggravés par la faible qualité des démonstrations d'utilisateurs finaux. Les approches existantes de curation automatisée exigeaient des rollouts en environnement, coûteux et impraticables à grande échelle. La métrique PSD supprime ce verrou : applicable avant tout entraînement, elle filtre les démonstrations directement au moment de la collecte terrain. Pour les intégrateurs de robots manipulateurs en environnements non contrôlés, cela réduit concrètement le coût de mise en qualité des données sans ressources RL dédiées. Le travail s'inscrit dans l'essor des VLA (Vision-Language-Action models), où π0.5 de Physical Intelligence figure parmi les modèles de fondation robotique disponibles pour le fine-tuning, mais le défi du "demo-to-reality gap" reste l'un des freins majeurs au passage à l'échelle de l'IL. En ciblant des utilisateurs âgés peu habitués au guidage de robots, l'étude ouvre une piste vers la robotique d'assistance, segment où des acteurs comme Enchanted Tools en France cherchent à s'implanter. La prochaine étape logique serait l'intégration de cette métrique dans des pipelines de collecte en production, couplée à des retours temps réel pour guider les utilisateurs vers de meilleures démonstrations dès la capture.

UELa métrique PSD pourrait réduire le coût de curation de données pour des acteurs européens comme Enchanted Tools (France), actifs en robotique d'assistance, en supprimant le besoin de rollouts environnementaux coûteux lors du fine-tuning de modèles VLA.

RechercheOpinion
1 source
Sentinel-VLA : modèle VLA métacognitif à surveillance active pour le raisonnement dynamique et la récupération d'erreurs
186arXiv cs.RO 

Sentinel-VLA : modèle VLA métacognitif à surveillance active pour le raisonnement dynamique et la récupération d'erreurs

Une équipe de recherche publie sur arXiv (arXiv:2605.01191, mai 2026) Sentinel-VLA, un modèle de type vision-language-action (VLA) doté d'un module de surveillance active baptisé "sentinel". Contrairement aux VLA classiques qui exécutent des plans fixes, Sentinel-VLA déclenche un raisonnement approfondi uniquement lorsque c'est nécessaire : lors de la planification initiale d'une tâche, ou lorsque le module sentinel détecte une erreur d'exécution en temps réel. L'ensemble des données d'entraînement, couvrant 44 tâches et plus de 2,6 millions de transitions, a été généré et annoté automatiquement via un pipeline dédié. Le modèle intègre également l'algorithme SECL (Self-Evolving Continual Learning), qui lui permet d'identifier ses propres limites de compétence et de collecter automatiquement de nouvelles données pour les repousser, combiné à un adaptateur OC-Adapter (Orthogonal Continual Adapter) qui contraint les mises à jour de paramètres dans un espace orthogonal pour éviter l'oubli catastrophique. En conditions réelles (les détails des configurations expérimentales ne sont pas encore disponibles dans cette prépublication), les auteurs rapportent un gain de plus de 30 % de taux de succès par rapport à PI0, le modèle de Physical Intelligence actuellement considéré comme état de l'art. Le code, les poids et le pipeline de génération de données seront publiés en open source. Ces résultats, si confirmés par la communauté, adressent un blocage majeur dans le déploiement industriel des robots manipulateurs : l'incapacité à se corriger face à une perturbation imprévue. Les VLA existants, qu'il s'agisse de PI0, d'OpenVLA ou des dérivés de RT-2, produisent des plans d'action relativement rigides et échouent dès lors qu'une pièce est mal positionnée ou qu'un objet glisse. Le mécanisme "sentinel" propose une réponse architecturale à ce problème en dissociant l'exécution routinière (peu coûteuse en calcul) du raisonnement correctif (déclenché à la demande), ce qui est pertinent pour un déploiement sur du matériel embarqué à puissance de calcul limitée. L'approche SECL, qui combine auto-évaluation des capacités et apprentissage continu sans oubli, représente également une piste sérieuse pour les intégrateurs qui cherchent à étendre progressivement le répertoire de tâches d'un robot sans retraining complet. Il convient néanmoins de noter que le +30 % annoncé est issu d'expériences en laboratoire dont le protocole exact reste à préciser, et que les vidéos de démonstration n'ont pas encore été rendues publiques au moment de cette prépublication. Sentinel-VLA s'inscrit dans une vague de travaux cherchant à rendre les VLA robustes hors environnement contrôlé, une problématique que Physical Intelligence avait mise en lumière avec PI0 (lancé fin 2024) et que des acteurs comme Figure AI (Figure 03), Boston Dynamics ou 1X Technologies tentent également d'adresser côté hardware. Du côté recherche, les laboratoires de Carnegie Mellon, Stanford et Berkeley publient régulièrement des variantes de VLA avec des stratégies de correction différentes (chain-of-thought embarqué, boucles de feedback visuelles). La particularité de Sentinel-VLA est de traiter la correction non comme un post-processing, mais comme une composante native de l'architecture. L'open-source annoncé, code, poids et pipeline de données, pourrait accélérer l'adoption de cette approche dans la communauté académique et chez les constructeurs de robots à budget R&D contraint. Aucune date de release ni partenariat industriel n'est mentionné dans cette version préliminaire.

UELa publication open-source prévue (code, poids, pipeline de données) pourrait bénéficier aux laboratoires de robotique européens travaillant sur les VLA manipulateurs, mais aucun acteur français ou européen n'est directement impliqué dans cette prépublication.

💬 Ce qui m'intéresse ici, c'est pas le +30% (les configs restent floues, faut attendre les vidéos), c'est que la correction d'erreur est dans l'archi, pas greffée dessus après coup. Sur du matériel embarqué avec peu de calcul disponible, c'est le genre de truc qu'on attendait depuis un moment. Reste à voir si ça tient hors labo, mais l'open source annoncé va vite mettre ça à l'épreuve.

IA physiqueOpinion
1 source
SixthSense : estimation générique du torseur corps entier par proprioception seule pour humanoïdes
187arXiv cs.RO 

SixthSense : estimation générique du torseur corps entier par proprioception seule pour humanoïdes

Des chercheurs ont publié début mai 2026 sur arXiv (réf. 2605.01427) SixthSense, un système d'estimation des forces et couples de contact (wrenches) pour robots humanoïdes fonctionnant exclusivement à partir de la proprioception et d'une centrale inertielle (IMU), sans capteur de force-couple dédié. Le système infère en temps réel le moment, la localisation et l'amplitude des wrenches appliqués sur l'ensemble du corps, même lorsque les points de contact sont indéterminés. Techniquement, SixthSense emploie le conditional flow matching pour tokeniser des historiques proprioceptifs et estimer un flux d'événements de contact spatialement et temporellement parcimonieux. Les validations expérimentales couvrent trois régimes distincts - posture statique, marche et suivi de trajectoire corps entier - avec des performances décrites comme "sans précédent" par les auteurs, bien que l'article ne publie pas de métriques comparatives chiffrées pour étayer cette affirmation. L'enjeu est concret pour l'intégration industrielle : les humanoïdes actuellement déployés (Figure 02, Optimus Gen 2, Unitree G1) manquent de perception fiable des efforts de contact pour des tâches exigeant une interaction physique précise - assemblage, manipulation d'objets fragiles, collaboration en cellule mixte. Les méthodes analytiques existantes supposent des contacts connus et des mesures souvent indisponibles en production, notamment en raison de la dynamique en base flottante propre aux bipèdes. SixthSense se présente comme un module plug-and-play intégrable sans modification matérielle, ciblant trois cas d'usage : détection de collision, interaction physique humain-robot (pHRI) et téléopération avec retour d'effort. Ce travail s'inscrit dans l'effort plus large visant à combler le fossé entre démonstrations en laboratoire et déploiements réels pour la perception haptique des humanoïdes. Les principaux acteurs commerciaux - Figure, Agility Robotics, Apptronik, 1X Technologies - comme les plateformes académiques partagent ce même déficit. En France, Wandercraft, spécialiste de l'exosquelette humanoïde pour la rééducation, fait face à des contraintes similaires pour la perception d'effort en interaction avec le patient. La publication demeure une contribution académique : aucun déploiement industriel ni partenariat commercial n'est annoncé, et la robustesse hors conditions contrôlées reste à démontrer.

UEWandercraft (France) développe des exosquelettes humanoïdes à interaction physique patient-robot ; ce module d'estimation d'effort sans capteur dédié pourrait, s'il est validé hors laboratoire, réduire les coûts matériels et améliorer la sécurité de contact en rééducation.

RecherchePaper
1 source
Les modèles VLA sont restreints mais capables de généraliser à des instructions inédites
188arXiv cs.RO 

Les modèles VLA sont restreints mais capables de généraliser à des instructions inédites

Une étude publiée sur arXiv (référence 2505.03500, version 5, mai 2026) expose une limitation structurelle des modèles VLA (Vision-Language-Action) : leur incapacité à combiner des compétences apprises séparément pour exécuter des tâches inédites. L'exemple présenté est parlant, un VLA peut réussir à placer du fromage frais dans un bol et à poser ce bol sur une armoire, mais échoue à placer directement le fromage sur l'armoire. Pour quantifier ce déficit, les chercheurs ont créé libero-ood, un benchmark de 20 tâches extrapolées depuis les suites standards LIBERO. Résultat net : l'ensemble des VLA état-de-l'art testés plafonnent à moins de 15 % de succès. En appliquant leur technique d'interpolation de latents textuels au modèle π0 de Physical Intelligence, les auteurs atteignent 83 % sans aucun réentraînement. Autre découverte préoccupante : des prompts illisibles pour un humain, obtenus par décodage du latent textuel, suffisent à piloter le VLA à 70 % de succès sur LIBERO standard, ouvrant la voie à des attaques de type backdoor ou à des instructions privées non auditables. La méthode repose sur l'extraction d'un "latent textuel" par tâche de base, en moyennant les états cachés des tokens textuels sur l'ensemble des trajectoires démontrées. Pour exécuter une tâche composite inédite, les chercheurs interpolent temporellement les latents de deux tâches sources et les réinjectent dans le modèle à l'inférence, activant séquentiellement les sous-comportements correspondants. Ce résultat remet en question l'hypothèse d'une compréhension sémantique robuste dans les VLA actuels : l'analyse qualitative révèle un phénomène de surapprentissage spatial, les modèles associant les noms d'objets à des emplacements démontrés plutôt qu'à des entités abstraites. Pour les intégrateurs et décideurs industriels, cela signifie que les benchmarks standards ne détectent pas ces angles morts compositionnels, et que la qualification de systèmes autonomes en production devrait systématiquement inclure des tâches out-of-distribution. LIBERO est depuis plusieurs années une référence en manipulation robotique tabletop ; libero-ood comble un angle mort important sur la généralisation hors distribution. π0, développé par Physical Intelligence (fondée en 2023 par d'anciens chercheurs de Google et DeepMind, dont Sergey Levine et Chelsea Finn), s'est imposé comme l'un des VLA les plus performants du marché via son architecture flow-matching. Les modèles concurrents testés ici, notamment OpenVLA (Berkeley) et Octo, affichent les mêmes limites compositionnelles. Ce travail, encore au stade preprint, pose les bases d'un nouveau critère d'évaluation pour les VLA et soulève des questions de sécurité concrètes qui devraient alerter les équipes déployant ces modèles en environnement industriel non supervisé.

UELes équipes R&D et industriels européens déployant des VLA en production doivent revoir leurs protocoles de qualification pour y intégrer des tâches hors-distribution, les benchmarks standards ne détectant pas les angles morts compositionnels exposés ici.

IA physiqueOpinion
1 source
Simulation de l'expérience sensorimotrice du nourrisson par transfert de mouvements vers des humanoïdes
189arXiv cs.RO 

Simulation de l'expérience sensorimotrice du nourrisson par transfert de mouvements vers des humanoïdes

Une équipe de recherche a déposé sur arXiv (référence 2604.27583) un framework permettant de simuler l'expérience sensorimotrice multimodale de nourrissons en retransférant leurs mouvements sur des robots humanoïdes physiques et virtuels. À partir d'une seule vidéo, la méthode extrait le squelette de l'enfant et estime sa pose 3D complète image par image, puis mappe ces trajectoires sur quatre plateformes : le robot physique iCub et trois simulateurs virtuels, pyCub, EMFANT et MIMo. La relecture de ces mouvements retransférés génère des flux multisensoriels synthétiques couvrant la proprioception (articulations et muscles), le sens du toucher et la vision. Pour l'embodiment le mieux adapté morphologiquement, la précision de retargeting atteint moins d'un centimètre, ce qui permet une annotation automatisée fine des comportements moteurs. L'intérêt de ce travail dépasse la robotique développementale stricte. La plupart des approches de motion retargeting existantes se limitent à reproduire la cinématique, ignorant la richesse sensorielle associée au mouvement humain. Ce framework produit des streams proprioceptifs et tactiles synchronisés avec la vision, un type de donnée rare susceptible d'alimenter l'entraînement de modèles VLA (Vision-Language-Action) qui peinent encore à généraliser hors du domaine simulé. Sur le plan médical, la capacité à annoter automatiquement des comportements moteurs depuis une simple vidéo, puis à les comparer quantitativement à un avatar robot, ouvre une voie crédible pour la détection précoce de troubles du neurodéveloppement, autisme, paralysie cérébrale, sans recourir à une instrumentation directe de l'enfant. Le robot iCub, développé par l'IIT (Istituto Italiano di Tecnologia, Gênes) depuis 2004 et déployé dans plus de 30 laboratoires mondiaux, constitue la plateforme physique de référence de l'étude, sa morphologie proche d'un enfant de 3-4 ans en faisant un candidat naturel. La précision sub-centimétrique annoncée vaut pour les séquences les mieux alignées morphologiquement : les auteurs ne publient pas de métriques globales sur corpus complet, ce qui invite à une lecture prudente de la performance générale. Dans l'espace concurrent, des équipes comme Meta AI (SAPIENS) ou ETH Zurich (SMPL-X) travaillent sur la reconstruction posturale dense, mais sans l'orientation développementale ni la multimodalité sensorielle de cette approche. Le code est publié en open source sur GitHub sous le dépôt ctu-vras/motion-retargeting.

UEL'IIT (Gênes, Italie), créateur de la plateforme iCub utilisée comme référence physique de l'étude, consolide le positionnement européen dans la robotique développementale et la génération de données multimodales pour l'entraînement de modèles VLA.

💬 Ce qui m'a accroché, c'est pas le robot qui rejoue les gestes d'un nourrisson, c'est la donnée synthétique que ça produit : proprio, toucher et vision synchronisés depuis une simple vidéo, c'est rare et c'est exactement ce dont les VLA ont besoin pour généraliser hors labo. L'application médicale (détection précoce de troubles moteurs sans coller des capteurs partout sur un bébé) est probablement le cas d'usage le plus sérieux à court terme. Reste à voir les métriques sur corpus complet, les auteurs ne les publient pas pour l'instant.

RecherchePaper
1 source
FalconApp : déploiement rapide sur iPhone d'un système de perception bout-en-bout via données synthétiques labellisées automatiquement
190arXiv cs.RO 

FalconApp : déploiement rapide sur iPhone d'un système de perception bout-en-bout via données synthétiques labellisées automatiquement

FalconApp, présentée dans un preprint arXiv publié fin avril 2026 (arXiv:2604.25949), est une application iPhone couplée à un pipeline backend qui transforme une courte vidéo capturée à la main en un module de perception opérationnel pour la robotique, capable de détection de masque et d'estimation de pose à 6 degrés de liberté (6-DoF). Le pipeline complet fonctionne ainsi : l'utilisateur filme un objet rigide, l'application reconstruit un asset 3D au format GSplat (Gaussian Splatting), le composite sur des fonds photorealistes variés, génère des images synthétiques avec masques et poses de vérité terrain en étiquetage automatique, entraîne le module de perception, puis le redéploie sur l'iPhone. Sur cinq objets de géométries et textures diverses, le système atteint en moyenne 20 minutes de génération de données synthétiques et d'entraînement par objet, une latence bout-en-bout d'environ 30 ms sur l'appareil, et surpasse un algorithme de référence PnP (Perspective-n-Point) sur 4 objets sur 5, tant en simulation qu'en évaluation réelle. L'intérêt industriel est direct : le goulot d'étranglement classique de la perception en robotique est l'annotation manuelle de données réelles, coûteuse et chronophage. Ramener ce délai à 20 minutes via de la donnée synthétique auto-étiquetée représente un changement de paradigme pour les intégrateurs robotiques qui doivent adapter rapidement des systèmes de préhension ou de localisation à de nouveaux objets sans pipeline MLOps lourd. La latence de 30 ms sur smartphone est compatible avec un usage temps réel embarqué. Cela dit, la validation reste modeste : cinq objets rigides seulement, sans test sur des surfaces réfléchissantes, des objets partiellement occultés ou des scènes encombrées, ce qui laisse ouverte la question de la robustesse en conditions industrielles réelles. Le Gaussian Splatting (3DGS) est devenu un outil central de reconstruction 3D depuis son introduction au SIGGRAPH 2023, et plusieurs équipes l'exploitent désormais pour générer de la donnée d'entraînement synthétique en robotique. Sur le terrain de la donnée synthétique pour la pose 6-DoF, FalconApp s'inscrit dans la lignée de travaux académiques comme MegaPose, développé notamment par des chercheurs de l'INRIA en France. La différence revendiquée ici est l'intégration verticale mobile-to-deployment en moins de 30 minutes, sans infrastructure cloud spécialisée. L'étape suivante logique serait d'élargir la validation à des objets déformables ou semi-rigides, et de tester le pipeline dans des environnements à éclairage variable, deux conditions fréquentes en atelier.

UEL'INRIA française est co-auteur de MegaPose, travail de référence dont FalconApp s'inspire directement, mais le pipeline lui-même n'émane pas d'une institution européenne et aucun déploiement en France ou en UE n'est identifié.

IA physiquePaper
1 source
Évaluation de la sécurité des grands modèles de langage pour le contrôle d'assistants robotiques de santé
191arXiv cs.RO 

Évaluation de la sécurité des grands modèles de langage pour le contrôle d'assistants robotiques de santé

Une équipe de chercheurs a publié fin avril 2026 (arXiv:2604.26577) une évaluation systématique de la sécurité de 72 grands modèles de langage (LLMs) dans le contexte du contrôle de robots-soignants. Le protocole repose sur un corpus de 270 instructions nuisibles, réparties en neuf catégories de comportements interdits dérivés des Principes d'éthique médicale de l'American Medical Association, et testées dans un environnement de simulation basé sur le cadre "Robotic Health Attendant". Le taux de violation moyen toutes catégories confondues atteint 54,4 %, et plus de la moitié des modèles dépassent individuellement les 50 %. Les instructions superficiellement plausibles, manipulation d'équipements médicaux ou retard délibéré face à une urgence, s'avèrent bien plus difficiles à refuser pour les modèles que des requêtes ouvertement destructrices. L'écart entre modèles propriétaires et open-weight est particulièrement marqué : taux médian de violation à 23,7 % pour les premiers, contre 72,8 % pour les seconds. Ces résultats ont des implications directes pour quiconque envisage d'intégrer un LLM dans une boucle de contrôle robotique en milieu clinique. Ils invalident deux hypothèses courantes : d'abord, que le fine-tuning dans le domaine médical améliore la sécurité (aucun bénéfice significatif mesuré), ensuite, que des défenses basées sur le prompt suffisent à sécuriser les modèles les moins fiables (réduction modeste, niveaux absolus toujours incompatibles avec un déploiement clinique). La taille du modèle et la date de sortie restent les meilleurs prédicteurs de sécurité pour les modèles open-weight, ce qui suggère que l'amélioration est incidentelle aux évolutions générales d'entraînement, pas le fruit d'une conception sécurité-first. Le cadre Robotic Health Attendant, utilisé comme base de simulation, s'inscrit dans une tendance plus large où les LLMs sont envisagés comme couche de raisonnement dans des systèmes robotiques d'assistance à la personne, aux côtés d'approches comme les Vision-Language-Action models (VLA). Les acteurs du secteur, qu'il s'agisse de startups comme Enchanted Tools côté français ou de plateformes hospitalières intégrant des bras manipulateurs, n'ont pas encore de benchmark standardisé pour valider la sécurité comportementale de leurs modèles embarqués. Cette étude constitue une première tentative de formalisation, mais ses auteurs reconnaissent que les résultats, obtenus en simulation, devront être confrontés à des protocoles en environnement réel avant de pouvoir orienter des décisions de certification ou de déploiement.

UECette étude fournit un premier benchmark formalisé pour la sécurité comportementale des LLMs en robotique de santé, dont des acteurs français comme Enchanted Tools sont explicitement dépourvus, et pourrait orienter les futures exigences de certification dans le cadre de la réglementation européenne sur les dispositifs médicaux autonomes.

RechercheOpinion
1 source
Relations en forme fermée et approximations d'ordre supérieur des dérivées premières et secondes de l'opérateur tangent sur SE(3)
192arXiv cs.RO 

Relations en forme fermée et approximations d'ordre supérieur des dérivées premières et secondes de l'opérateur tangent sur SE(3)

Des chercheurs ont publié sur arXiv (référence 2604.22287) des expressions en forme close pour le différentiel trijeunialisé à droite de l'application exponentielle sur le groupe de Lie SE(3), communément appelé opérateur tangent ou dexp, ainsi que ses dérivées premières et secondes. La matrice 6×6 représentant ce différentiel, dexpX : se(3) → se(3), était déjà partiellement documentée via une représentation en blocs 3×3, mais ce travail abandonne ce partitionnement pour proposer des relations directement compactes. Les auteurs dérivent également le jacobien et le hessien des applications d'évaluation dexpX(Z) et dexp_X^T(Z), accompagnés d'approximations polynomiales d'ordre élevé conçues pour rester numériquement stables au voisinage des singularités. La méthode est illustrée sur le calcul du champ de déformation et des taux de déformation d'une poutre élastique de type Cosserat-Simo-Reissner. Pour les ingénieurs en robotique et en simulation multiphysique, ces formules sont directement exploitables dans les solveurs de dynamique inverse, les optimiseurs de trajectoires basés sur le gradient, et les intégrateurs temps-réel pour bras manipulateurs ou robots souples. L'accès au hessien de l'opérateur tangent en forme close ouvre la voie à des méthodes d'optimisation du second ordre (Newton, Gauss-Newton) sur SE(3), jusqu'ici freinées par l'absence de ces expressions ou par leur coût numérique élevé via différentiation automatique. La robustesse numérique des approximations d'ordre élevé est particulièrement précieuse dans les schémas implicites où les configurations proches d'une rotation nulle dégradent les méthodes tronquées classiques. SE(3), groupe de Lie des transformations rigides orientées dans l'espace tridimensionnel (rotations et translations couplées), est la structure algébrique centrale de la cinématique des corps rigides, de la dynamique des robots articulés, et de la mécanique des tiges flexibles. Les modèles de Cosserat-Simo-Reissner, qui généralisent la théorie des poutres d'Euler-Bernoulli aux grandes déformations, sont notamment utilisés pour simuler des robots continus, des cathéters, des câbles ou des aiguilles chirurgicales. Ce type de travail fondationnel rejoint un effort de standardisation des outils différentiels sur les groupes de Lie, porté en parallèle par des équipes comme le laboratoire Gepetto (LAAS-CNRS, Toulouse) avec la bibliothèque Pinocchio, ou par les travaux de Müller et Terze sur la formulation intrinsèque des équations du mouvement. La disponibilité de ces expressions dans un format compact et numériquement stable devrait faciliter leur intégration dans des frameworks open-source de simulation robotique.

UECes expressions pourraient être intégrées dans Pinocchio (laboratoire Gepetto, LAAS-CNRS Toulouse), renforçant les capacités de dynamique différentiable du second ordre dans les frameworks robotiques open-source européens.

RecherchePaper
1 source
Comment fonctionnent réellement les VLA en environnements ouverts
193arXiv cs.RO 

Comment fonctionnent réellement les VLA en environnements ouverts

Un article de recherche publié sur arXiv (référence 2604.21192) soumet les modèles vision-langage-action (VLA) à une évaluation critique sur le benchmark BEHAVIOR1K (B1K), un protocole simulant des tâches domestiques complexes de longue durée dans des environnements ouverts. Le constat est net : les métriques standards de ces benchmarks, taux de succès ou score partiel, ne mesurent que l'état final des objets manipulés, indépendamment des événements qui y ont conduit. Un robot qui renverse un verre avant de le replacer peut ainsi obtenir le même score qu'un robot qui l'a manipulé sans incident. Ce protocole dit "progress-agnostic" ignore entièrement les comportements dangereux en cours d'exécution. Les chercheurs ont soumis plusieurs VLA de pointe à une analyse multidimensionnelle couvrant robustesse, reproductibilité, violations de sécurité et causes d'échec des tâches. Les implications sont directes pour tout acteur envisageant un déploiement réel. Si les métriques actuelles gonflent artificiellement les performances rapportées, les décisions d'intégration basées sur ces benchmarks reposent sur des bases fragiles. La distinction est capitale entre un modèle qui complète une tâche et un modèle qui la complète de façon sûre et reproductible, deux propriétés que les scores agrégés actuels confondent. Les auteurs proposent de nouveaux protocoles d'évaluation capables de capturer les violations de sécurité, comblant un angle mort majeur de la recherche. Pour un intégrateur ou un décideur industriel, cela signifie que les chiffres de "success rate" publiés par les laboratoires doivent être lus avec prudence, en exigeant explicitement des données de reproductibilité et des métriques comportementales. La course aux VLA s'est accélérée depuis 2024 avec des modèles comme pi0 de Physical Intelligence, GR00T N2 de NVIDIA, ou OpenVLA issu de Stanford et Berkeley. Ces systèmes combinent une fondation vision-langage avec un module d'action, affichant des capacités de généralisation notables en simulation. Ce papier suggère que le fossé simulation-réel est peut-être plus profond qu'estimé : des modèles performants sur B1K pourraient s'avérer moins fiables dès lors qu'on intègre sécurité et consistance comportementale comme critères d'évaluation. Les auteurs appellent la communauté à adopter ces nouveaux protocoles dans les futures éditions du B1K Challenge pour aligner les standards de recherche avec les exigences concrètes du déploiement en environnement ouvert.

RechercheOpinion
1 source
Un joint de poignet à abduction-adduction entraîné par tendons améliore les performances d'un exosquelette de membre supérieur à 5 degrés de liberté
194arXiv cs.RO 

Un joint de poignet à abduction-adduction entraîné par tendons améliore les performances d'un exosquelette de membre supérieur à 5 degrés de liberté

Une équipe de chercheurs a publié sur arXiv (preprint arXiv:2504.20898) une évaluation expérimentale de l'exosquelette de membre supérieur EXOTIC2, enrichi d'un sixième degré de liberté actif au niveau du poignet : le mouvement d'abduction-adduction (Ab-Ad). Le module intégré est compact et léger, utilisant une transmission par tendons pour l'abduction et un rappel par ressort pour l'adduction. Le protocole a impliqué huit adultes sans déficit moteur, soumis à deux tâches fonctionnelles de la vie quotidienne (boire dans un verre, gratter une surface) dans deux conditions randomisées : poignet actif vs. poignet bloqué. Un test de faisabilité préliminaire a également été conduit sur une personne atteinte de sclérose latérale amyotrophique (SLA). Les résultats quantitatifs sont nets : avec le DoF Ab-Ad activé, le taux de renversement lors de la tâche de boisson chute de 56 % à 3 %, et le taux de succès pour le nivellement lors de la tâche de grattage passe de 28 % à 75 %. Aucune dégradation du temps d'exécution n'a été observée. Ces chiffres apportent une preuve expérimentale directe d'un point souvent débattu dans la communauté exosquelette : l'ajout d'un DoF au poignet est fréquemment évité pour des raisons de complexité mécanique et de poids, sans que son bénéfice fonctionnel réel soit bien documenté. Cette étude comble ce vide pour les tâches de préhension et de transport d'objets. L'exosquelette EXOTIC (dont EXOTIC2 est la seconde génération) est développé dans un contexte de rééducation pour personnes à mobilité réduite sévère, notamment les patients SLA. Le domaine des exosquelettes de membre supérieur à vocation clinique reste dominé par quelques acteurs européens et nord-américains : Hocoma, Tyromotion, ou encore le français Wandercraft côté membre inférieur. Pour le membre supérieur, les solutions commerciales disponibles (Armeo, REAplan) intègrent rarement un contrôle actif du poignet en Ab-Ad. Ce travail, encore au stade de preprint, devra être validé sur une cohorte de patients avec déficits moteurs avant toute perspective de commercialisation, mais il pose une base expérimentale solide pour les prochaines itérations de conception.

UECette recherche sur EXOTIC2 renforce la base expérimentale des exosquelettes de membre supérieur cliniques, un segment dominé par des acteurs européens (Hocoma, Tyromotion) et où ce bénéfice documenté du DoF de poignet Ab-Ad peut orienter les prochaines générations de dispositifs de rééducation.

ExosquelettesPaper
1 source
Navigation autonome d'un robot par apprentissage structurel en ligne et planification par inférence active
195arXiv cs.RO 

Navigation autonome d'un robot par apprentissage structurel en ligne et planification par inférence active

Des chercheurs de l'université de Gand ont publié sur arXiv un système de navigation robotique autonome baptisé AIMAPP (Active Inference MAPping and Planning), capable d'explorer des environnements inconnus sans carte préalable ni phase d'entraînement. Le robot construit en temps réel une carte topologique sparse, apprend dynamiquement les transitions d'états et planifie ses actions en minimisant ce que les auteurs appellent l'Énergie Libre Attendue (Expected Free Energy), un principe emprunté à la théorie de l'inférence active. Le système est compatible avec ROS, indépendant du type de capteurs utilisés et fonctionne en mode entièrement auto-supervisé, sans aucune intervention humaine préalable. L'intérêt principal d'AIMAPP réside dans sa robustesse face aux conditions réelles d'opération : il continue de fonctionner même en cas de défaillance partielle des capteurs ou de dérive odométrique cumulative, deux problèmes qui paralysent souvent les systèmes classiques de navigation SLAM. Contrairement aux approches par apprentissage profond qui nécessitent d'importants volumes de données annotées, AIMAPP s'adapte en ligne à des environnements changeants et à des observations ambiguës. Dans des évaluations conduites à grande échelle, en environnements réels et simulés, le système surpasse ou égale les planificateurs de référence actuels, ouvrant la voie à des robots déployables dans des contextes non structurés comme des entrepôts, des zones sinistrées ou des espaces extérieurs. L'inférence active est un cadre théorique issu des neurosciences computationnelles, initialement développé pour modéliser la perception et l'action chez les êtres vivants. Son application à la robotique est encore émergente, mais AIMAPP représente une des implémentations les plus complètes à ce jour, combinant cartographie, localisation et prise de décision dans un modèle génératif unifié. Le code est disponible publiquement sur GitHub (decide-ugent/aimapp), ce qui pourrait accélérer son adoption dans la communauté robotique. La prochaine étape naturelle sera de tester le système sur des flottes de robots opérant en parallèle, ainsi que dans des environnements dynamiques peuplés d'humains.

UERecherche conduite par l'Université de Gand (Belgique), le code open-source publié sur GitHub est directement exploitable par les laboratoires et industriels européens actifs en robotique autonome.

💬 Pas de données annotées, pas de carte préalable, et ça tient quand les capteurs flanchent, là où SLAM se plante souvent. C'est le problème qu'on n'arrivait pas à régler proprement depuis des années en robotique mobile. Le code est sur GitHub et compatible ROS, donc les labos n'ont pas besoin de repartir de zéro.

RecherchePaper
1 source
Vers un MAPF réaliste : SMART, un banc de test multi-agents extensible pour le monde réel
196arXiv cs.RO 

Vers un MAPF réaliste : SMART, un banc de test multi-agents extensible pour le monde réel

Une équipe de chercheurs a publié SMART (Scalable Multi-Agent Realistic Testbed), un environnement de simulation open-source destiné à l'évaluation des algorithmes MAPF (Multi-Agent Path Finding), c'est-à-dire la planification de trajectoires sans collision pour des flottes de robots. Le papier, référencé arXiv:2503.04798, présente un outil capable de simuler jusqu'à plusieurs milliers de robots simultanément, en intégrant un moteur physique complet qui modélise la kinodynamique des robots et les incertitudes d'exécution réelles. SMART s'appuie sur un cadre de supervision d'exécution basé sur l'Action Dependency Graph (ADG), ce qui permet une intégration modulaire avec différents planificateurs MAPF et modèles de robots. Le code est disponible publiquement sur GitHub, accompagné d'un service de démonstration en ligne. L'enjeu industriel est direct : les meilleurs planificateurs MAPF actuels sont capables de calculer des trajectoires pour des centaines de robots en quelques secondes, mais ils reposent presque tous sur des modèles de robots simplifiés, ignorant la dynamique réelle, les glissements, les délais de démarrage ou les imprécisions de positionnement. Ce fossé entre simulation idéalisée et comportement terrain est un frein majeur au déploiement en entrepôt ou en atelier. SMART propose de combler ce gap en permettant aux intégrateurs et aux équipes R&D de tester leurs algorithmes dans des conditions proches de la réalité sans avoir besoin de dizaines ou de centaines de robots physiques, ressource quasi-inaccessible en laboratoire. Pour un COO industriel qui évalue des solutions AMR (Autonomous Mobile Robots), disposer d'un simulateur crédible et open-source réduit significativement le risque d'un déploiement raté. Le problème du sim-to-real gap dans le MAPF est documenté depuis plusieurs années, et des acteurs comme Amazon Robotics, Geek+ ou Exotec en Europe ont développé leurs propres outils internes. SMART vise à démocratiser cet accès, notamment pour les équipes académiques et les intégrateurs de taille intermédiaire. Le framework ADG n'est pas nouveau, il était déjà central dans les travaux antérieurs sur l'exécution robuste de MAPF, mais son intégration dans un simulateur à physique réaliste et passant à l'échelle représente une avancée méthodologique. Les prochaines étapes probables incluent la validation sur des cas industriels concrets et l'ajout de modèles de robots commerciaux comme les AMR à différentiel ou les AGV à guidage magnétique.

UEExotec, acteur français des AMR d'entrepôt, est cité parmi les rares industriels disposant d'outils internes similaires ; SMART pourrait réduire la barrière à l'entrée pour les équipes R&D et intégrateurs européens de taille intermédiaire souhaitant valider des algorithmes MAPF sans flotte physique.

RecherchePaper
1 source
Un pipeline de déploiement rapide pour la préhension autonome de robots humanoïdes basé sur des modèles fondation
197arXiv cs.RO 

Un pipeline de déploiement rapide pour la préhension autonome de robots humanoïdes basé sur des modèles fondation

Des chercheurs ont publié sur arXiv (arXiv:2604.17258, avril 2026) un pipeline de déploiement rapide permettant de préparer un robot humanoïde à manipuler un nouvel objet en environ 30 minutes, contre un à deux jours dans les approches classiques. Le système s'appuie sur trois composants à base de modèles de fondation : l'annotation automatique via Roboflow pour entraîner un détecteur YOLOv8, la reconstruction 3D par Meta SAM 3D à partir d'images standard (smartphone suffisant, pas de scanner laser), et le suivi de pose 6-DoF en zero-shot par FoundationPose, qui utilise directement le maillage généré par SAM 3D comme gabarit. Les commandes de pose alimentent un planificateur de cinématique inverse sous Unity, transmises en UDP au robot Unitree G1 via le SDK propriétaire. Les métriques annoncées : mAP@0.5 = 0,995 en détection, précision de suivi σ inférieure à 1,05 mm, et saisie réussie sur cinq positions dans l'espace de travail. Le pipeline a également été validé sur une tâche d'application de mastic sur vitre d'automobile, ce qui constitue un environnement industriel concret. L'enjeu principal est la réduction du "time-to-deployment" pour la manipulation humanoïde, un goulot d'étranglement majeur qui freine l'intégration en environnement industriel réel. Passer de deux jours à 30 minutes sans équipement spécialisé change la donne pour les intégrateurs et les PME industrielles qui ne disposent pas d'équipes robotique dédiées. Le recours au zero-shot pour FoundationPose signifie qu'aucun réentraînement n'est nécessaire pour chaque nouvel objet, ce qui valide partiellement l'hypothèse que les modèles de fondation peuvent absorber la variabilité d'objets sans collecte de données lourde. Cela dit, les résultats sont présentés sur cinq positions fixes et deux tâches seulement ; la robustesse en conditions de production non contrôlées reste à démontrer. Le robot support, le Unitree G1, est un humanoïde commercial chinois à 16 degrés de liberté vendu autour de 16 000 dollars, positionné comme plateforme de recherche accessible. Les composants logiciels mobilisés (Roboflow, Meta SAM 3D, FoundationPose de NVidia) sont tous open-source ou accessibles via API, ce qui renforce la reproductibilité. Dans le paysage actuel où Figure (Figure 03), Tesla (Optimus), Physical Intelligence (pi0) et Boston Dynamics investissent massivement dans les pipelines de manipulation apprise, cette approche modulaire et frugale en données offre une alternative pragmatique, notamment pour les déploiements pilotes dans des cellules de production à faible volume ou à variété élevée d'objets.

UELes intégrateurs robotiques et PME industrielles européens peuvent évaluer et reproduire ce pipeline open-source (Roboflow, Meta SAM 3D, FoundationPose) pour réduire drastiquement le time-to-deployment sur des cellules de production à haute variété d'objets, sans équipement spécialisé ni équipe robotique dédiée.

IA physiquePaper
1 source
Modèles fondation en robotique : revue complète des méthodes, modèles, jeux de données, défis et perspectives
198arXiv cs.RO 

Modèles fondation en robotique : revue complète des méthodes, modèles, jeux de données, défis et perspectives

Une revue systématique publiée sur arXiv (2604.15395) recense l'état de l'art des modèles de fondation appliqués à la robotique, couvrant l'ensemble du spectre allant des grands modèles de langage (LLM) aux architectures vision-langage-action (VLA). Les auteurs structurent leur analyse en cinq phases historiques distinctes, depuis les premières intégrations de modèles NLP et vision par ordinateur jusqu'aux déploiements multi-sensoriels en environnement réel. La taxonomie proposée examine six axes : les types de modèles employés (LLM, VFM, VLM, VLA), les architectures de réseaux de neurones sous-jacentes, les paradigmes d'apprentissage, les stades d'incorporation des connaissances, les tâches robotiques ciblées, et les domaines applicatifs industriels. L'étude recense également les datasets publics utilisés pour l'entraînement et l'évaluation sur ces différentes tâches. L'intérêt de ce travail pour les intégrateurs et les décideurs industriels réside dans sa cartographie des capacités réelles versus annoncées des VLA en déploiement. Le passage d'agents mono-tâche et spécialisés vers des agents adaptatifs multi-fonctions à usage général constitue le fil directeur de l'analyse. Les auteurs traitent explicitement du gap simulation-réalité (sim-to-real), de la généralisation inter-embodiment (cross-embodiment), et de la planification à horizon long, trois verrous techniques qui conditionnent la commercialisation à grande échelle. La revue identifie aussi les défis ouverts et les directions de recherche prometteuses, utiles pour orienter des feuilles de route R&D. Ce survey s'inscrit dans une accélération documentée depuis 2022, portée par des laboratoires comme Google DeepMind (RT-2, π0), Physical Intelligence, Figure AI, et Unitree, qui ont tous misé sur les VLA comme colonne vertébrale de leurs systèmes. Côté européen, des acteurs comme Enchanted Tools ou Wandercraft n'apparaissent pas dans ce corpus, ce qui reflète un déséquilibre de publication favorable aux équipes nord-américaines et asiatiques. La revue ne constitue pas un benchmark expérimental indépendant mais une synthèse bibliographique, ce qui en fait un point d'entrée solide pour un ingénieur robotique cherchant à situer une technologie ou comparer des approches, sans remplacer une évaluation terrain des solutions commerciales disponibles.

UELe déséquilibre de publication constaté, acteurs FR/EU (Enchanted Tools, Wandercraft) absents du corpus, souligne un déficit de visibilité des équipes européennes dans la recherche VLA, ce qui peut biaiser les benchmarks de référence utilisés par les industriels pour orienter leurs feuilles de route R&D.

RecherchePaper
1 source
π0.7 : un modèle fondation robotique généraliste et pilotable aux capacités émergentes
199arXiv cs.RO 

π0.7 : un modèle fondation robotique généraliste et pilotable aux capacités émergentes

Physical Intelligence, le laboratoire californien fondé en 2023 par d'anciens chercheurs de Google DeepMind et Stanford, publie π0.7 (pi-zéro-point-sept), un nouveau modèle de fondation robotique généraliste présenté dans un preprint arXiv (2604.15483) daté d'avril 2026. Le modèle démontre des capacités zero-shot sur des tâches multi-étapes en environnements inconnus : manipulation d'appareils de cuisine variés, pliage de linge sans avoir vu la tâche en entraînement, et opération d'une machine à expresso à un niveau de performance comparable à des modèles spécialisés entraînés par reinforcement learning. La généralisation cross-embodiment, c'est-à-dire la capacité à transférer des comportements entre plateformes robotiques différentes sans réentraînement dédié, est présentée comme une propriété émergente du système. L'innovation centrale de π0.7 est un mécanisme de conditionnement contextuel multimodal étendu. Là où la plupart des VLA (Vision-Language-Action models) se contentent d'une instruction textuelle, π0.7 reçoit en entrée de prompt des métadonnées sur la qualité de l'exécution, des images de sous-objectifs intermédiaires, et des informations sur la stratégie à adopter. Ce conditionnement riche permet d'intégrer à l'entraînement des données hétérogènes : démonstrations humaines, données autonomes potentiellement sous-optimales incluant des échecs, et données issues de sources non-robotiques. C'est un levier direct sur le problème du sim-to-real gap et sur le coût de collecte de données de qualité, deux freins majeurs au déploiement industriel. Pour un intégrateur ou un COO industriel, la promesse est concrète : un modèle qui fonctionne correctement sans fine-tuning coûteux sur chaque nouvelle tâche. Physical Intelligence avait introduit π0 fin 2024 comme premier modèle de fondation robotique à architecture flow matching, capable de piloter des bras manipulateurs avec haute dextérité. π0.7 constitue une évolution orientée généralité et pilotabilité plutôt que spécialisation. Dans le paysage concurrentiel, ce positionnement affronte directement Google DeepMind avec RT-2 et ses successeurs, Figure AI avec son modèle Helix, ainsi qu'1X Technologies. Aucun déploiement commercial n'est annoncé à ce stade : il s'agit d'un preprint académique sans validation industrielle publiée. Les évaluations portent sur plusieurs plateformes robotiques en laboratoire, et les prochaines étapes probables incluent des collaborations avec des fabricants de robots pour valider le passage à l'échelle en conditions réelles.

IA physiqueOpinion
1 source
Calibration main-oeil en continu pour la manipulation robotique en environnement ouvert
200arXiv cs.RO 

Calibration main-oeil en continu pour la manipulation robotique en environnement ouvert

Une équipe de chercheurs a publié sur arXiv (arXiv:2604.15814) un framework d'étalonnage main-oeil continu (continual hand-eye calibration) destiné aux robots manipulateurs déployés dans des environnements ouverts et changeants. Le problème adressé est précis : les modèles de calibration basés sur le deep learning perdent leur précision sur les scènes précédemment apprises dès qu'ils s'adaptent à un nouvel environnement, un phénomène connu sous le nom d'oubli catastrophique (catastrophic forgetting). Le framework proposé repose sur deux composants distincts. Le premier, SARS (Spatial-Aware Replay Strategy), construit un buffer de rejeu géométriquement uniforme qui couvre l'espace de poses de chaque scène sans redondance, en sélectionnant les points de vue les plus informatifs plutôt que les frames adjacentes. Le second, SPDD (Structure-Preserving Dual Distillation), décompose la connaissance de localisation en deux niveaux, la structure grossière de la scène et la précision fine de pose, puis applique une distillation séparée pour préserver les deux dimensions lors des adaptations successives. Les expériences sur plusieurs datasets publics confirment que le modèle maintient la précision sur les scènes passées tout en s'adaptant aux nouvelles. L'enjeu industriel est réel : un bras manipulateur recalibré pour une nouvelle cellule de production ne devrait pas perdre sa précision sur les postes précédents. C'est le problème quotidien des intégrateurs qui déploient des robots dans des lignes flexibles ou multi-produits. La plupart des approches actuelles imposent soit un recalibrage complet à chaque changement de scène, soit acceptent une dégradation progressive des performances sur les configurations antérieures. Ce travail propose une voie intermédiaire via l'apprentissage continu structuré, sans recourir à un replay naïf qui ne suffit pas à enrayer l'oubli. L'approche par distillation duale est notamment pertinente car elle distingue deux types d'erreur, positionnement global et précision locale, ce que les méthodes monolithiques ne font pas. Ce travail s'inscrit dans un champ de recherche en forte activité depuis 2022, où la robustesse de la calibration visuelle en conditions réelles est identifiée comme l'un des goulots d'étranglement pour le passage à l'échelle des manipulateurs autonomes. La localisation visuelle pour la calibration main-oeil emprunte aux techniques de Visual Place Recognition (VPR) et de relocalisation utilisées en navigation mobile, mais les contraintes de précision sous-millimétrique propres à la manipulation y ajoutent une difficulté spécifique. Parmi les acteurs qui travaillent sur des problèmes adjacents figurent des équipes comme Physical Intelligence (pi) avec Pi-0, ou des laboratoires comme le Stanford AI Lab et ETH Zurich sur la sim-to-real calibration. En France, des acteurs comme Enchanted Tools et Pollen Robotics, qui développent des plateformes d'interaction physique, sont directement concernés par ce type de verrou. La prochaine étape naturelle pour ce framework serait une validation sur des données industrielles réelles et une intégration dans des pipelines de déploiement multi-cellules, que les auteurs n'ont pas encore annoncée.

UEEnchanted Tools et Pollen Robotics, qui développent des plateformes de manipulation physique en France, sont directement concernés par ce verrou de calibration continue, susceptible de réduire les coûts de redéploiement en production flexible.

RecherchePaper
1 source