Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RL Bootstrapping d'OpenVLA-OFT pour une nouvelle incarnation robotique
RecherchearXiv cs.RO 

RL Bootstrapping d'OpenVLA-OFT pour une nouvelle incarnation robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche a testé l'adaptation du modèle vision-langage-action OpenVLA-OFT à un robot parallèle à câbles (CDPR) doté d'une pince simple, une morphologie totalement absente des jeux de données habituels utilisés pour entraîner ce type de modèle. Plutôt que de recourir au fine-tuning supervisé classique, qui exige des démonstrations spécifiques à chaque robot, les chercheurs ont opté pour de l'apprentissage par renforcement en simulation, avec des récompenses géométriques denses calculées directement à partir de l'état du simulateur. L'entraînement s'est déroulé en deux temps : une phase PPO pour les primitives de mouvement directionnel, suivie d'une phase GRPO reprenant le point de contrôle du PPO et élargissant le répertoire d'instructions à des commandes conditionnées par objet. Sur les quatre instructions directionnelles communes aux deux phases, le taux de réussite moyen passe de 34,25 % après PPO à 53,50 % après PPO puis GRPO, avec des gains particulièrement marqués sur les commandes "aller à gauche" et "reculer". La phase GRPO introduit aussi l'instruction "aller vers" appliquée à huit objets cibles, pour un taux de réussite strict de 9,75 % (39 succès sur 400 essais).

L'intérêt de ces travaux tient moins à la performance brute, encore modeste, qu'à la méthode : contrairement aux résultats précédents obtenus avec OpenVLA et OpenVLA-OFT, qui s'appuient sur des jeux de démonstrations et des bras robotiques rigides standards, cette approche ne mobilise aucune donnée spécifique à l'embodiment cible. Pour les intégrateurs travaillant sur des morphologies robotiques atypiques, où collecter des démonstrations coûte cher ou reste impossible, cela ouvre une piste crédible pour amorcer un contrôleur fonctionnel sans données dédiées. Les auteurs restent toutefois prudents : les essais qualitatifs montrent souvent un comportement d'approche correct vers la cible, suivi d'une instabilité en fin de trajectoire, et le taux de réussite strict à moins de 10 % ne permet pas de parler de manipulation robuste.

Ce travail s'inscrit dans la vague plus large des modèles vision-langage-action (VLA), dont OpenVLA-OFT, Pi-0 ou GR00T N2 sont des représentants, généralement entraînés et validés sur des bras manipulateurs classiques plutôt que sur des architectures à câbles. L'étude, publiée en preprint sur arXiv, reste cantonnée à la simulation : aucun transfert vers un robot physique n'est rapporté à ce stade, et les auteurs présentent leurs résultats comme une première preuve de faisabilité plutôt qu'un système déployable.

Dans nos dossiers

IA physique & VLANVIDIA GR00TOpenVLA / RT-XarXiv cs.RO

À lire aussi

RawVLA : un processeur d'images neuronal incarné pour la manipulation robotique
1arXiv cs.RO 

RawVLA : un processeur d'images neuronal incarné pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv RawVLA, un processeur d'image neuronal (neural ISP) conçu pour les politiques vision-langage-action (VLA) de manipulation robotique. Le point de départ est un angle mort du secteur : les VLA reçoivent presque toujours des images RGB produites par l'ISP fixe de la caméra, un module matériel qui convertit les données brutes du capteur (RAW) en image exploitable. Ce pipeline d'imagerie reste donc hors de la boucle d'apprentissage et d'évaluation. Les auteurs ont mesuré son influence sur cinq dimensions : le gain, le bruit du capteur, la réponse chromatique, la réponse tonale et la profondeur de bit. Le traitement RAW vers RGB modifie sensiblement les actions prédites et le taux de réussite des manipulations, et chaque dimension pèse d'un poids très différent. Sur cette base, ils proposent RawVLA, un ISP neuronal en flux continu qui rend les observations RAW pour des politiques VLA gelées, sans réentraînement. Sa capacité est concentrée sur les facteurs d'imagerie utiles au comportement incarné. Ils publient aussi RawVLA-Bench, un benchmark de manipulation en domaine RAW qui traite le traitement d'image comme une variable d'évaluation explicite, en conditions d'acquisition propres et dégradées. Selon les auteurs, RawVLA maintient les performances en conditions standard et améliore nettement la robustesse quand l'imagerie se dégrade. Le résumé ne donne aucun chiffre : ni gain, ni taux de réussite, ni latence, ni modèle de VLA testé. Ces points sont à vérifier dans l'article complet. Le résultat compte pour les intégrateurs, car une partie de l'écart entre démonstration et réalité vient peut-être de la caméra elle-même. Un VLA entraîné sur des images bien exposées peut se dégrader en entrepôt sombre, sous éclairage variable ou avec un capteur bruité, sans que ni le modèle ni la simulation soient en cause. Le fait que l'ISP soit une variable d'évaluation à part entière suggère que les benchmarks actuels, presque tous en RGB propre, surestiment la robustesse réelle. L'approche est aussi pragmatique : un module d'adaptation placé devant une politique gelée évite de réentraîner un modèle de fondation. Ce travail s'inscrit dans le mouvement des modèles VLA généralistes comme Pi-0, GR00T ou Helix, qui ont concentré l'effort sur l'architecture et les données, en laissant la chaîne d'acquisition aux réglages constructeur. Les recherches sur la robustesse visuelle se limitaient jusqu'ici surtout à des perturbations appliquées en RGB. RawVLA déplace le problème en amont, vers le capteur. Il reste une publication de recherche v1, non évaluée par les pairs, dont le code, le benchmark et la validation sur robot réel restent à confirmer. Les suites logiques sont une adoption de RawVLA-Bench par d'autres équipes, des tests sur plusieurs familles de VLA et une intégration au plus près des caméras embarquées.

RecherchePaper
1 source
Manipulation robotique multi-incarnations via un espace d'action unifié pour la main
2arXiv cs.RO 

Manipulation robotique multi-incarnations via un espace d'action unifié pour la main

Des chercheurs proposent l'Unified Hand Action Space (UHAS), une représentation d'action unifiée pour piloter des mains robotiques dexteres de morphologies différentes à partir d'un seul espace de commande. Le principe consiste à représenter les mouvements de la main comme des déformations géométriques d'une sphère canonique, puis à utiliser un algorithme baptisé Cascade Inverse Kinematics (CIK) pour convertir cette représentation abstraite en configurations articulaires propres à chaque main. Les auteurs entraînent des politiques de manipulation par apprentissage par renforcement directement dans cet espace, sur une tâche de réorientation de cube en main. Le système est évalué en simulation et en conditions réelles sur quatre mains robotiques aux architectures distinctes: l'Allegro Hand (Wonik Robotics), la LEAP Hand (design open source), la Shadow Hand (Shadow Robot) et le modèle de main humaine MANO. Les résultats montrent un transfert zero-shot vers des mains non vues à l'entraînement et un réajustement rapide lors du passage d'une morphologie à l'autre. Le papier est publié en preprint sur arXiv, sans relecture par les pairs, et les chiffres de succès du "déploiement réel" ne sont pas détaillés dans le résumé, ce qui appelle à la prudence sur l'ampleur réelle des résultats. L'enjeu dépassé ici est celui du cross-embodiment, un des principaux verrous de l'apprentissage robotique: une politique de manipulation entraînée pour une main à quatre doigts ne se transfère généralement pas à une main à cinq doigts ou à un nombre d'articulations différent, obligeant à tout réentraîner à chaque nouveau design de préhenseur. Si l'approche tient ses promesses au-delà du cas d'usage testé, cela réduirait le coût de portage des politiques de manipulation dexterese entre fabricants de mains robotiques, un sujet clé pour les intégrateurs qui évaluent aujourd'hui des modèles VLA génériques cens

RecherchePaper
1 source
AIfred : apprentissage augmenté par une incarnation robotique fonctionnelle au bureau
3arXiv cs.RO 

AIfred : apprentissage augmenté par une incarnation robotique fonctionnelle au bureau

Des chercheurs ont présenté AIfred, un bras robotique de bureau portant un projecteur fixé à l'effecteur terminal, qui affiche des consignes générées par IA directement à côté du travail manuscrit de l'utilisateur. Le système, décrit dans une prépublication arXiv, combine trois briques : une perception de l'espace de travail, une génération de contenu sensible au contexte et une projection pilotée par le robot. Il a été testé sur trois usages : des exercices de mathématiques, la génération d'images et le dessin. L'étude porte sur 36 participants, qui ont comparé AIfred à ChatGPT (GPT-5.6 Luna) tournant sur un ordinateur portable. Tant que l'aide restait disponible pendant l'exercice de maths, les deux outils se sont équivalus (6,7 contre 7,3 sur 10, p = 0,41). Une fois l'assistance retirée, le groupe AIfred a obtenu 7,0 sur 10 contre 4,4 pour l'autre, soit un transfert d'apprentissage à court terme supérieur de 60 % (p = 0,003). Des professeurs d'art et de design indépendants ont par ailleurs classé les dessins réalisés avec AIfred comme meilleurs dans 33 cas sur 36. L'intérêt tient moins au matériel qu'à l'hypothèse testée. Les assistants génératifs actuels répondent sur un écran distinct, ce qui oblige l'utilisateur à passer sans cesse de sa feuille à la fenêtre de dialogue. Les résultats suggèrent que la colocalisation spatiale de l'aide ne change pas la performance immédiate, mais modifie ce qui reste appris, et que l'effet dépend de la tâche : il joue quand le guidage partage le même repère spatial que le travail, comme une correction sur une équation ou un tracé. Pour les concepteurs de robots d'assistance, d'outils éducatifs ou de postes de travail augmentés, cela déplace la question de la capacité du modèle vers la manière de l'incarner. Le robot sert ici d'interface plutôt que de manipulateur. Les limites sont nettes : un échantillon de 36 personnes, un apprentissage mesuré à court terme seulement, et une comparaison avec une interface de chat sur laptop qui n'isole pas la contribution propre du bras mobile par rapport à un simple projecteur fixe. Ces travaux s'inscrivent dans la lignée de la réalité augmentée spatiale et des bureaux interactifs, qui projettent depuis longtemps de l'information sur des surfaces de travail. Ils profitent aujourd'hui de modèles multimodaux assez rapides pour lire une feuille manuscrite et produire un guidage contextualisé. Cette prépublication relève de la recherche académique : aucun produit commercial, prix ou calendrier de déploiement n'est annoncé. Les suites naturelles seraient des études plus longues sur la rétention, des comparaisons avec des projecteurs fixes et l'extension à d'autres disciplines. Le résultat reste à confirmer par réplication avant de pouvoir être considéré comme un effet établi.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Le fossé de l'incarnation dans les modèles fondation pour robots
4arXiv cs.RO 

Le fossé de l'incarnation dans les modèles fondation pour robots

Une étude publiée sur arXiv sous la référence 2608.18433v1, intitulée « The Embodiment Gap in Robot Foundation Models », dresse un état des lieux critique des modèles de fondation pour la robotique (RFM), dont les politiques vision-langage-action (VLA). Le papier part d'un constat simple : un modèle peut généraliser sur le papier tout en nécessitant un travail d'adaptation important avant de tourner sur un robot physique donné. Les auteurs baptisent cet écart le « embodiment gap », soit le fossé entre des modèles, représentations ou jeux de données réutilisables et leur mise en œuvre effective sur le robot cible. La contribution centrale est une cartographie à deux axes qui classe les méthodes existantes selon le type de structure partagée et le stade d'adaptation requis avant exécution. L'étude passe ensuite en revue trois axes de recherche qui se recoupent : le partage de sémantique et de perception, le partage de données et d'interfaces robotiques, et l'apprentissage de correspondances entre différents types de corps robotiques. Elle propose enfin un cadre de reporting destiné à documenter ce travail d'adaptation, jugé invisible si l'on ne regarde que le taux de réussite final. Pour les intégrateurs et décideurs B2B du secteur, ce travail vient nuancer le récit dominant selon lequel la simple mise à l'échelle (plus de données, plus de paramètres, plus de benchmarks) suffirait à résoudre le transfert d'un modèle d'un robot à un autre. En creux, l'étude interroge la promesse d'un VLA générique qui s'appliquerait tel quel à n'importe quelle plateforme, qu'il s'agisse d'un bras industriel, d'un robot mobile ou d'un humanoïde. Elle rappelle qu'un taux de réussite affiché sur une démonstration ne dit rien du travail d'ingénierie (recalibrage, réentraînement partiel, adaptation d'interface) nécessaire pour porter un modèle d'un embodiment à un autre. Pour une industrie où plusieurs politiques VLA sont présentées comme quasi prêtes à l'emploi, ce cadre offre une grille de lecture plus rigoureuse pour distinguer généralisation en laboratoire et déploiement réel sur une nouvelle chaîne robotique. Ce travail s'inscrit dans la vague de modèles de fondation robotiques apparue dans le sillage des grands modèles de langage, portée par des acteurs comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2 ou Figure AI avec Helix, qui revendiquent tous une forme de généralisation entre tâches et parfois entre robots. En pointant l'absence de cadre commun pour mesurer ce qui reste réellement à faire lors d'un transfert d'embodiment, les auteurs comblent un vide méthodologique plutôt qu'ils ne proposent un nouveau modèle concurrent. La suite logique consisterait en une adoption de ce cadre de reporting par la communauté pour comparer les futures publications sur une base homogène, ainsi qu'en des études de cas documentant le coût d'adaptation d'un même modèle sur plusieurs corps robotiques distincts, question que les auteurs identifient explicitement comme ouverte pour de futurs travaux.

RecherchePaper
1 source