RecherchearXiv cs.RO 18 septembre 2026

ULOHA : un système robotique bimanuel sous-marin pour l'apprentissage robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente ULOHA, une plateforme robotique bimanuelle sous-marine dédiée à l'apprentissage de politiques par imitation, décrite dans un article publié sur arXiv (référence 2609.19200, septembre 2026). Le système associe du matériel maison en configuration leader-suiveur pour la téléopération à des extensions logicielles du framework open source LeRobot, couvrant toute la chaîne : téléopération, capture vidéo multi-angles, collecte de démonstrations, entraînement de politiques et déploiement autonome. Les expériences sur robot réel montrent des comportements bimanuels coordonnés sous l'eau, dont le transfert d'objet entre les deux bras, la manipulation partagée d'un même objet et l'interception d'objets mis en mouvement par la flottabilité. Trois méthodes d'apprentissage ont été testées sur la plateforme : ACT, Diffusion Policy et le modèle vision-langage-action SmolVLA. Une étude complémentaire à un seul bras a par ailleurs examiné le transfert de politiques entre l'air et l'eau, montrant que des démonstrations mélangeant les deux milieux permettent l'exécution dans les deux, dans les conditions testées.

Pour le secteur, ULOHA comble un angle mort : la quasi-totalité des travaux sur l'apprentissage visuomoteur par imitation et sur les modèles VLA a été développée et validée en air, pour la manipulation domestique comme industrielle, alors que la robotique bimanuelle sous-marine restait peu étudiée. Le papier documente les perturbations propres au milieu aquatique, comme les bulles, les mouvements d'objets induits par la flottabilité, les horizons d'exécution d'action et le chunking temps réel, qui dégradent les politiques conçues pour l'air. C'est un test de robustesse notable pour des architectures qui, jusqu'ici, avaient surtout prouvé leur généralisation en environnement sec et contrôlé. Pour les intégrateurs concernés par l'inspection sous-marine, la maintenance offshore, l'aquaculture ou la robotique marine scientifique, cela suggère qu'un apprentissage par démonstration déjà mature en air pourrait être transposé sous l'eau moyennant des adaptations ciblées, plutôt qu'un retour au contrôle classique.

ULOHA s'appuie sur LeRobot, le framework open source de robotique publié par Hugging Face, que les auteurs étendent à un scénario bimanuel immergé non couvert nativement. Le projet se présente comme un outil expérimental partagé avec la communauté de recherche plutôt que comme un produit commercial : l'article ne mentionne ni volume de déploiement, ni prix, ni partenaire industriel. Le matériel, le code et les données de démonstration sont annoncés comme disponibles via une page dédiée, ce qui laisse présager une adoption par d'autres laboratoires travaillant sur la manipulation sous-marine ou le transfert de politiques entre domaines physiques distincts. Les suites logiques, non détaillées dans l'article, porteraient vraisemblablement sur l'élargissement du jeu de démonstrations et le passage à des tâches plus complexes.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Factorisation tâche-monde pour l'apprentissage robotique

Une équipe de chercheurs a publié le 2 juin 2026 sur arXiv (arXiv:2606.02027) un framework d'apprentissage robotique baptisé "World-Task Factorization", dont le principe central est de séparer structurellement ce qui relève du monde physique de ce qui relève de la tâche à accomplir. Les facteurs "monde" regroupent les propriétés du corps du robot et de son environnement, indépendamment de toute intention ; les facteurs "tâche" encodent la logique de ce que le monde autorise à faire. Pour instancier cette séparation, les auteurs couplent un module analytique nommé AICON, un graphe différentiable d'estimateurs récursifs compositionnels opérant sans données spécifiques à la tâche, à une politique apprise compacte qui module les chemins de gradient. Ce mécanisme est testé sur trois familles de problèmes impliquant des robots hétérogènes, des modalités sensorimotrices variées et des logiques de tâche distinctes ; le framework surpasse les baselines bout-en-bout et les heuristiques analytiques dans tous les scénarios, et les auteurs rapportent un transfert vers du matériel réel sans réentraînement. L'intérêt industriel de cette approche tient à ce qu'elle adresse directement le problème de généralisation, obstacle majeur à la commercialisation des robots polyvalents. En factorisant explicitement monde et tâche, le framework promet de réduire le volume de données nécessaire au réentraînement lors d'un changement de contexte, de coéquipier ou de contrainte, là où les architectures bout-en-bout actuelles exigent de recollecterdes données à chaque variation. La capacité annoncée de généralisation zero-shot à des configurations hors distribution reste toutefois à valider à plus grande échelle : les expériences rapportées, bien que convaincantes sur trois domaines, demeurent de portée laboratoire, sans chiffres de volume de déploiement ni métriques de cycle time dans des contextes industriels réels. Sur le plan académique, ce travail s'inscrit dans un débat structurant du domaine : faut-il laisser la structure émerger du passage à l'échelle des données (approche des VLA de type Pi-0, GR00T N2 ou OpenVLA), ou l'encoder explicitement via des hiérarchies ou des bibliothèques de compétences ? Le framework proposé prend une troisième voie, fondée sur la théorie bayésienne (evidence du modèle, rasoir d'Occam) pour justifier la factorisation. Il se positionne ainsi face aux travaux de Physical Intelligence (Pi-0), de Boston Dynamics, et des laboratoires académiques comme Berkeley (RT-2, RoboAgent) ou Stanford (Mobile ALOHA). Les auteurs n'annoncent pas de partenariat industriel ni de calendrier de commercialisation ; l'étape suivante naturelle serait une validation sur des manipulateurs ou des humanoïdes dans des environnements semi-structurés, avec des métriques de robustesse publiées.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage unifié de la structure temporelle des tâches et du timing des actions pour la manipulation bimanuelle en robotique

Une publication mise à jour sur arXiv (2603.06538, version 2) présente une méthode pour la manipulation bimanuelle robotique qui unifie deux niveaux de raisonnement temporel jusqu'ici traités séparément : la structure symbolique d'une tâche (quelles actions précèdent, suivent ou chevauchent les autres) et le calage concret de chaque main (instant de déclenchement, durée). Le système apprend ces contraintes à partir de démonstrations humaines et en dérive des plans d'exécution paramétrés dans le temps pour un robot à deux bras. Il combine trois briques : une représentation en trois dimensions des délais fondée sur des modèles de mélange gaussien multivariés pour le niveau subsymbolique, un algorithme dérivé de Davis-Putnam-Logemann-Loveland qui classe tous les assignements sans contradiction des relations d'Allen, correspondant aux différents modes d'exécution possibles d'une tâche, et un planificateur par optimisation qui fusionne ces contraintes symboliques et subsymboliques. Les auteurs montrent quantitativement que les contraintes symboliques inférées sont plus précises que celles d'approches heuristiques antérieures, et que les plans générés se rapprochent davantage des démonstrations humaines que la démonstration la plus caractéristique prise comme référence, avec des essais qualitatifs menés en simulation et sur robots réels dont le nombre et les spécifications ne sont pas détaillés. Coordonner deux bras exige de savoir non seulement quel geste doit en précéder un autre, mais exactement quand le déclencher et combien de temps lui accorder, faute de quoi les mouvements se désynchronisent ou entrent en collision, un problème central pour tout intégrateur déployant des cellules bimanuelles en assemblage ou en logistique. La plupart des pipelines existants séparaient la planification symbolique de haut niveau du calage bas niveau des trajectoires, créant une rupture entre la tâche planifiée et son exécution physique ; en réunissant les deux couches dans un cadre appris par démonstration, ce travail cible un angle mort fréquent de l'apprentissage par imitation, qui reproduit souvent des gestes isolés sans capturer la logique de coordination entre bras. Si les résultats se confirment hors laboratoire, cela réduirait le travail manuel de programmation des séquences et des temporisations, un poste coûteux dans le déploiement de robots à deux bras, et fournirait un argument concret face au scepticisme ambiant sur l'écart entre démonstrations soignées et robustesse en conditions réelles. La méthode s'inscrit dans la lignée des travaux de planification robotique s'appuyant sur l'algèbre des intervalles d'Allen, un formalisme classique pour raisonner sur des relations temporelles qualitatives, combiné ici à des modèles de mélange gaussien déjà employés en apprentissage par démonstration pour encoder la variabilité des trajectoires humaines. Les auteurs situent leur contribution par rapport à des approches heuristiques antérieures pour l'extraction de contraintes symboliques, sans nommer de système concurrent précis ni d'institution, le résumé publié restant volontairement générique sur les auteurs et le matériel robotique utilisé. À ce stade, il s'agit d'une contribution de recherche en prépublication, validée en simulation et sur banc réel, sans indication de transfert vers un produit commercial ou un pilote industriel identifié, ni de calendrier de suite annoncé.

RecherchePaper

1 source

3arXiv cs.RO

EquiBim : apprentissage d'une politique équivariante par symétrie pour la manipulation bimanuelle

Des chercheurs présentent EquiBim, un cadre d'apprentissage par imitation qui impose une contrainte de symétrie bilatérale aux politiques de manipulation bimanuelle. Publié sur arXiv (2603.08541, version 3, une révision d'un article déjà soumis), le travail part d'un constat simple: les bras robotiques à deux membres partagent souvent une symétrie morphologique gauche-droite, tout comme de nombreuses tâches qu'ils exécutent, mais les politiques entraînées par imitation classique ne l'exploitent pas et produisent des comportements incohérents face à des observations pourtant symétriques. EquiBim formalise cette symétrie physique comme une action de groupe sur les espaces d'observation et d'action, puis impose une contrainte d'équivariance aux prédictions du modèle pendant l'entraînement. Le framework se veut agnostique au modèle sous-jacent: il s'intègre à des pipelines variés, qu'ils reposent sur des nuages de points ou des images, et que les actions soient paramétrées dans l'espace cartésien de l'effecteur ou dans l'espace articulaire. Les auteurs valident l'approche sur RoboTwin, une plateforme de simulation à cinématique bimanuelle symétrique, avant de la tester sur un système bras double réel. L'intérêt pour l'industrie tient à la nature du gain rapporté: une amélioration constante des performances et de la robustesse face aux changements de distribution, en simulation comme en conditions réelles. C'est un signal utile dans un secteur où l'écart entre démonstrations impressionnantes et fiabilité en déploiement reste un point de friction majeur pour les intégrateurs de robots bimanuels et humanoïdes. Injecter un biais inductif structurel, plutôt que de compter uniquement sur le volume de données de démonstration, est une piste que plusieurs laboratoires explorent pour réduire le besoin en données coûteuses tout en stabilisant le comportement des politiques VLA. Le contexte est celui d'une littérature déjà riche sur l'équivariance en apprentissage robotique, jusqu'ici surtout appliquée aux bras uniques. EquiBim l'étend au cas bimanuel, dans un paysage où des architectures comme GR00T N2, Pi-0 ou Helix cherchent aussi à généraliser au-delà des données d'entraînement. À ce stade, il s'agit d'un résultat académique reproductible sur banc d'essai et sur un prototype réel, pas d'un produit commercial: la suite logique serait son adoption ou son adaptation par des équipes développant des piles de contrôle bimanuelles en conditions industrielles.

RecherchePaper

1 source

4arXiv cs.RO

IronMan : apprentissage vidéo-action sous contrainte d'information pour la manipulation robotique

Des chercheurs publient sur arXiv (2610.07961) IronMan, un cadre d'apprentissage vidéo-action pour la manipulation robotique, dont le nom signifie Information-constRained videO-actioN learning for robot MANipulation. Il s'inscrit dans la famille des Video Action Models (VAM), qui associent la modélisation de la dynamique visuelle à la génération d'actions. IronMan s'appuie sur le principe du goulot d'information (information bottleneck). Un module sensible à la dynamique condense des caractéristiques vidéo bruitées et enchevêtrées, calculées à un seul pas de diffusion, en représentations compactes du monde. Ces représentations suppriment l'information visuelle non pertinente et conservent les indices de dynamique utiles à l'action. Les auteurs annoncent 99,0 % de réussite sur LIBERO et 79,4 % sur RoboTwin en configuration clean2clean, au-dessus de toutes les références évaluées. Hors distribution, sur LIBERO-Plus, le taux atteint 79,1 %, soit 10,4 points de pourcentage de plus que la meilleure référence. Des expériences en conditions réelles et une inférence présentée comme efficace complètent le tableau. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel. L'enjeu tient à un point faible connu des VAM : une représentation vidéo n'est pas naturellement adaptée à la génération d'actions. Exposer la politique à trop de détails visuels (textures, arrière-plans, éclairage) dégrade sa généralisation. IronMan défend l'idée inverse de la tendance à enrichir toujours davantage les représentations : contraindre l'information serait plus rentable que l'étendre. Le résultat le plus parlant est la robustesse hors distribution. C'est là que se joue l'écart entre démonstration et réalité, car un robot en atelier rencontre des changements de scène, de caméra ou de luminosité que les benchmarks propres ne couvrent pas. Pour les intégrateurs, un tel levier pourrait réduire le coût de réadaptation d'une politique à chaque nouveau site. Deux réserves s'imposent. Un score de 99 % sur LIBERO indique surtout que ce benchmark est quasi saturé. Les 79,4 % sur RoboTwin laissent une marge d'échec importante. Les résultats en conditions réelles sont résumés sans détail dans le résumé de l'article (tâches, nombre d'essais, robots), ce qui limite leur portée. Ce travail prolonge deux courants. Les politiques vision-langage-action (VLA) de type Pi-0 ou GR00T reposent sur des modèles vision-langage pré-entraînés. Les modèles vidéo génératifs servent désormais de prior de dynamique pour l'action. Les premiers manquent de compréhension physique explicite. Les seconds, coûteux en calcul et sensibles aux détails superflus, se heurtent au problème que IronMan cherche à corriger. Le recours à des caractéristiques à un seul pas vise à préserver la vitesse d'inférence, critère décisif pour un contrôle en boucle fermée. La suite dépendra de la reproduction des résultats par d'autres équipes, de l'ouverture du code et des tests sur des plateformes variées, y compris dans des environnements industriels réels. Aucune échéance de déploiement n'est annoncée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source