Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Manipulation robotique par imitation de vidéos générées, sans démonstrations physiques
RecherchearXiv cs.RO 

Manipulation robotique par imitation de vidéos générées, sans démonstrations physiques

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié sur arXiv (2507.00990) un système baptisé RIGVid (Robots Imitating Generated Videos) permettant à un robot de réaliser des tâches de manipulation complexe, comme verser un liquide, essuyer une surface ou mélanger des ingrédients, en imitant uniquement des vidéos générées par IA, sans aucune démonstration physique ni données d'entraînement spécifiques au robot. Le pipeline fonctionne en trois étapes : à partir d'une commande en langage naturel et d'une image de la scène initiale, un modèle de diffusion vidéo génère des vidéos de démonstration candidates, un VLM (vision-language model) filtre automatiquement celles qui ne correspondent pas à la commande, puis un tracker de pose 6D extrait les trajectoires d'objets. Ces trajectoires sont ensuite retargetées vers le robot de manière agnostique à l'embodiment, c'est-à-dire sans nécessiter de recalibration spécifique à la morphologie du bras utilisé.

L'impact est notable pour les intégrateurs et les équipes de recherche en manipulation robotique : supprimer la collecte de démonstrations physiques, étape longue et coûteuse dans les pipelines d'imitation learning, est un verrou industriel majeur. Les évaluations en conditions réelles montrent que les vidéos générées et filtrées atteignent une efficacité équivalente aux démonstrations humaines réelles, et que la performance progresse avec la qualité du modèle génératif utilisé. Le système surpasse également des alternatives plus compactes comme la prédiction de keypoints via VLM, et le tracking 6D de pose s'avère supérieur au tracking dense de points de features. Ces résultats valident expérimentalement l'hypothèse que les générateurs vidéo state-of-the-art constituent une source de supervision viable pour la manipulation robotique, au moins sur des tâches de difficulté modérée.

Ce travail s'inscrit dans un champ de recherche en effervescence autour du "learning from video" sans interaction physique, en concurrence directe avec des approches comme les VLA (vision-language-action) de Physical Intelligence (pi-0), les politiques de diffusion type Diffusion Policy, ou encore l'usage de données synthétiques issues de simulateurs. L'approche RIGVid se distingue par son absence totale de données robot et son pipeline entièrement basé sur des modèles généralistes off-the-shelf. À noter que ce papier est une prépublication arXiv (v3, donc ayant déjà subi plusieurs révisions), sans validation par peer-review complet à ce stade, et que les tâches évaluées restent relativement contraintes en termes de variabilité de scène et de généralisation out-of-distribution.

Dans nos dossiers

Physical Intelligence — π0Manipulation robotiquearXiv cs.RO

À lire aussi

Auto-apprentissage à partir de démonstrations générées automatiquement pour la manipulation robotique visuelle
1arXiv cs.RO 

Auto-apprentissage à partir de démonstrations générées automatiquement pour la manipulation robotique visuelle

Un preprint publie sur arXiv le 11 aout 2026 (2608.07553) décrit une méthode d'apprentissage auto-supervise pour la manipulation robotique visuelle, dans laquelle le robot génère lui-même ses démonstrations autour d'une pose cible au lieu de dépendre d'une téléopération humaine ou d'un enseignement kinesthésique. Le pipeline, base sur ROS 2 et le simulateur Isaac Sim, produit des paires image-pose étiquetées sans calibration extrinsèque explicite entre camera et robot, avec deux jeux de données distincts, l'un pour l'affinage planaire, l'autre pour l'approche grossière en trois dimensions. Un réseau convolutif régressé la translation et la rotation relatives a partir d'une seule image RGB montee au poignet, et pilote un contrôleur grossier-vers-fin qui approche d'abord l'objet puis affine l'alignement final. Teste en simulation et sur un bras collaboratif réel UR5e équipe d'une pince et d'une camera monoculaire, le système réduit la dispersion planaire finale de 9,69 mm a 5,38 mm en simulation, et atteint en conditions réelles des taux de réussite de préhension de 66,6% et 63,6% sur deux des trois objets testes sans rotation, avec une robustesse partielle en cas de rotation. Cette approche cible un goulot d'étranglement connu de l'industrie: la plupart des pipelines de manipulation exigent une programmation spécifique a l'objet, une annotation manuelle ou une calibration camera-robot précise, ce qui freine le déploiement chez les intégrateurs. En générant ses propres démonstrations en simulation avant transfert vers le réel, la méthode réduit l'effort de mise en place, un argument qui parle directement aux intégrateurs voulant éviter des phases de téléopération couteuses. Les résultats restent toutefois modestes, avec des taux de réussite de 63 a 67% sur seulement trois objets, et les auteurs reconnaissent eux-mêmes des difficultés persistantes en prédiction de profondeur et en généralisation. Le travail se positionne ainsi en contrepoint des modèles de fondation VLA massifs de type GR00T N2 ou Pi-0: une alternative plus légère, ciblée sur une tache étroite, sans la promesse de généralisation zero-shot de ces derniers. Le papier s'inscrit dans une lignée académique de recherches sur le transfert sim-to-real et la génération automatique de données d'entrainement, sans affiliation industrielle mise en avant ni partenariat commercial annonce. Aucun pilote ni calendrier de déploiement n'est mentionne: les auteurs présentent ces travaux comme une preuve de concept, les prochaines étapes évoquées portant sur l'amélioration de l'estimation de profondeur et l'extension a un plus grand nombre d'objets avant d'envisager une application industrielle plus large.

RecherchePaper
1 source
RobotAPO : optimisation adversariale des préférences physiques pour la génération de vidéos de manipulation robotique
2arXiv cs.RO 

RobotAPO : optimisation adversariale des préférences physiques pour la génération de vidéos de manipulation robotique

Des chercheurs proposent RobotAPO, un cadre d'optimisation par préférences physiques adversariales destiné aux modèles de génération vidéo de manipulation robotique, accompagné d'un jeu de données baptisé AgiBot-PhysPref (preprint arXiv 2610.09454, première version). Ce jeu compte 10 000 échantillons de préférences soigneusement sélectionnés. Il isole des violations physiques à conditions égales, comme l'interpénétration d'objets ou le mouvement prématuré d'un objet à la frontière d'interaction. RobotAPO opère directement dans l'espace de débruitage continu du flow-matching. Un « proposeur contrefactuel » adversarial léger apprend, pour chaque condition, une direction de l'espace de débruitage biaisée vers l'échec physique. Le modèle est ainsi poussé à explorer cette frontière et à la respecter, au lieu de mémoriser des échecs statiques. À l'inférence, l'interface reste un simple couple prompt et image de référence, sans conditionnement structurel externe. Sur des conditions AgiBot mises de côté pour le test, RobotAPO dépasse la meilleure base de comparaison interne contrôlée de 6,8 % en score de cohérence physique « dur » et de 10,0 % en score « souple ». En rejeu sur robot réel, le taux de réussite des tâches progresse de 37,4 % en relatif face à cette même référence. Ces résultats visent un point faible des vidéos utilisées comme plans visuels pour des agents incarnés. Une vidéo qui paraît plausible peut contenir une erreur de contact de quelques images, et cette erreur fausse le timing et la pose que l'on déduit ensuite pour l'exécution. Le fine-tuning supervisé classique n'exerce aucune pression directe sur ces défauts localisés. Les auteurs montrent qu'une correction ciblée de la physique d'interaction se traduit en gain mesurable sur matériel, ce qui est l'argument le plus utile pour les équipes qui misent sur des modèles du monde génératifs comme couche de planification. Il faut toutefois lire les chiffres avec prudence. La référence est interne, et le gain de 37,4 % est relatif : sans le taux de réussite absolu, le nombre d'essais et la diversité des tâches, on ne peut pas juger de sa portée pratique. Le « rejeu » sur robot réel d'une vidéo générée ne dit rien non plus de la robustesse hors distribution. Ce n'est pas un produit, mais un résultat de recherche. Le travail s'inscrit dans la montée des approches « vidéo comme politique » ou « vidéo comme plan », où un générateur produit la trajectoire visuelle et un module d'inversion la convertit en actions. L'alignement par préférences, déjà courant pour les LLM et la génération d'images, est ici transposé à la physique du contact. Le choix d'AgiBot comme base de données montre que les grands corpus de manipulation issus des acteurs chinois servent désormais de terrain d'évaluation central. Ces travaux concurrencent des pistes voisines, comme les modèles de monde conditionnés par la structure, ou les politiques VLA directes de type Pi-0 et GR00T, qui évitent l'étape vidéo. Les auteurs ne mentionnent ni code ni modèle publiés dans ce résumé. La suite logique serait une validation sur d'autres plateformes et sur des tâches plus longues, avec des taux de réussite absolus publiés.

RecherchePaper
1 source
PhyVisGen : génération de données de manipulation robotique fidèles sur les plans physique et visuel
3arXiv cs.RO 

PhyVisGen : génération de données de manipulation robotique fidèles sur les plans physique et visuel

Des chercheurs présentent PhyVisGen, un framework de génération de données synthétiques pour l'apprentissage de politiques de manipulation robotique, décrit dans un article publié sur arXiv (référence 2609.25653v1). L'objectif est de produire à grande échelle des démonstrations de manipulation en simulation, pour éviter la collecte coûteuse et difficile à industrialiser de données sur robot réel. Sur le plan physique, PhyVisGen introduit une méthode de couplage bras-gripper fondée sur l'Incremental Potential Contact (IPC), un algorithme de simulation de contact qui modélise fidèlement les interactions souples tout au long d'une trajectoire complète, un point faible classique des simulateurs rigides pour les préhenseurs souples. Sur le plan visuel, le système combine reconstruction de scènes réelles et path tracing en temps réel pour produire des observations photoréalistes conservant l'apparence exacte de l'environnement capturé. Résultat mis en avant: des politiques entraînées exclusivement sur ces données synthétiques atteignent entre 65% et 95% de réussite sur cinq tâches de manipulation exécutées par un robot réel, sans aucune démonstration réelle ni réglage fin de la politique. Le fossé entre simulation et réalité reste l'un des principaux freins à l'entraînement de politiques visuomotrices à grande échelle, notamment pour les architectures de type VLA qui exigent des volumes massifs de démonstrations. En traitant simultanément la fidélité physique du contact souple et le réalisme visuel du rendu, PhyVisGen s'attaque à deux sources d'écart simulation-réel habituellement gérées séparément dans la littérature. Pour des laboratoires ou des équipes produit cherchant à réduire leur dépendance à la téléopération humaine pour collecter des données, ce résultat suggère qu'une simulation suffisamment fidèle pourrait remplacer une partie de la collecte réelle, au moins pour des tâches de préhension avec grippers souples. La fourchette de succès annoncée reste toutefois large et repose sur seulement cinq tâches: sans détails sur les conditions d'essai ni sur la généralisation à des objets ou environnements non vus, ce chiffre doit être lu comme une démonstration de faisabilité en laboratoire plutôt qu'une preuve de robustesse à l'échelle industrielle. Cette approche s'inscrit dans une lignée de travaux cherchant à combler l'écart sim-to-real par la fidélité de simulation plutôt que par la seule randomisation de domaine, technique plus ancienne mais moins précise. Les moteurs physiques classiques peinent en général à représenter les contacts souples et les déformations continues, ce qui limite leur usage pour les grippers non rigides de plus en plus répandus en manipulation fine. Côté rendu, le recours au path tracing temps réel rejoint une tendance plus large des méthodes de reconstruction photoréaliste, comparables aux techniques de type NeRF ou Gaussian splatting, désormais utilisées pour générer des données d'entraînement visuellement crédibles. L'article ne précise ni affiliation institutionnelle, ni disponibilité du code, ni calendrier de déploiement industriel: il s'agit à ce stade d'une contribution de recherche méthodologique, sans partenaire robotique ni produit annoncé, dont la portée dépendra de sa reproduction sur d'autres plateformes, grippers et tâches.

RecherchePaper
1 source
Générer des mains robotiques à partir de démonstrations humaines
4arXiv cs.RO 

Générer des mains robotiques à partir de démonstrations humaines

Des chercheurs ont publié un framework de co-conception de mains robotiques guidé par les données (arXiv:2506.20549, juin 2025). Le problème visé est le co-design corps/contrôleur: optimiser simultanément la morphologie d'un effecteur et son contrôleur crée un espace combinatoire difficilement tractable. La solution exploite plus de 4 millions de frames de mouvements de bouts de doigts humains issus de manipulations quotidiennes pour optimiser des mains à structure arborescente, en utilisant une politique de contrôle minimale commune à la phase de recherche et à la phase opérationnelle: le suivi de position des fingertips par cinématique inverse (IK). Deux catégories de designs ont été produites: une main à 6 degrés de liberté (DoF) à usage général, et des mains spécialisées à 3 DoF équipées de joints "mimic" à quadrilatère articulé (four-bar spatial). Un acteur entraîné par apprentissage par renforcement (RL) accélère la recherche morphologique, réduisant le temps de calcul de plusieurs heures à quelques minutes; les structures finales sont fabriquées en impression 3D print-in-place, en une seule pièce articulée sans assemblage. En expériences réelles, la main 6-DoF dépasse des mains robotiques commerciales non identifiées sur la précision de suivi télé-opéré, tandis que les mains 3-DoF reproduisent des trajectoires structurées avec une complexité mécanique réduite. L'apport principal est la résolution d'un verrou de fond en co-design: en imposant la même politique IK simple pendant l'optimisation et après fabrication, les auteurs découplent la recherche morphologique de l'apprentissage d'un contrôleur complexe, rendant l'exploration de l'espace de design tractable à grande échelle. Ce résultat soutient une hypothèse émergente: des données massives de mouvement humain non conçues pour la robotique peuvent informer l'optimisation de l'embodiment physique d'un robot, et pas seulement son contrôleur. La comparaison avec des mains commerciales reste difficile à évaluer, le preprint ne précisant ni les références comparées ni les conditions d'évaluation; prudence sur ce point en l'absence de benchmark standardisé. Ce travail prolonge une tendance croissante qui vise à utiliser des données humaines non seulement pour entraîner des politiques robotiques (VLA, imitation learning), mais pour co-générer le hardware lui-même. Les approches concurrentes en evolutionary robotics et en simulation différentiable existent depuis des années mais restent coûteuses en calcul ou peu généralisables; l'originalité de cette contribution réside dans la décorrélation design/contrôle et dans l'usage du RL comme heuristique de recherche morphologique efficace. À ce stade, il s'agit d'un preprint non encore peer-reviewed, sans déploiement industriel ni partenaire commercial annoncé; les suites naturelles seraient une validation sur un spectre plus large de tâches de manipulation et une comparaison rigoureuse avec des benchmarks établis. Aucun acteur européen n'est impliqué dans ces travaux.

RecherchePaper
1 source