RechercheHackaday Robots Hacks 19 septembre 2026

Apprendre à une main robotique à marcher

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de l'ETH Zurich (Suisse) ont présenté une main robotique capable de marcher sur ses propres doigts, un projet dévoilé fin septembre 2026 et dont la sortie coïncide, de façon fortuite selon les auteurs, avec Halloween. L'équipe est partie d'une main robotique disponible dans le commerce, qu'elle a équipée d'une batterie et d'un Raspberry Pi Zero 2 W, puis pilotée via un réseau de neurones entraîné par apprentissage par renforcement dans un simulateur avant transfert sur le matériel réel. La main compte vingt articulations, quatre par doigt, et le réseau calcule en continu le prochain état articulaire à partir des mouvements précédents, de l'état courant de la main et de l'objectif fixé. Cette approche s'est révélée plus rapide qu'un modèle de locomotion quadrupède simplement adapté. Le système a appris à avancer en ligne droite, tourner, se relever après une chute (21 réussites sur 25 essais, en moins de vingt secondes) et taper sur un clavier, bien que l'absence de caméra empêche la main d'accomplir cette dernière tâche de façon autonome. Elle a franchi quatorze surfaces différentes, du tapis en caoutchouc au gravier et à l'herbe, et a réussi à pousser de petits objets vers des cibles désignées.

Ce résultat illustre concrètement que l'apprentissage par renforcement, combiné à une simulation puis un transfert vers le réel, fonctionne aussi pour de la locomotion sur des géométries inhabituelles comme des doigts, et pas seulement pour des pattes de robots quadrupèdes ou humanoïdes. Pour les intégrateurs et chercheurs en robotique, cela ouvre une piste vers des effecteurs modulaires et autonomes: une main ou un préhenseur pourrait se détacher d'un bras robotique pour aller chercher un objet hors de portée, puis revenir se fixer. Les auteurs restent toutefois transparents sur les limites: une dérive systématique vers la droite due à la géométrie de la main nécessite une correction constante, et le clavier ne peut être actionné sans supervision externe puisqu'aucune caméra embarquée ne guide les frappes.

Ce travail s'inscrit dans la tradition de l'ETH Zurich en robotique de locomotion, l'institut étant déjà connu pour ses robots quadrupèdes ANYmal, dont les techniques de marche ont ici inspiré les comparaisons de performance. Il rejoint aussi une longue série de projets amateurs et académiques de mains robotiques bricolées documentés ces dernières années. Il s'agit pour l'instant d'une démonstration de recherche, sans partenaire industriel ni feuille de route de commercialisation annoncée, mais les auteurs évoquent explicitement l'intégration future de cette autonomie de déplacement à des bras robotiques plus larges.

Impact France/UE

L'ETH Zurich, institution européenne reconnue en robotique de locomotion (ANYmal), renforce la réputation de la recherche européenne sur le sim-to-real, mais ce projet reste une démonstration académique sans partenaire industriel ni impact direct sur l'industrie ou la réglementation française ou européenne.

À lire aussi

1arXiv cs.RO

T$^2$Mem : apprendre une mémoire au moment du test pour la robotique

Des chercheurs présentent sur arXiv T²Mem, un cadre qui donne une mémoire à une politique vision-langage-action (VLA) pré-entraînée qui n'en avait pas. La méthode repose sur l'entraînement au moment du test (test-time training). Le système ne retraite pas tout l'historique à chaque décision. Il encode les observations passées dans des « poids rapides » compacts, mis à jour en ligne par apprentissage auto-supervisé. Une interface ancrée dans les observations extrait l'information vision-langage qui alimente la mémoire, puis renvoie le contexte récupéré à l'action expert de la politique. L'entraînement alterne entre mémoire et politique, chacune restant figée pendant l'optimisation de l'autre. Sur les 16 tâches du benchmark RoboMME, le taux de succès moyen passe de 17,93 % à 56,83 % par rapport à la politique de base. T²Mem dépasse aussi les méthodes à mémoire récurrente rapportées dans ce benchmark. Les auteurs annoncent une inférence au moins trois fois plus rapide que les méthodes explicites, mesurée par profilage contrôlé. Ce travail s'attaque à une faiblesse structurelle des VLA. Ils décident surtout à partir de l'observation courante, alors que de nombreuses tâches de manipulation dépendent d'informations qui ne sont plus visibles, comme un objet masqué ou une étape déjà exécutée. Point notable : la mémoire est apprise à partir des seules démonstrations d'actions, sans modèle de raisonnement externe ni annotations dédiées. Cela réduit le coût de données et la complexité d'intégration. Le gain de latence compte pour les boucles de contrôle temps réel. Plusieurs réserves s'imposent. Il s'agit d'un préprint évalué sur benchmark, et le résumé ne mentionne ni validation sur robot physique ni déploiement. L'accélération est mesurée par les auteurs eux-mêmes. Enfin, 56,83 % de réussite moyenne reste loin d'une fiabilité industrielle. Le contexte est celui de politiques généralistes qui ont progressé en dextérité mais restent largement sans état. Les approches de mémoire existantes reposent sur des historiques explicites, des modules de raisonnement externes ou des mémoires récurrentes, d'où la comparaison menée ici avec ces dernières. Le résumé ne nomme pas la politique de base utilisée, ce qui limite pour l'instant la lecture de la portée du gain. Un site projet est annoncé. Les prochaines étapes à surveiller sont la reproduction sur d'autres politiques de base, les essais sur robots réels et une éventuelle reprise du principe dans les modèles de fondation robotiques commerciaux.

RecherchePaper

1 source

2Hackaday Robots Hacks

Construire une main robotique habile et peu coûteuse

Le créateur [Vittorio Lumare] a mis au point la « Yeah Hand », une main robotique à bas coût, majoritairement imprimée en 3D et animée par cinq servomoteurs. Comme une main humaine, elle ne loge aucun actionneur dans les doigts : le mouvement passe par des tendons en fil de pêche, guidés dans des gaines Bowden en PTFE qui réduisent la friction et limitent l'échauffement des moteurs. Lors des essais, la main a enchaîné 800 cycles d'ouverture et de fermeture sans approcher de la surchauffe. Elle peut soulever jusqu'à 8 kg et exerce une force de préhension maximale de 5 kg. Les doigts portent des inserts en silicone sur leur face interne pour tenir les objets lisses, et les pouces sont dotés d'ongles pour saisir les objets fins. Deux versions existent : une version robotique, livrée avec plusieurs brides de fixation et un pilote ROS, et une version de prothèse expérimentale, qui diffère surtout par le montage. Pour la piloter, Lumare a aussi construit un gant équipé de capteurs de flexion qui reproduit la position de sa propre main. Ce projet n'a rien d'une rupture technologique, mais il montre où se situe le vrai verrou de la main robotique : la dextérité plus que la force. Peu de tâches exigent l'ensemble des performances de la main humaine, à la fois précise, sensible et robuste. Une architecture à cinq moteurs déportés, des tendons bon marché et des pièces imprimées permettent déjà de couvrir une large gamme de préhensions pour un coût de nomenclature très inférieur à celui des mains dextres industrielles. Les chiffres annoncés restent toutefois à relativiser : 800 cycles représentent un test d'endurance modeste, loin des millions de cycles attendus en environnement industriel, et rien n'est dit sur l'usure des tendons en fil de pêche, la dérive de tension ou la perception tactile. Le pilote ROS est en revanche un atout concret pour les laboratoires et les intégrateurs qui veulent prototyper sans passer par des systèmes propriétaires. Le projet s'inscrit dans une vague de mains open source et abordables, destinée à un public de makers, d'universités et de développeurs de prothèses, par opposition aux mains à actionnement direct embarquées dans les humanoïdes commerciaux, plus complexes et plus coûteuses. La Yeah Hand reste un projet individuel, sans produit commercialisé ni calendrier de déploiement annoncé, et son passage à une version prothétique n'est présenté que comme expérimental. La suite dépendra de la publication de données plus détaillées sur la durabilité et la répétabilité, ainsi que de l'adoption par la communauté ROS.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage robotique à partir de vidéos humaines : une synthèse

Une équipe de chercheurs a publié sur arXiv (arXiv:2604.27621) un état de l'art complet sur l'apprentissage des compétences robotiques à partir de vidéos humaines. Le papier recense les techniques permettant de transférer des habiletés gestuelles filmées vers des robots manipulateurs, en s'appuyant sur la masse de vidéos d'activités humaines disponibles en ligne. Les auteurs proposent une taxonomie hiérarchique structurée en trois axes : l'apprentissage orienté tâche (le robot déduit l'objectif), l'apprentissage orienté observation (alignement visuel entre humain et robot), et l'apprentissage orienté action (estimation directe des mouvements moteurs). Le survey couvre également les fondements de données, en analysant les principaux jeux de données de vidéos humaines existants ainsi que les schémas de génération vidéo synthétique. Une liste exhaustive des travaux référencés est disponible sur GitHub (IRMVLab/awesome-robot-learning-from-human-videos). Ce travail de synthèse arrive à un moment clé : le manque de données robotiques à grande échelle constitue aujourd'hui le principal goulot d'étranglement pour les systèmes d'IA incarnée généralistes. Les vidéos humaines représentent une ressource passive quasi illimitée, et leur exploitation pourrait contourner le coût exorbitant de la collecte de démonstrations téléopérées. Le papier analyse explicitement comment les différentes approches se comportent selon les paradigmes d'apprentissage (imitation, renforcement, diffusion) et les configurations de données, ce qui est directement utile pour des intégrateurs qui cherchent à choisir une architecture VLA (Vision-Language-Action) selon leur contrainte de données terrain. Le survey souligne aussi honnêtement les limitations du champ : le gap démo-réalité reste non résolu dans la plupart des pipelines, et les métriques de transfert restent hétérogènes d'un papier à l'autre. Ce type de survey émerge dans un contexte où plusieurs labos et startups misent sur le video-based learning comme levier de scalabilité : Physical Intelligence (pi-0), NVIDIA (GR00T N2), et Google DeepMind ont tous intégré des données humaines ou des vidéos internet dans leurs pipelines d'entraînement récents. Côté recherche académique, les travaux comme R3M, UniPi ou RoboAgent ont posé les jalons de cette approche ces deux dernières années. Ce survey offre donc une base de référence structurée pour les équipes qui entrent maintenant dans ce champ, avec des pistes de recherche ouvertes notamment sur la synchronisation temporelle corps-robot et la génération de données vidéo simulées pour la diversification des trajectoires.

UELes équipes de recherche françaises (CEA-List, INRIA) et les startups européennes travaillant sur des architectures VLA peuvent exploiter cette taxonomie structurée pour orienter leurs choix méthodologiques selon leurs contraintes de données terrain.

RecherchePaper

1 source

4arXiv cs.RO

Modèle VLA GazeVLA : apprendre l'intention humaine pour la manipulation robotique

Une équipe de recherche a publié fin avril 2026 (arXiv:2604.22615) GazeVLA, un framework de manipulation robotique qui exploite le regard humain comme représentation intermédiaire de l'intention. L'approche repose sur un préentraînement du modèle sur un large corpus de vidéos égocentrées humaines, puis un fine-tuning sur un ensemble réduit de données robotiques et humaines combinées. Lors de l'inférence, le modèle adopte un raisonnement en chaîne (Chain-of-Thought) : il prédit d'abord la cible de fixation oculaire, c'est-à-dire l'intention, avant d'exécuter l'action motrice. Les évaluations couvrent des tâches longues-horizon et de manipulation fine-grained, en simulation et en conditions réelles, avec des benchmarks few-shot et de robustesse. Le modèle surpasse les baselines comparées sur l'ensemble des scénarios testés et atteint l'état de l'art annoncé, bien que le papier reste un preprint sans validation industrielle tierce. Le vrai enjeu de GazeVLA est économique autant que technique : collecter des démonstrations robotiques à grande échelle coûte cher et ralentit le déploiement des VLA (Vision-Language-Action models) dans des environnements industriels variés. L'abondance de vidéos égocentrées humaines, corpus comme Ego4D ou EPIC-Kitchens comptent des milliers d'heures, offre une source de données bon marché, mais le "embodiment gap" rendait leur transfert direct peu fiable. En intercalant la prédiction de gaze comme signal d'intention universel, le framework réduit ce gap sans exiger de grands volumes de démonstrations robot-spécifiques. La capacité few-shot est particulièrement pertinente pour des intégrateurs industriels qui ne peuvent pas se permettre des campagnes de collecte coûteuses pour chaque nouvelle tâche ou ligne de production. GazeVLA s'inscrit dans une compétition dense autour des architectures VLA généralisables : Physical Intelligence (pi-0), OpenVLA (UC Berkeley), Octo, et plus récemment GR00T N2 de NVIDIA cherchent tous à réduire la dépendance aux données robotiques propriétaires. L'angle "intention via gaze" n'est pas entièrement nouveau, des travaux antérieurs comme R3M ou DINObot ayant déjà exploré le préentraînement sur vidéos humaines, mais l'explicitation de la fixation oculaire comme étape de raisonnement séquentiel est une contribution distincte. Aucun déploiement commercial ni partenariat industriel n'est annoncé à ce stade, et les auteurs ne mentionnent pas d'affiliations avec des acteurs européens. Les prochaines étapes logiques seraient un test à plus grande échelle sur des robots commerciaux (Franka, UR) et une validation sur des tâches industrielles standardisées.

RechercheOpinion

1 source