Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
N₀-Foundation : vers l'ère de l'intelligence tactile
RecherchearXiv cs.RO 

N₀-Foundation : vers l'ère de l'intelligence tactile

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Publiée sur arXiv en août 2026 (arXiv:2608.29601), N0-Foundation est une infrastructure complète pour la manipulation robotique par le toucher: un capteur tactile à base de vision, une interface universelle de manipulation (UMI) tactile, et un système de collecte synchronisée visuo-tactile compatible avec plusieurs types de robots. Elle a permis de constituer NeoData, plus de 30000 heures de démonstrations visuo-tactiles synchronisées couvrant six embodiments robotiques et 450 tâches, soit des milliards de paires d'images RGB et de signaux tactiles, collectées par téléopération réelle et via l'UMI. Un sous-ensemble de 5000 heures, OpenNeoData, est publié en accès libre, aux côtés de NeoForce, un modèle de représentation tactile transférable d'un capteur à un autre, et d'un benchmark combinant la suite réelle NeoReal et la suite simulée NeoSim.

Le tactile demeure le maillon faible des modèles de manipulation actuels: la plupart des architectures vision-langage-action (VLA) déployées dans l'industrie s'appuient presque exclusivement sur la caméra et le langage, sans retour de force ou de contact fiable. Ce vide freine des tâches critiques pour l'industrie, comme la manipulation d'objets déformables, l'assemblage de précision, le contrôle fin de la force ou le maintien prolongé d'un contact de surface. Le résultat expérimental le plus notable est que les politiques progressent grâce à l'état de contact physique plutôt qu'à l'apparence propre à chaque capteur, ouvrant la voie à des représentations tactiles transférables d'un matériel à un autre et à une mutualisation des données entre laboratoires.

Ce travail s'inscrit dans la course aux modèles fondation pour la manipulation, où des architectures comme GR00T N2, Pi-0 ou Helix, entraînées notamment sur des plateformes telles que Figure 03 ou Optimus Gen 3, restent surtout centrées sur la vision. En publiant simultanément le jeu de données, le modèle de représentation et le protocole d'évaluation, les auteurs cherchent à établir le tactile comme modalité standardisée et comparable, sur le modèle de ce qu'a été ImageNet pour la vision. Il s'agit à ce stade d'une publication de recherche assortie d'un jeu de données ouvert, non d'un produit commercial ni d'un déploiement industriel: aucun pilote ni calendrier d'intégration n'est annoncé. Aucun acteur français ou européen comme Wandercraft, Exotec, Pollen Robotics ou Enchanted Tools n'apparaît dans ces travaux.

Dans nos dossiers

FigureTesla OptimusWandercraftEnchanted Tools — Mirokaï

À lire aussi

L'intelligence à travers les incarnations robotiques
1arXiv cs.RO 

L'intelligence à travers les incarnations robotiques

Publié sur arXiv en septembre 2026 sous la référence 2609.27095, cet article de position définit l'embodiment robotique, capteurs, cinématique, dynamique, géométrie, actionneurs, commande, comme l'ensemble des propriétés physiques par lesquelles un agent interagit avec le monde, des propriétés qui varient d'un robot à l'autre et évoluent dans le temps. Ses auteurs soutiennent qu'une intelligence incarnée générale exige un apprentissage qui s'accumule malgré ces différences plutôt qu'un réentraînement à chaque nouvelle plateforme. Ils critiquent les méthodes dominantes, qui bâtissent des correspondances explicites entre embodiments : utiles à court terme mais limitantes pour le transfert à long terme. Ils proposent plutôt de rechercher des représentations généralisables, en posant la diversité des embodiments comme axe de passage à l'échelle, complétée par de larges a priori appris, et appellent à des évaluations mesurant mieux l'écart entre embodiments. Aucun chiffre, modèle ou benchmark n'est fourni : il s'agit d'une contribution théorique, non d'une annonce produit. L'enjeu dépasse l'exercice académique. La plupart des modèles vision-langage-action actuels, du Pi-0 de Physical Intelligence au GR00T N2 de NVIDIA en passant par Helix de Figure AI, s'appuient sur des correspondances d'embodiment largement ad hoc pour transférer des compétences entre un bras fixe, un robot mobile et un humanoïde bipède. L'article avance que cette stratégie plafonnera la généralisation à mesure que le nombre de plateformes augmente, et suggère de traiter la diversité des corps comme un levier de scaling au même titre que le volume de données. Pour les intégrateurs opérant des flottes hétérogènes, la promesse d'une politique "generalist" unique reste conditionnée à la diversité réelle des embodiments d'entraînement, pas seulement à leur volume brut. Cette publication arrive alors que la robotique généraliste traverse une phase de scaling intensif, après des années où chaque nouveau robot exigeait un réentraînement quasi complet ; les modèles VLA avaient promis de contourner ce problème via une politique unique partagée entre embodiments, promesse que ce texte nuance en pointant les limites des méthodes de correspondance actuelles. Le résumé ne nomme ni laboratoire ni institution affiliée, et ne mentionne aucun déploiement, pilote industriel, calendrier ou acteur français ou européen : il s'agit d'un appel à réorienter les priorités de recherche de la communauté, non d'une feuille de route commerciale.

RecherchePaper
1 source
Magic-W0 : un modèle fondation monde-action structuré pour l'intelligence physique
2arXiv cs.RO 

Magic-W0 : un modèle fondation monde-action structuré pour l'intelligence physique

Magic-W0, un modèle de fondation « monde-action » (WAM, world-action model), est présenté dans un preprint arXiv (2609.39870v1) dont les auteurs ne sont pas précisés dans le résumé. Le modèle code chaque interaction comme une « Structured World Transition » en trois blocs. L'état courant associe le contexte vision-langage à une géométrie 3D de la scène. La transition est décrite par un mouvement 3D qui capture les changements tridimensionnels induits par l'action. L'état futur est exprimé sous forme de sémantique décrivant le résultat attendu de la tâche. L'architecture aligne couche par couche la prédiction du monde et la génération d'actions continues : les hypothèses d'action en cours conditionnent la prédiction de transition, et les représentations prédites alimentent en retour la génération d'actions. Le pré-entraînement combine manipulation humaine égocentrique, données UMI (interface de collecte par préhenseur portable), données de robots réels et simulation. La supervision porte sur des représentations latentes (géométrie, mouvement 3D, sémantique future) issues de modèles visuels préentraînés. Sur le benchmark RoboDojo-Sim, Magic-W0 obtient un score moyen de 27,10, le plus élevé parmi les WAM comparés. Les auteurs annoncent aussi de bonnes performances sur plusieurs tâches sur robot réel après un fine-tuning avec peu de données. L'intérêt tient à la critique que formule le papier : la plupart des WAM prédisent des images futures ou des latents génériques, peu exploitables pour le contrôle, et pas forcément liés à l'action. Magic-W0 propose une représentation explicitement géométrique et orientée contrôle. Des tests d'intervention à l'inférence montrent que ces représentations réagissent de façon systématique aux changements d'action candidate, et que l'information d'action circule via les représentations 3D jusqu'aux prédictions sémantiques. C'est un argument de causalité plus solide que la simple qualité visuelle. Pour un intégrateur, la promesse est une adaptation rapide à de nouvelles tâches avec peu de données, point critique du coût de déploiement. Il faut toutefois relativiser. Le score de 27,10 n'a de sens que par rapport aux WAM comparés, sans valeur absolue ni écart précisé dans le résumé. Les tâches réelles ne sont pas détaillées : ni taux de réussite, ni volume de données de fine-tuning, ni plateforme robotique. On reste donc au stade du résultat de recherche, sans produit livré ni déploiement. Ce travail s'inscrit dans la montée des modèles VLA (vision-langage-action) et de leurs extensions « monde », qui cherchent à doter les politiques d'une dynamique de l'environnement conditionnée par l'action, au-delà de la simple imitation. Le recours massif aux vidéos humaines égocentriques et aux données UMI reflète la tendance à contourner le coût de la téléopération robot. Magic-W0 se positionne face aux autres WAM et aux politiques fondées sur la reconstruction vidéo, dont le résumé ne cite pas les noms. Les prochaines étapes à surveiller sont la publication du code et des poids, une évaluation indépendante de RoboDojo-Sim, et surtout des résultats détaillés sur robot réel, seuls capables de dire si la structure 3D apporte un gain tangible face aux approches VLA génériques.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Vers l'intelligence des mains dextériques en robotique : un état de l'art
3arXiv cs.RO 

Vers l'intelligence des mains dextériques en robotique : un état de l'art

Une équipe de chercheurs a publié en mai 2026 sur arXiv (identifiant 2605.13925) une revue systématique de l'état de l'art des mains robotiques dextres, couvrant l'ensemble de la chaîne de recherche : mécanique et actionnement, perception tactile, méthodes de contrôle et d'apprentissage, jeux de données et protocoles d'évaluation. Le papier structuré en quatre axes examine les compromis fondamentaux entre capacité de force, compliance mécanique, bande passante de contrôle et complexité d'intégration. Il recense les principales architectures de transmission (câbles, tendons, engrenages), les modalités sensorielles embarquées (capteurs de force, peau artificielle, vision tactile type GelSight), et retrace l'évolution chronologique des paradigmes de contrôle : du contrôle impédanciel classique vers les approches par apprentissage par renforcement, imitation, et plus récemment les Visual-Language-Action models (VLA) appliqués à la manipulation en contact riche. L'intérêt principal de cette synthèse pour les équipes R&D et les intégrateurs industriels est qu'elle tente de résoudre un problème structurel du domaine : l'hétérogénéité des hypothèses expérimentales rend les comparaisons entre travaux quasi impossibles. Les auteurs pointent explicitement que les résultats publiés varient selon l'embodiment de la main, la configuration sensorielle, le type de tâche et le protocole d'évaluation retenu, ce qui obscurcit la trajectoire réelle du secteur. En consolidant datasets, pratiques de benchmarking et métriques d'évaluation dans un cadre commun, le survey fournit une grille de lecture pour juger si les progrès annoncés relèvent d'avancées méthodologiques réelles ou d'artefacts de setup. C'est particulièrement utile dans un contexte où les démos vidéo soigneusement sélectionnées et les claims "sim-to-real solved" se multiplient sans validation robuste sur des tâches industrielles répétables. Ce travail s'inscrit dans une vague de consolidation académique portée par l'essor des mains humanoïdes commerciales : Figure (main intégrée sur Figure 02 et 03), Tesla Optimus, Agility Robotics ou encore les systèmes de Sanctuary AI ont tous relancé l'intérêt pour la manipulation dextre après deux décennies de progrès limités post-DLR Hand et Shadow Hand. Côté recherche, les laboratoires Carnegie Mellon, Stanford, ETH Zurich et, en Europe, des acteurs comme Enchanted Tools (France) et des spin-offs universitaires allemands poussent des approches hybrides hardware-learning. Le survey identifie comme chantiers ouverts prioritaires : la généralisation hors distribution (objets inconnus, matériaux déformables), la robustesse sensorielle en conditions industrielles dégradées, et la co-optimisation hardware-software encore trop rare. Aucun calendrier de publication étendue n'est annoncé ; le preprint est disponible en accès libre sur arXiv.

UELe survey cite explicitement Enchanted Tools (France) et des spin-offs universitaires allemands comme acteurs actifs sur la manipulation dextre hybride hardware-learning, en faisant une ressource de référence directement pertinente pour les équipes R&D françaises du secteur.

RecherchePaper
1 source
ESI-Bench : vers une intelligence spatiale incarnée qui boucle la perception et l'action
4arXiv cs.RO 

ESI-Bench : vers une intelligence spatiale incarnée qui boucle la perception et l'action

Une équipe de chercheurs a publié ESI-Bench, un benchmark dédié à l'intelligence spatiale incarnée (embodied spatial intelligence), conçu pour évaluer la capacité des agents artificiels à fermer la boucle perception-action. Le benchmark, construit sur le simulateur OmniGibson, couvre 10 catégories de tâches et 29 sous-catégories, ancrées dans les systèmes de connaissances fondamentales de la psychologue Elizabeth Spelke (objets, agents, nombre, géométrie). Contrairement aux benchmarks classiques qui fournissent des observations "oracle" figées, ESI-Bench exige que l'agent décide lui-même quelles capacités mobiliser, perception, locomotion, manipulation, et dans quel ordre, pour accumuler activement les informations pertinentes à la tâche. Les expériences menées sur les modèles multimodaux de pointe (MLLMs) révèlent un écart significatif entre exploration active et observation passive : les agents qui choisissent leurs points de vue surpassent nettement leurs homologues passifs. Fait notable, ces agents développent spontanément des stratégies spatiales émergentes sans instruction explicite. En revanche, l'acquisition multi-vues aléatoire dégrade souvent les performances en ajoutant du bruit plutôt que du signal, malgré un volume d'images bien supérieur. L'étude identifie une cause principale d'échec qu'elle nomme "action blindness" : de mauvais choix d'action produisent de mauvaises observations, qui induisent à leur tour des erreurs en cascade. Autre résultat contre-intuitif : une représentation 3D imparfaite se révèle plus nuisible qu'une baseline 2D, car elle distord les relations spatiales au lieu de les clarifier. Les auteurs documentent également un écart métacognitif net par rapport aux humains : là où un opérateur humain cherche activement des angles réfutant son hypothèse et révise ses croyances face à une contradiction, les modèles s'engagent prématurément avec une confiance élevée indépendamment de la qualité des preuves disponibles. ESI-Bench s'inscrit dans une vague de travaux cherchant à dépasser les limites des benchmarks statiques pour robots et agents incarnés, notamment VQA-3D, ScanQA ou EmbodiedScan, qui évaluent la compréhension spatiale sans boucle de rétroaction motrice. La dépendance à OmniGibson implique que les résultats restent pour l'instant confinés à la simulation, et le gap sim-to-real, déjà central dans les débats sur les VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), n'est pas adressé ici. Ce benchmark ne teste pas de robots physiques déployés mais des MLLMs dans un environnement simulé. Les prochaines étapes naturelles incluront le transfert vers des plateformes réelles et l'intégration de politiques de manipulation close-loop pour valider si les stratégies émergentes observées en simulation tiennent face aux incertitudes du monde physique.

RecherchePaper
1 source