Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
EVIS : un plugin de caméra événementielle ancré dans la physique pour NVIDIA Isaac Sim
RecherchearXiv cs.RO 

EVIS : un plugin de caméra événementielle ancré dans la physique pour NVIDIA Isaac Sim

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs du SpikeLab de l'université Johns Hopkins ont publié EVIS, un plugin de caméra événementielle physiquement fondé pour le simulateur NVIDIA Isaac Sim, décrit dans un article déposé sur arXiv (référence 2607.08098) et accompagné d'un dépôt de code ouvert sur GitHub (spikelab-jhu/isaac-sim-event-camera-plugin). L'outil génère des flux d'événements haute fréquence et entièrement annotés directement à l'intérieur du moteur physique d'Isaac Sim, en s'appuyant sur un modèle de contraste log-intensité fidèle au fonctionnement réel des capteurs événementiels, avec mise à jour asynchrone de référence pixel par pixel. Le plugin migre depuis une caméra RGB standard avec peu de modifications et s'intègre à n'importe quelle scène Isaac Sim ou Isaac Lab, héritant ainsi de la physique du simulateur et d'une vérité terrain parfaite image par image. Une option d'interpolation permet de ne rendre que des images clés éparses puis de synthétiser les images intermédiaires par déformation bidirectionnelle par vecteurs de mouvement, rendant possible une génération en temps réel sur un seul GPU. Du bruit capteur et du flou de mouvement optionnels réduisent encore l'écart avec des caméras réelles.

L'enjeu est concret pour la robotique événementielle: les caméras à événements offrent une résolution temporelle de l'ordre de la microseconde, une latence très faible et une large plage dynamique, des atouts pour la perception rapide et le contrôle en boucle fermée. Mais les données labellisées pour un robot et une scène donnés restent rares et coûteuses à collecter, ce qui freine le développement d'algorithmes de perception et de contrôle basés sur ces capteurs. En générant des flux directement exploitables par des réseaux événementiels pré-entraînés, EVIS réduit ce goulot d'étranglement et s'attaque frontalement au problème classique du fossé simulation-réel.

Le projet s'inscrit dans l'écosystème Isaac Sim, largement utilisé par les laboratoires de robotique et les équipes d'apprentissage par renforcement pour l'entraînement en simulation avant déploiement physique. En rendant la simulation événementielle native et configurable au sein d'un outil déjà répandu, les auteurs visent à accélérer les cycles de recherche sur des tâches de perception et de contrôle à haute vitesse, sans attendre la constitution coûteuse de jeux de données réels capteur par capteur.

Dans nos dossiers

NVIDIA Isaac & CosmosarXiv cs.RO

À lire aussi

1000 Rallies : jeu de données par caméra événementielle et estimation en temps réel de l'état de la balle pour le tennis de table robotique
1arXiv cs.RO 

1000 Rallies : jeu de données par caméra événementielle et estimation en temps réel de l'état de la balle pour le tennis de table robotique

Des chercheurs ont publié en juin 2026 (arXiv:2606.25620) le premier jeu de données à grande échelle pour la perception par caméra événementielle appliquée au ping-pong robotisé. Le dataset regroupe plus de 1 000 échanges (rallies) enregistrés auprès d'une population variée, des amateurs aux joueurs de niveau élite. Chaque séquence combine le flux événementiel avec 14 caméras haute vitesse synchronisées à 200 images par seconde, utilisées pour générer des labels pseudo-vérité à 1 kHz comprenant la position, la vitesse et l'effet de la balle. À partir de ce corpus, un réseau de neurones convolutif a été entraîné pour estimer conjointement position et vitesse de la balle dans le plan image, robuste aux mouvements de fond produits par le joueur. L'intégration de la vitesse prédite comme mesure additionnelle dans un filtre de Kalman réduit l'erreur de prédiction du point de rebond de 36 % par rapport à une baseline position seule. Le système a finalement été couplé à un bras robotisé Stäubli pour réaliser les premiers échanges humain-robot en temps réel pilotés intégralement par perception événementielle. Ce résultat est significatif pour le secteur de la robotique rapide car il valide, sur une tâche réelle et contrainte temporellement, l'avantage fondamental des caméras événementielles: une résolution temporelle de l'ordre de la microseconde, sans flou de mouvement, là où les caméras classiques imposent un arbitrage coûteux entre cadence et bande passante de traitement. La réduction de 36 % de l'erreur de prédiction du rebond, obtenue simplement en ajoutant la vitesse estimée au filtre de Kalman, illustre que la qualité de la mesure perceptive en amont détermine directement les performances de contrôle en boucle fermée, un argument concret pour les intégrateurs industriels qui travaillent sur des tâches de manipulation haute cadence ou de tri haute vitesse. Le ping-pong robotisé s'est imposé ces dernières années comme banc d'essai privilégié pour la perception et le contrôle à faible latence, notamment avec les travaux de Google DeepMind sur l'agent de tennis de table (2023-2024). Les caméras événementielles, dont le fabricant français Prophesee (Paris) est l'un des leaders mondiaux, restaient jusqu'ici sous-exploitées faute de datasets publics représentatifs. Stäubli Robotics, groupe franco-suisse basé à Faverges (Haute-Savoie), apporte ici une visibilité européenne au banc expérimental. Les auteurs ne précisent pas de roadmap de déploiement industriel, mais la combinaison dataset public + pipeline temps réel validé en boucle fermée constitue une base ouverte pour que d'autres équipes portent cette approche vers des applications comme le tri de pièces à haute cadence ou la manipulation de petits objets en mouvement.

UEProphesee (Paris), leader mondial des caméras événementielles, et Stäubli Robotics (Faverges, Haute-Savoie) sont directement impliqués dans le banc expérimental, renforçant la visibilité de la filière capteur et robotique franco-européenne sur la perception haute cadence.

RecherchePaper
1 source
DiffPhysCam : simulation physique différentiable de caméra pour le rendu inverse et l'IA incarnée
2arXiv cs.RO 

DiffPhysCam : simulation physique différentiable de caméra pour le rendu inverse et l'IA incarnée

Des chercheurs présentent DiffPhysCam, un simulateur de caméra différentiable conçu pour la robotique et l'IA incarnée, décrit dans une version mise à jour d'un article arXiv (2508.08831v2, signé Bo-Hsun Chen). L'outil permet d'optimiser par descente de gradient des pipelines de perception visuelle, une approche impossible avec les moteurs de rendu virtuels classiques. Son pipeline multi-étapes offre un contrôle fin sur les paramètres intrinsèques de la caméra, modélise des artefacts optiques comme le flou de défocalisation, et se calibre à partir de données réelles. DiffPhysCam fonctionne dans les deux sens : rendu direct pour générer des images synthétiques, et rendu inverse pour reconstruire des scènes 3D, y compris l'optimisation des maillages et des textures de matériaux. Les auteurs illustrent la méthode en créant un jumeau numérique d'une scène réelle par rendu inverse, puis en l'intégrant dans un simulateur multiphysique où un véhicule terrestre autonome navigue à partir d'images générées par l'outil. Le code, les données et les résultats sont publiés en ligne pour reproductibilité. L'intérêt pour l'industrie robotique tient au problème récurrent du fossé simulation-réel : les caméras virtuelles génériques produisent des images trop propres, sans les défauts optiques (flou, distorsions, réponse capteur) qui caractérisent les flux réels, ce qui dégrade les performances des modèles entraînés en simulation une fois déployés sur du matériel physique. En rendant la simulation de caméra différentiable et calibrable sur des données réelles, DiffPhysCam vise à réduire cet écart pour l'apprentissage visuomoteur de bout en bout, une brique utile pour qui entraîne des politiques de navigation ou de manipulation en environnement simulé avant transfert vers un robot réel. Le travail s'inscrit dans une lignée de recherche sur les jumeaux numériques et le rendu différentiable appliqué à la robotique, où les simulateurs existants pâtissent d'un contrôle limité sur les réglages de caméra et d'une modélisation optique sommaire. En combinant reconstruction de scène et simulation multiphysique, DiffPhysCam se positionne comme un outil de recherche plutôt qu'un produit commercial ; sa validation reste pour l'instant limitée à un exemple de navigation d'AMR, sans indication de déploiement à plus grande échelle.

RecherchePaper
1 source
Apprendre à quelles correspondances se fier : localisation par caméra événementielle pondérée par la confiance dans des cartes LiDAR
3arXiv cs.RO 

Apprendre à quelles correspondances se fier : localisation par caméra événementielle pondérée par la confiance dans des cartes LiDAR

Des chercheurs proposent CELL, une méthode de localisation de caméras événementielles (évent cameras) dans des cartes LiDAR préconstruites, qui apprend à pondérer chaque correspondance selon sa fiabilité. Le pipeline de référence traite le problème en deux temps: estimation d'un flux optique dense entre une vue de profondeur rendue depuis la carte et l'image d'événements, puis résolution d'un Perspective-n-Point (PnP) sur les correspondances 3D-2D ainsi obtenues. Les travaux publiés sur arXiv (2610.11967) évaluent le système sur les jeux de données M3ED et DSEC. Face à la base de comparaison LEAR, CELL améliore les résultats sur la majorité des séquences testées, avec une réduction de l'erreur médiane de translation allant jusqu'à 26,9 % et de l'erreur médiane de rotation jusqu'à 15,8 %. Ces gains sont des maxima observés sur les meilleures séquences, pas des moyennes, et aucune évaluation embarquée ni mesure de latence n'est mentionnée. L'apport tient à la façon d'apprendre la confiance. Les approches existantes s'appuient sur un consensus géométrique lors de l'estimation de pose, sans modéliser la fiabilité d'une correspondance ni son « informativité » pour la pose, c'est-à-dire la force avec laquelle elle contraint la caméra. Les auteurs montrent que la solution intuitive, supervisée par l'erreur en pixels de chaque correspondance, souffre d'un biais lié à la profondeur: les petites erreurs se concentrent à grande distance, là où les points contraignent peu la pose. CELL apprend donc la confiance de bout en bout à travers la pose, via un PnP probabiliste différentiable dont le terme de log-partition favorise des pondérations produisant une distribution de pose mieux contrainte. Cette confiance sert trois fois: elle repondère la supervision du flux dans un entraînement découplé qui isole le backbone flux/contours des gradients de pose, elle pilote une sélection probabiliste des correspondances à l'inférence, et elle pondère, avec la probabilité de contour du réseau, une dernière étape de raffinement par appariement de contours. Une représentation de profondeur à complétion partielle ajoute de l'information sans halluciner sur les grands vides. Pour la robotique mobile et les véhicules autonomes, l'enjeu est la localisation robuste sur cartes LiDAR existantes avec des capteurs événementiels, peu sensibles au flou de mouvement et aux forts contrastes lumineux. Le résultat suggère que mieux choisir les correspondances à utiliser rapporte autant que mieux les estimer, et que le signal de supervision compte: l'erreur locale seule trompe l'apprentissage. Reste à voir la généralisation hors M3ED et DSEC et la tenue en temps réel, deux points que le résumé ne documente pas. Cette recherche s'inscrit dans la continuité de LEAR, qui reste la référence directe, et ne relève ni d'un produit ni d'un déploiement industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
PhysGraph : un graphe de scène 3D intégrant la physique pour la perception et le raisonnement
4arXiv cs.RO 

PhysGraph : un graphe de scène 3D intégrant la physique pour la perception et le raisonnement

Une équipe de recherche a publié PhysGraph en juin 2026 sur arXiv (référence 2606.08655), un cadre algorithmique qui construit des graphes de scène 3D physiquement ancrés à partir d'images RGB-D, caméras couleur couplées à un capteur de profondeur. Là où la plupart des systèmes de perception 3D se limitent à identifier sémantiquement les objets (reconnaissance, segmentation, récupération), PhysGraph modélise simultanément leurs propriétés physiques et cinématiques : masse, matériaux, et articulations (degrés de liberté, points de pivot). Le pipeline décompose chaque objet en parties fonctionnelles distinctes, associe les instances d'objets entre plusieurs prises de vue, puis infère via un raisonnement visuel les propriétés mécaniques de chaque composant. Évalué sur des jeux de données synthétiques et réels, le système revendique des résultats state-of-the-art en segmentation sémantique, en estimation de masse multi-objet, et en prédiction d'articulations. L'enjeu dépasse la taxonomie académique. Pour la manipulation robotique en environnement industriel ou domestique, savoir qu'un objet est « un tiroir » n'est pas suffisant, le robot doit connaître son axe de rotation, la force nécessaire à son ouverture, et la localisation des poignées préhensibles. PhysGraph cible précisément ce gap en produisant des représentations exploitables pour la planification de tâches et la prédiction d'affordances sous contraintes physiques. L'application de transfert réel-vers-simulation (real-to-sim) est stratégiquement critique : convertir automatiquement une scène réelle en environnement simulé fidèle réduit le coût de génération de données d'entraînement pour les robots apprenants. Il convient cependant de nuancer : l'abstract ne précise ni les latences de traitement ni les conditions opérationnelles testées, ce qui rend difficile l'évaluation de la viabilité temps-réel. Ce travail s'inscrit dans un espace de recherche dense autour des graphes de scène 3D ouverts, ConceptGraphs, OpenMask3D, et les travaux sur la manipulation d'objets articulés alimentés par les datasets PartNet et SAPIEN font figure de références directes. La prédiction d'articulations reste l'un des problèmes les plus ouverts de la robotique incarnée, aux côtés du fossé sim-to-real. Aucun partenaire industriel ni déploiement pilote n'est mentionné : PhysGraph en est au stade de contribution de recherche, sans timeline de productisation annoncée. Les prochaines étapes naturelles seraient la validation sur des manipulateurs réels en boucle fermée et la publication du code.

RecherchePaper
1 source