RecherchearXiv cs.RO 18 septembre 2026

REACT : un modèle d'état entièrement à impulsions pour la perception temporelle événementielle en temps réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent REACT, un modèle d'état spiking (state-space model) entièrement neuromorphique pour la perception événementielle en temps réel, dans un preprint arXiv (2609.19204v1) publié le 18 septembre 2026. À la différence des méthodes qui agrègent les événements captés par une caméra événementielle en images ou en fenêtres temporelles, ce qui introduit un délai d'intégration, REACT traite chaque événement individuellement via un neurone spiking à valeurs complexes baptisé C-SiLIF, dont la dynamique continue suit l'intervalle physique entre deux événements. Testé sur la reconnaissance de gestes et sur l'estimation du temps avant collision (TTC) à partir de flux événementiels complets, sans boîte englobante ni information de localisation de la cible, REACT atteint sur le jeu de données EvTTC une erreur relative de TTC de 9,59% avec 4,6 ms de latence d'inférence de bout en bout, à seulement 0,15 point de pourcentage de la meilleure méthode apprise existante. À la vitesse d'approche moyenne du jeu de données, cette latence correspond à 4 cm de déplacement du véhicule, contre 1 mètre pour la méthode concurrente la plus rapide. Une quantification INT8 ramène la consommation énergétique estimée de 18,5 à 2,8 millijoules pour 32 768 événements.

Pour les systèmes robotiques évoluant en environnement dynamique (véhicules autonomes, robots mobiles, évitement de collision), ce travail s'attaque au goulot d'étranglement des caméras événementielles: leur résolution temporelle microseconde est aujourd'hui neutralisée par des pipelines d'apprentissage qui rebinnent les événements en trames, réintroduisant la latence que ces capteurs étaient censés éliminer. En égalant quasiment la précision des meilleures méthodes apprises classiques tout en réduisant d'un facteur 25 environ la distance parcourue pendant l'inférence, REACT apporte un argument concret en faveur des réseaux à impulsions pour la perception embarquée temps réel, un terrain longtemps cantonné à des démonstrations peu compétitives face au deep learning conventionnel. Le gain énergétique via quantification INT8 (facteur 6,6 environ) intéresse directement les intégrateurs de drones, d'AMR ou de systèmes ADAS contraints en puissance de calcul.

Ce travail prolonge les recherches sur la vision événementielle, portée depuis plus d'une décennie par des capteurs asynchrones de type DVS, et sur les réseaux de neurones à impulsions, approche neuromorphique censée rapprocher le calcul du fonctionnement de la rétine biologique. Les auteurs pointent que l'essentiel des méthodes actuelles ignore l'asynchronie native des événements en les regroupant artificiellement en fenêtres temporelles; le neurone C-SiLIF vise justement à la préserver. Publié comme preprint arXiv de type "new", donc pas encore évalué par les pairs, le travail reste au stade de validation sur benchmarks (EvTTC, reconnaissance de gestes) comparés à des méthodes apprises existantes, sans partenaire industriel, déploiement réel ni calendrier de commercialisation mentionnés à ce stade.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

1000 Rallies : jeu de données par caméra événementielle et estimation en temps réel de l'état de la balle pour le tennis de table robotique

Des chercheurs ont publié en juin 2026 (arXiv:2606.25620) le premier jeu de données à grande échelle pour la perception par caméra événementielle appliquée au ping-pong robotisé. Le dataset regroupe plus de 1 000 échanges (rallies) enregistrés auprès d'une population variée, des amateurs aux joueurs de niveau élite. Chaque séquence combine le flux événementiel avec 14 caméras haute vitesse synchronisées à 200 images par seconde, utilisées pour générer des labels pseudo-vérité à 1 kHz comprenant la position, la vitesse et l'effet de la balle. À partir de ce corpus, un réseau de neurones convolutif a été entraîné pour estimer conjointement position et vitesse de la balle dans le plan image, robuste aux mouvements de fond produits par le joueur. L'intégration de la vitesse prédite comme mesure additionnelle dans un filtre de Kalman réduit l'erreur de prédiction du point de rebond de 36 % par rapport à une baseline position seule. Le système a finalement été couplé à un bras robotisé Stäubli pour réaliser les premiers échanges humain-robot en temps réel pilotés intégralement par perception événementielle. Ce résultat est significatif pour le secteur de la robotique rapide car il valide, sur une tâche réelle et contrainte temporellement, l'avantage fondamental des caméras événementielles: une résolution temporelle de l'ordre de la microseconde, sans flou de mouvement, là où les caméras classiques imposent un arbitrage coûteux entre cadence et bande passante de traitement. La réduction de 36 % de l'erreur de prédiction du rebond, obtenue simplement en ajoutant la vitesse estimée au filtre de Kalman, illustre que la qualité de la mesure perceptive en amont détermine directement les performances de contrôle en boucle fermée, un argument concret pour les intégrateurs industriels qui travaillent sur des tâches de manipulation haute cadence ou de tri haute vitesse. Le ping-pong robotisé s'est imposé ces dernières années comme banc d'essai privilégié pour la perception et le contrôle à faible latence, notamment avec les travaux de Google DeepMind sur l'agent de tennis de table (2023-2024). Les caméras événementielles, dont le fabricant français Prophesee (Paris) est l'un des leaders mondiaux, restaient jusqu'ici sous-exploitées faute de datasets publics représentatifs. Stäubli Robotics, groupe franco-suisse basé à Faverges (Haute-Savoie), apporte ici une visibilité européenne au banc expérimental. Les auteurs ne précisent pas de roadmap de déploiement industriel, mais la combinaison dataset public + pipeline temps réel validé en boucle fermée constitue une base ouverte pour que d'autres équipes portent cette approche vers des applications comme le tri de pièces à haute cadence ou la manipulation de petits objets en mouvement.

UEProphesee (Paris), leader mondial des caméras événementielles, et Stäubli Robotics (Faverges, Haute-Savoie) sont directement impliqués dans le banc expérimental, renforçant la visibilité de la filière capteur et robotique franco-européenne sur la perception haute cadence.

RecherchePaper

1 source

2arXiv cs.RO

IndoorBEV : un système léger de perception BEV par LiDAR en temps réel pour robots mobiles d'intérieur

Des chercheurs publient sur arXiv (2610.00355) IndoorBEV, un système de perception LiDAR conçu pour les robots mobiles d'intérieur. Le modèle ne compte que 0,6 million de paramètres et occupe 2,3 Mo de stockage. Sur un NVIDIA AGX Orin, il consomme 21,52 Mo de mémoire GPU par inférence et affiche une latence moyenne de 169,6 ms, pour une échéance de perception fixée à 200 ms. Le taux de dépassement de cette échéance est de 1,8 %. Le système produit simultanément des cartes sémantiques en vue de dessus (BEV, bird's-eye view) et des boîtes englobantes orientées pour les objets. Il repose sur une représentation BEV « consciente de la hauteur » : pour chaque cellule, la distribution verticale des points est résumée par des statistiques de hauteur et un encodage multi-fréquence, ce qui permet à de simples convolutions 2D de traiter une information 3D. Un encodeur léger fusionne ces indices géométriques avec des représentations locales multi-échelles et un contexte global compact, puis des têtes de prédiction découplées génèrent les sorties. L'évaluation couvre des scènes simulées, des scans réels de robots et un jeu de données ouvert de nuages de points d'intérieur. L'enjeu est très concret pour les intégrateurs et les équipes qui embarquent de la perception sur des plateformes à budget calcul limité. Les méthodes à base de points ou de voxels restent coûteuses, tandis que les BEV classiques, issus surtout de la conduite autonome, sacrifient la géométrie verticale, un handicap dans des intérieurs encombrés où tables, étagères, suspensions et objets en surplomb comptent. Avec un modèle de 2,3 Mo, IndoorBEV laisse l'essentiel du GPU disponible pour la navigation, la planification ou d'autres réseaux sur la même machine. Les auteurs affirment ainsi qu'encoder explicitement la hauteur dans une représentation 2D compacte est une voie viable. Quelques réserves s'imposent : il s'agit d'une préimpression non relue par les pairs, une latence moyenne de 169,6 ms sous une échéance de 200 ms laisse une marge mince, soit environ 6 images par seconde, ce qui est modeste pour un robot rapide, et le résumé ne donne aucun chiffre de précision, ni comparaison chiffrée avec des modèles concurrents. L'affirmation d'un « compromis favorable » reste donc à vérifier dans l'article complet. Ce travail s'inscrit dans la série des architectures BEV, popularisées par la conduite autonome (PointPillars, BEVFusion) et désormais adaptées aux contraintes de l'embarqué. Le choix de l'AGX Orin, plateforme de référence pour la robotique mobile, rend les résultats comparables à ce que les intégrateurs déploient réellement. Les concurrents sont les réseaux voxel creux et les approches point à point, plus précis mais plus lourds, ainsi que les modèles de fondation de perception 3D, qui visent la généralité plutôt que la frugalité. Aucune annonce de déploiement industriel, de code ou de pilote n'accompagne la publication à ce stade. La suite logique consisterait à publier des benchmarks comparatifs, à tester le système sur des robots en conditions réelles de logistique ou de service, et à vérifier sa tenue face à des environnements dynamiques et à des capteurs LiDAR de résolutions différentes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

De la segmentation de verrerie transparente à l'évitement de collision : un pipeline de perception en temps réel sensible aux contours

Des chercheurs ont publié le 4 août 2026 sur arXiv (référence 2608.04769) un système de segmentation d'instance en temps réel conçu pour éviter les collisions avec du matériel de laboratoire transparent, en s'appuyant uniquement sur une caméra. Partant du constat que la réfraction et les reflets spéculaires rendent la texture interne des objets en verre peu fiable, mais que leurs contours restent visuellement stables, l'équipe a ajouté à un modèle de segmentation d'instance "one-stage" une branche de détection de contours, un mécanisme d'attention guidé par ces contours et un module SimAM sans paramètre supplémentaire. Elle a aussi construit LabGlass-IS, un jeu de données de 3485 images réparties en 21 catégories de verrerie de laboratoire réelle. Le modèle obtient un score Boundary F de 97,80, devançant de 18,93 points le cadre FastSAM piloté par YOLO, tout en tournant à 7,1 millisecondes par image et en n'utilisant que 2,85% des paramètres du concurrent le plus proche en précision. Une triangulation multi-vues des centroïdes de masques calcule ensuite des positions 3D pour des contraintes de volume englobant conservatrices, et sur robot réel le pipeline atteint un taux de réussite d'évitement de collision de 93,3%. Ce résultat cible un angle mort classique de la robotique de laboratoire : la verrerie transparente échappe souvent aux capteurs de profondeur usuels (lidar, stéréo), car elle ne réfléchit ni ne diffuse la lumière comme un objet opaque. Un système purement visuel, léger et rapide, capable de repérer fioles, béchers ou tubes à essai sans capteur de profondeur dédié, réduit le coût matériel d'une cellule robotisée et ouvre la voie à des bras collaboratifs travaillant à proximité de verrerie fragile sans contact accidentel. Le gain computationnel, moins de 3% des paramètres d'un concurrent à précision comparable pour une inférence sous les 10 millisecondes, est ce qui rend l'approche déployable en périphérie, sur du matériel embarqué peu coûteux plutôt que sur un serveur GPU distant : un critère décisif pour un intégrateur qui doit justifier le coût par poste automatisé en pharma, chimie ou biotech. La segmentation d'objets transparents est un problème documenté depuis plusieurs années en vision par ordinateur ; les méthodes génériques comme les variantes de SAM pilotées par YOLO peinent sur ces surfaces faute de texture interne exploitable, ce qui explique le choix des auteurs de comparer leur approche à FastSAM piloté par YOLO. Le code (TransYOLO_3D) et des vidéos de démonstration sont publiés en accès libre sur GitHub, ce qui permet une réplication indépendante, un point notable puisqu'il s'agit d'un prétirage arXiv non encore relu par les pairs. Les auteurs présentent leur pipeline perception-vers-action comme une preuve de faisabilité plutôt qu'un produit fini ; la suite logique serait une validation à plus grande échelle en conditions réelles de laboratoire, au-delà des essais contrôlés décrits dans l'article.

RecherchePaper

1 source

4arXiv cs.RO

GrandTour : un jeu de données de robotique à pattes en conditions réelles pour la perception multimodale et l'estimation d'état

Des chercheurs publient GrandTour, un jeu de données massif dédié à la perception multimodale et à l'estimation d'état pour robots quadrupèdes, disponible sur grand-tour.leggedrobotics.com au format HuggingFace (indépendant de ROS) ainsi qu'en formats ROS. La plateforme utilisée est un ANYmal-D d'ANYbotics équipé de la charge utile capteurs Boxi, combinant LiDAR rotatif, plusieurs caméras RGB aux caractéristiques complémentaires, capteurs proprioceptifs et caméras de profondeur stéréo, le tout synchronisé temporellement. Les données ont été collectées sur des sites très variés : environnements alpins, forêts, bâtiments démolis et zones urbaines, couvrant une large gamme d'échelles, de conditions d'éclairage et de météo. Point clé pour la fiabilité scientifique : les trajectoires de référence (ground truth) proviennent de GNSS RTK par satellite et d'une station totale Leica Geosystems, offrant une précision de localisation bien supérieure aux méthodes d'estimation embarquées classiques. Selon les auteurs, il s'agit du plus grand jeu de données en accès libre jamais publié pour la robotique à pattes. Ce type de ressource comble un manque criant dans la recherche en robotique légère : jusqu'ici, aucun jeu de données public à grande échelle ne permettait de développer et de comparer rigoureusement des algorithmes de SLAM, d'estimation d'état et de fusion de capteurs pour des quadrupèdes évoluant en conditions réelles, hors laboratoire. Pour les équipes travaillant sur la navigation autonome de robots à pattes, en particulier dans des environnements non structurés (chantiers, sites industriels accidentés, terrains extérieurs), GrandTour offre un benchmark commun et une vérité terrain de précision géodésique, rare dans ce domaine. C'est un signal que la communauté cherche à standardiser l'évaluation des systèmes de perception embarqués, plutôt que de se fier à des démonstrations isolées difficiles à reproduire. Le projet s'inscrit dans la lignée des travaux du Robotic Systems Lab, à l'origine de la plateforme ANYmal, aujourd'hui commercialisée par ANYbotics, acteur suisse reconnu de la robotique quadrupède industrielle aux côtés de Boston Dynamics (Spot) et Unitree. La publication constitue une mise à jour (version 3) d'un article déposé sur arXiv sous la référence 2602.18164. Les auteurs annoncent la mise à disposition d'outils et de ressources de démonstration pour faciliter l'adoption du jeu de données par la communauté SLAM et apprentissage multimodal, sans toutefois préciser de calendrier pour d'éventuelles extensions futures du corpus.

UECe jeu de données en accès libre, issu du Robotic Systems Lab (ETH Zurich) et d'ANYbotics (Suisse), constitue une ressource directement utile aux équipes de recherche françaises et européennes travaillant sur le SLAM et l'estimation d'état pour robots a pattes.

RecherchePaper

1 source