R&D · drones et données synthétiques
Real2sim
Des images de drone d’un lieu réel deviennent un jumeau numérique photoréaliste, puis un simulateur de vol et une usine à données d’entraînement annotées.
Dépôt privé · démonstration sur demande
- 597kgaussiennes dans le premier splat cloud
- $0.75pour ce passage, débogage compris
- 0.57 pxerreur de reprojection dans le test SfM local
- PX4SITL vole en local dans WSL2
Le problème
Les modèles de détection pour drones ont besoin de milliers d’images aériennes annotées des lieux qu’ils survoleront, et l’annotation réelle est lente. L’idée : reconstruire le lieu réel une fois et y générer les données.
Comment ça marche
- 01
Préparer le relevé
30–60 m au-dessus du sol, 1–2,5 cm par pixel, une grille plus au moins trois orbites et des façades, 65–80 % de recouvrement.
- 02
Images et géotags
ffmpeg extrait des images nettes ; les positions viennent de la télémétrie SRT du drone.
- 03
Structure from motion
COLMAP sur un GPU cloud retrouve les poses des caméras et aligne le modèle sur le GPS.
- 04
Gaussian splat
splatfacto-big avec MCMC entraîne la scène photoréaliste. Premier passage dans le cloud : 597k gaussiennes à partir de 88 photos sur une RTX 4090.
- 05
Vers le simulateur
Un maillage de collision simplifié et le splat passent en USD puis dans Isaac Sim, où PX4 fait voler le drone au-dessus du jumeau.
- 06
Données annotées
Replicator insère des objets et exporte les annotations en COCO, converties en YOLO ; l’entraînement commence en synthétique, puis s’affine sur des images réelles.
Limites connues
- Les étapes lourdes exigent un GPU cloud : un CPU local a mis 60 minutes pour 16 photos.
- Seules les licences utilisables commercialement sont permises (Apache, BSD, Isaac pour la R&D), ce qui exclut plusieurs bases de code de recherche populaires.