F&E · Drohnen und synthetische Daten
Real2sim
Drohnenaufnahmen eines echten Ortes werden zum fotorealistischen digitalen Zwilling, dann zum Flugsimulator und zur Fabrik für gelabelte Trainingsdaten.
Privates Repository · Vorführung auf Anfrage
- 597kGaussians im ersten Cloud-Splat
- $0.75für diesen Durchlauf, Debugging inklusive
- 0.57 pxReprojektionsfehler im lokalen SfM-Test
- PX4SITL fliegt lokal in WSL2
Die Aufgabe
Erkennungsmodelle für Drohnen brauchen Tausende gelabelter Luftbilder der Orte, die sie überfliegen, und echtes Labeling ist langsam. Die Idee: den echten Ort einmal nachbauen und die Daten darin erzeugen.
So funktioniert es
- 01
Befliegung planen
30–60 m über Grund, 1–2,5 cm pro Pixel, ein Raster plus mindestens drei Orbits und Fassaden, 65–80 % Überlappung.
- 02
Frames und Geotags
ffmpeg extrahiert scharfe Frames; die Positionen stammen aus der SRT-Telemetrie der Drohne.
- 03
Structure from Motion
COLMAP auf einer Cloud-GPU rekonstruiert die Kameraposen und richtet das Modell an GPS aus.
- 04
Gaussian Splat
splatfacto-big mit MCMC trainiert die fotorealistische Szene. Der erste Cloud-Durchlauf: 597k Gaussians aus 88 Fotos auf einer RTX 4090.
- 05
In den Simulator
Ein vereinfachtes Kollisionsmesh plus der Splat gehen nach USD und in Isaac Sim, wo PX4 die Drohne über den Zwilling fliegt.
- 06
Gelabelte Daten
Replicator fügt Objekte ein und exportiert Labels in COCO, umgewandelt in YOLO; das Training läuft zuerst synthetisch und wird dann auf echten Frames feinjustiert.
Bekannte Grenzen
- Schwere Schritte brauchen eine Cloud-GPU: Eine lokale CPU brauchte 60 Minuten für 16 Fotos.
- Nur kommerziell nutzbare Lizenzen sind erlaubt (Apache, BSD, Isaac für F&E), was mehrere beliebte Forschungscodebasen ausschließt.