R&D · drony i dane syntetyczne
Real2sim
Nagranie z drona prawdziwego miejsca staje się fotorealistycznym cyfrowym bliźniakiem, potem symulatorem lotów i fabryką oznaczonych danych treningowych.
Prywatne repozytorium · prezentacja na życzenie
- 597kgaussianów w pierwszym splacie w chmurze
- $0.75za ten przebieg, łącznie z debugowaniem
- 0.57 pxbłąd reprojekcji w lokalnym teście SfM
- PX4SITL lata lokalnie w WSL2
Problem
Modele detekcji dla dronów potrzebują tysięcy oznaczonych zdjęć lotniczych miejsc, nad którymi będą latać, a prawdziwe oznaczanie jest powolne. Pomysł: raz odtworzyć prawdziwe miejsce i generować dane w jego wnętrzu.
Jak to działa
- 01
Plan nalotu
30–60 m nad ziemią, 1–2,5 cm na piksel, siatka plus co najmniej trzy orbity i fasady, 65–80% pokrycia.
- 02
Klatki i geotagi
ffmpeg wyodrębnia ostre klatki; pozycje pochodzą z telemetrii SRT drona.
- 03
Structure from motion
COLMAP na GPU w chmurze odtwarza pozycje kamer i dopasowuje model do GPS.
- 04
Gaussian splat
splatfacto-big z MCMC trenuje fotorealistyczną scenę. Pierwszy przebieg w chmurze: 597k gaussianów z 88 zdjęć na RTX 4090.
- 05
Do symulatora
Uproszczona siatka kolizji plus splat trafiają do USD i do Isaac Sim, gdzie PX4 prowadzi drona nad bliźniakiem.
- 06
Oznaczone dane
Replicator wstawia obiekty i eksportuje etykiety w COCO, przekonwertowane do YOLO; trening najpierw na danych syntetycznych, potem dostrajanie na prawdziwych klatkach.
Znane ograniczenia
- Ciężkie kroki wymagają GPU w chmurze: lokalny CPU potrzebował 60 minut na 16 zdjęć.
- Dozwolone są tylko licencje do użytku komercyjnego (Apache, BSD, Isaac dla R&D), co wyklucza kilka popularnych badawczych baz kodu.