R&D · дрони й синтетичні дані
Real2sim
Відео реальної місцевості з дрона стає фотореалістичним цифровим двійником, потім симулятором польотів і фабрикою розмічених даних для навчання.
Приватний репозиторій · покажу на дзвінку
- 597kгаусіан у першому хмарному сплаті
- $0.75за цей прогін, разом з налагодженням
- 0.57 pxпохибка репроєкції в локальному тесті SfM
- PX4SITL літає локально у WSL2
Задача
Моделям детекції для дронів потрібні тисячі розмічених аерознімків тих місць, над якими вони літатимуть, а ручна розмітка повільна. Ідея — один раз відтворити реальне місце й генерувати дані всередині нього.
Як це працює
- 01
Планування зйомки
30–60 м над землею, 1–2,5 см на піксель, сітка плюс щонайменше три орбіти й фасади, перекриття 65–80%.
- 02
Кадри й геотеги
ffmpeg витягує різкі кадри; координати беруться з телеметрії дрона (SRT).
- 03
Структура з руху
COLMAP на хмарній GPU відновлює положення камер і прив'язує модель до GPS.
- 04
Гаусів сплат
splatfacto-big з MCMC тренує фотореалістичну сцену. Перший хмарний прогін: 597 тис. гаусіан з 88 фото на RTX 4090.
- 05
У симулятор
Спрощений меш колізій і сплат переходять у USD та Isaac Sim, де PX4 водить дрон над двійником.
- 06
Розмічені дані
Replicator вставляє об'єкти й експортує розмітку в COCO з конвертацією в YOLO; навчання спершу на синтетиці, потім донавчання на реальних кадрах.
Відомі обмеження
- Важкі кроки потребують хмарної GPU: локальний CPU обробляв 16 фото 60 хвилин.
- Дозволені лише ліцензії для комерційного використання (Apache, BSD, Isaac для R&D), що відсікає кілька популярних дослідницьких кодових баз.