I+D · drones y datos sintéticos
Real2sim
Las imágenes de dron de un lugar real se convierten en un gemelo digital fotorrealista, luego en un simulador de vuelo y en una fábrica de datos etiquetados para entrenamiento.
Repositorio privado · demostración a petición
- 597kgaussianas en el primer splat en la nube
- $0.75para esa ejecución, depuración incluida
- 0.57 pxerror de reproyección en la prueba SfM local
- PX4SITL volando en local en WSL2
El problema
Los modelos de detección para drones necesitan miles de imágenes aéreas etiquetadas de los lugares que sobrevolarán, y etiquetar de verdad es lento. La idea: reconstruir el lugar real una vez y generar los datos dentro de él.
Cómo funciona
- 01
Planificar el vuelo
30–60 m sobre el suelo, 1–2,5 cm por píxel, una cuadrícula más al menos tres órbitas y fachadas, 65–80 % de solapamiento.
- 02
Fotogramas y geoetiquetas
ffmpeg extrae fotogramas nítidos; las posiciones vienen de la telemetría SRT del dron.
- 03
Structure from motion
COLMAP en una GPU en la nube recupera las poses de las cámaras y alinea el modelo con el GPS.
- 04
Gaussian splat
splatfacto-big con MCMC entrena la escena fotorrealista. Primera ejecución en la nube: 597k gaussianas a partir de 88 fotos en una RTX 4090.
- 05
Al simulador
Una malla de colisión simplificada y el splat pasan a USD y a Isaac Sim, donde PX4 hace volar el dron sobre el gemelo.
- 06
Datos etiquetados
Replicator inserta objetos y exporta etiquetas en COCO, convertidas a YOLO; el entrenamiento empieza con datos sintéticos y se ajusta después con fotogramas reales.
Límites conocidos
- Los pasos pesados necesitan una GPU en la nube: una CPU local tardó 60 minutos con 16 fotos.
- Solo se permiten licencias de uso comercial (Apache, BSD, Isaac para I+D), lo que descarta varias bases de código de investigación populares.