Leistung
Computer Vision, die Bewegung aus gewöhnlichem Handyvideo misst
Die meisten echten Videos entstehen mit dem Handy: 30 fps, komprimiert, bewegte Kamera. Ich baue Vision-Systeme, die messen, was dieses Video wirklich enthält, und klar sagen, was nicht – statt einer selbstsicheren Schätzung.
Projekt besprechen →Was Sie bekommen
- Erkennung, Tracking und Pose für jede Person im Bild
- Messwerte über die Zeit: Winkel, Höhen, Timing, Rotationen
- Ein Bericht, in dem jede Zahl eine Unsicherheit und einen Status hat
- Benchmarks auf zurückgehaltenen Clips, bevor eine Änderung bleibt
Wo ich das schon umgesetzt habe
Computer Vision · F&EjumpsightEin Trainer filmt einen Sprung mit dem Handy; das System misst Umdrehungen, Höhe und Flugzeit.±0.54 Rotationsfehler bei 1.705 Sprüngen (MMFS)91% Axel erkannt (FS-Jump3D)3D-Animation · F&ELodykEin Trainer filmt eine Übung mit dem Handy. Das System holt die Bewegung aus dem Video, und eine 3D-Läuferin wiederholt sie – so kann die Eiskunstlauf-App die Übung zeigen, ohne Video oder Stimme des Trainers.8.50 px Armfehler, gesenkt von 11,800.40% Gelenke, die auf ungesehenen Clips rückwärts knicken, gesenkt von 2,92 %
Fragen
- Wie genau geht das mit einer Kamera?
- In der Eiskunstlauf-Fallstudie liegt der Rotationsfehler bei ±0,54 über 1.705 Sprünge, der Axel wird in 91 % der Fälle erkannt. Wo das Video etwas nicht zeigt, sagt das System es.
- Braucht es eine GPU?
- Nicht unbedingt: Ein Clip wird in etwa 13 Sekunden auf der CPU verarbeitet, erste Ergebnisse nach rund 2 Sekunden.