Naziv projekta: (uniri-iz-25-103) Sustav računalnog vida za praćenje sportaša i analizu pokreta 

Vrsta projekta:  Institucionalni istraživački projekt NPOO
Trajanje: 48 mjeseci
Voditelj:  izv. prof. dr. sc. Miran Pobar
Suradnici na projektu: prof. dr. sc. Marina Ivašić-Kos

Doktorandi:

• Kristina Host
• Ivona Franković

Sažetak: Cilj projekta je razviti modele računalnog vida za praćenje sportaša na videu, analizu pokreta te automatizirano uspoređivanje izvedbe akcija s referentnom. Glavni izazov je neprekidno praćenje igrača na snimci zbog čestog prekrivanja i naglih promjena smjera. Usporedbu akcija otežava varijabilan odnos kamere i sportaša, razlike u dinamici i načinu izvođenja akcija te fizionomiji sportaša te pouzdanost metoda za detekciju poze iz videa.

Počevši od suvremenih algoritama za praćenje više objekata, unaprijedit ćemo praćenje igrača koje će biti otpornije na prekrivanja te uključiti modele kretanja prilagođene za sport (npr. za nagle promjene smjera). Kako bismo naučili robusnije modele za praćenje igrača, generirat ćemo ciljane sintetičke podatke korištenjem game enginea ili postupcima generativne umjetne inteligencije. Sintetički podaci bit će fokusirani na kompleksne situacije s prekrivanjem i brzim kretanjem, uz poznato činjenično stanje o identitetu i poziciji igrača, što u slučaju korištenja stvarnih snimaka zahtijeva značajno vrijeme i troškove povezane s ručnim označavanjem.

Razvojem ovih modela omogućit će se razvoj sustava koji može trenerima i igračima pružati korisne povratne informacije i uvide u tehnička poboljšanja.

Project name:  Computer Vision System for Athlete Tracking and Movement Analysis (uniri-iz-25-103 )
Project type:  Institutional research projects (National Recovery and Resilience Plan)
Project duration:  48 months

Principal Investigator (PI): Miran Pobar
Members of the research team: Marina Ivasic-Kos

Doctoral students:

• Kristina Host
• Ivona Frankovic

Abstract:

The project's goal is to develop computer vision models for tracking athletes in video, analyzing movements, and automatically comparing the performance of actions against a reference. The main challenge is the continuous tracking of players in recordings due to frequent occlusions and abrupt changes in direction. Comparing actions is made difficult by the variable relationship between the camera and the athlete, differences in the dynamics and execution style of actions, athlete physiology, and the reliability of methods for video-based pose detection.

Starting with state-of-the-art multi-object tracking algorithms, we will enhance player tracking to be more resilient to occlusions and incorporate movement models adapted for sports (e.g., for sudden changes in direction). To train more robust player tracking models, we will generate targeted synthetic data using a game engine or generative artificial intelligence techniques. The synthetic data will focus on complex situations involving occlusions and rapid movement, with known ground truth regarding player identity and position, which, when using real recordings, requires significant time and costs associated with manual annotation.

The development of these models will enable the creation of a system capable of providing coaches and players with useful feedback and insights for technical improvement.