Mapa Weba

RAASS

Automatsko raspoznavanje akcija i aktivnosti u multimedijalnom sadržaju iz domene sporta (RAASS)

HRZZ Istraživački projekt (IP-06-2016)

Voditelj projekta (PI): doc. dr.sc. Marina Ivašić-Kos
Ustanova na kojoj će se provoditi projekt: Odjel za informatiku Sveučilišta u Rijeci
Trajanje projekta: 48 mjeseci

Sažetak:

Multimedijalni materijali poput digitalnih slika i videa postale su važan medij za pohranu i razmjenu informacija. U domeni sporta stvara se velik broj multimedijalnih materijala s različitih takmičenja, utakmica ili priprema te postoji velik interes za njihovom analizom kako kod profesionalnih sportaša i trenera tako i kod amaterskih sportaša, djece, rekreativaca, novinara i drugih zainteresiranih.

Analiza pojedinih akcija u sportu kao što su npr. okret kod plivanja ili korak kod trčanja važna je za sportaše i trenere jer omogućuje praćenje točnosti izvođenja vježbi, unaprjeđenje njihove izvedbe, pripremu strategije te praćenje napretka. Analiza akcija korisna je i onima koji se tek upoznavaju sa novim vježbama kao i nastavnicima tjelesne kulture i fizioterapeutima gdje je nakon početne demonstracije izvođenja vježbe i vježbanja koje nadgleda trener ili fizioterapeut ključno nastaviti pravilno samostalno izvoditi vježbe. Za višu razinu analize koja omogućuje tumačenje više slijednih akcija kao što je serviranje u tenisu, izvođenje auta u nogometu ili dodavanje u rukometu i njihovo povezivanje u smislenu aktivnost potrebno je znanje iz domene toga sporta.

U profesionalnom sportu analiza multimedijalnih materijala danas postaje neophodna ali još se uvijek vrši uglavnom ručnim označavanjem pojedinih akcija. Razvoj postupaka za automatsko raspoznavanje akcija i aktivnosti sportaša u multimedijalnim materijalima omogućio bi učinkovitiju analizu i širu dostupnost takvih rješenja svima koji se žele baviti sportom.

Predlaže se istraživanje u kojem bi se razvili postupci za detekciju i označavanje individualnih akcija iz domene sporta u multimedijalnom sadržaju. Polazna točka za detekciju akcija bit će postupci temeljeni na strojnom učenju i značajkama koje opisuju prostorno-vremensku dimenziju multimedijalnog sadržaja. Za automatsko povezivanje i interpretaciju slijednih akcija u složenije individualne aktivnosti razvit će se model temeljen na znanju o domeni sporta koja ima dobro definirana pravila, poznatu strukuru i kontekst te postoje jasne uloge sportaša i ostalih sudionika. Za modeliranje neizrazitog znanja o domeni i vremenskih odnosa definirat će se shema za predstavljanje znanja temeljena na teoriji vremenskih i neizrazitih Petrijevih mreža ili sličan formalizam. Zbog specifičnosti svakoga sporta, u istraživanju će se razmatrati individualne akcije iz odabranih sportova, no pri tome će se imati u vidu mogućnost primjene postupaka i na druge sportove. Rezultat projekta bit će modeli za automastko raspoznavanje individualnih akcija i aktivnosti te metrika usporedbe izvedbe akcije sa referentnom izvedbom te akcije. Razvijen prototip koristit će se za razvoj sustava koji će sportašima, trenerima, fizioterapeutima i drugima omogućiti praćenje izvođenja vježbi, unaprijeđenje izvedbe, praćenje napretka, prikupljanje statističkih podataka za analizu sportskog događaja i slično.

Suradnici i istraživačka skupina:
  • doc. dr. sc. Marina Ivašić-Kos, docent, Odjel za informatiku Sveučilšita u Rijeci, Hrvatska; (voditelj projekta)
  • dr. sc. Miran Pobar, viši asistent, Odjel za informatiku Sveučilišta u Rijeci, Hrvatska
  • izv. prof. dr. sc. Jordi Gonzalez Sabaté, izvanredni profesor, Universitat Autonoma de Barcelona / School of Engineering, Španjolska
  • Matija Burić, doktorski student na Odjelu za informatiku Sveučilišta u Rijeci, Hrvatska
  • prof. dr. sc. Slobodan Ribarić, redoviti profesor, Fakultet elektrotehnike i računarstva Zagreb, Hrvatska; (konzultant)
  • Milan Kosanović, kineziolog, Hrvarska; (ekspert)
Relevantni radovi:
Članci u znanstvenim časopisima:
  1. Ivašić-Kos, Marina; Pobar, Miran; Ribarić, Slobodan. Two-tier image annotation model based on a multi-label classifier and fuzzy-knowledge representation scheme. // Pattern recognition. 52 (2016); 287-305.
  2. Ivašić-Kos, Marina; Ipšić, Ivo; Ribarić, Slobodan. A knowledge-based multi-layered image annotation system. // Expert systems with applications. 42 (2015) , 2015; 9539-9553.
  3. Ivašić-Kos, Marina; Ipšić, Ivo; Ribarić, Slobodan. Multi-Level Image Annotation Using Bayes Classifier and Fuzzy Knowledge Representation Scheme. // WSEAS transactions on computers. 13 (2014); 635-644.
  4. Ivašić-Kos, Marina; Ribarić, Slobodan; Ipšić, Ivo. Low- and High-level Image Annotation Using Fuzzy Petri Net Knowledge Representation Scheme. // International Journal of Computer Information Systems and Industrial Management (IJCISIM). 4 (2012); 428-436.
Radovi u zbornicima skupova:
  1. Ivašić-Kos, Marina; Pobar, Miran; Ribarić, Slobodan. Automatic image annotation refinement using fuzzy inference algorithms // European Centre for Soft Computing, IFSA- EUSFLAT 2015 / Dr. Luis Magdalena Layos (ur.). Gijón, Asturias (Spain) : IFSA-EUSFLAT2015, 2015. rad 242.
  2. Ivašić-Kos, Marina; Pobar, Miran; Ribarić, Slobodan. Fuzzy Knowledge-Based Image Annotation Refinement // Proceedings of the International Conference on Image Processing, Computer Vision, and Pattern Recognition IPCV'15 / Arabnia, Hamid R. ; Deligiannidis, Leonidas ; Tinetti, Fernando G. (ur.). Las Vegas, Nevada, USA : The Steering Committee of The World Congress in Computer Science, Computer Engineering and Applied Computing (WorldComp), 2015. 284-290
  3. Pobar, Miran; Ivašić-Kos, Marina. Multimodal Image Retrieval Based on Keywords and Low-Level Image Features // Semantic Keyword-based Search on Structured Data Sources: First COST Action IC1302 International KEYSTONE Conference, IKC 2015, Coimbra, Portugal, September 8-9, 2015. Revised Selected Papers / Cardoso, J., Guerra, F., Houben, G.-J., Pinto, A.M., Velegrakis, Y. (Eds.) (ur.). Coimbra : Springer, 2015. 133-140
  4. Ivašić-Kos, Marina; Iosifidis, Alexandros; Tefas, Anastasios; Pitas, Ioannis. Person De-Identification in Activity Videos // BiForD - BIOMETRICS & FORENSICS & DE- IDENTIFICATION AND PRIVACY PROTECTION / Slobodan Ribaric (ur.). Opatija, Hrvatska : Croatian Society for Information and Communication Technology, Electronics and Microelectronics - MIPR, 2014. 75-80
  5. Ivašić-Kos, Marina; Pobar, Miran; Ipšić, Ivo. Multi-layered Image Representation for Image Interpretation // Proceedings of the 25th International Conference on Computational Linguistics (COLING 2014). Dublin, 2014. 115-117.
  6. Ivašić-Kos, Marina; Pobar, Miran; Ipšić, Ivo. Automatic Movie Posters Classification into Genres // Advances in Intelligent Systems and Computing 311 / Madevska Bogdanova, Ana ; Gjorgjevikj, Dejan (ur.). Springer, 2014. 319-328.
  7. Ivašić-Kos, Marina; Pobar, Miran; Ipšić, Ivo. Object Level vs. Scene Level Image Annotation // Recent Advances in Electrical and Electronic Engineering, Proceedings of the 3rd International Conference on Circuits, Systems, Communications, Computers and Applications (CSCCA '14) / Mastorakis, Nikos E. ; Nakamatsu, Kazumi ; Paspalakis, Emmanuel (ur.). Firenca : WSEAS Press, 2014. 162-168.
  8. Ivašić-Kos, Marina; Pobar, Miran; Mikec, Luka. Movie posters classification into genres based on low-level features // Proceedings of MIPRO 2014 / Biljanović, Petar (ur.). Rijeka : Croatian Society for Information and Communication Technology, Electronics and Microelectronics - MIPRO, 2014. 1448-1453.
  9. Ivašić-Kos, Marina; Ribarić, Slobodan; Ipšić, Ivo. Multi-level Image Classification Using Fuzzy Petri Net // Recent Advances in Neural Networks and Fuzzy Systems, Proceedings of the 2014 International Conference on Neural Networks - Fuzzy Systems (NN- FS '14) / Prof. Yingxu Wang, Prof. Pierre Borne (ur.). Venice, Italy : Europment, 2014. 39-45.
  10. Ivašić-Kos, Marina; Pavlić, Mile; Poščić, Patrizia. Descriptors’ Specification for Image Representation // Proceedings of International Conference on Image and Video Processing and Computer Vision. Orlando, Florida : PromoteResearch, 2010.
  11. Ivašić-Kos, Marina; Poščić, Patrizia; Pavlić, Mile. Definition of descriptors for semantic image interpretation // Proceedings of the IEEE 2nd European Workshop on Visual Information Processing - EUVIP 2010. Pariz, Francuska, 2010.
  12. Ivašić-Kos, Marina; Ribarić, Slobodan; Ipšić, Ivo. Image Annotation using Fuzzy Knowledge Representation Scheme // Proceedings of the 2010 International Conference of Soft Computing and Pattern Recognition. Pariz, Francuska : IEEE France, 2010. 218-223
  13. Ivašić-Kos, Marina; Pavlić, Mile; Pobar, Miran. Analyzing the semantic level of outdoor image annotation // Proceedings of MIPRO 2009 - 32nd International convention on information and communication technology, electronics and microelectronics / Bogunović, Nikola ; Ribarić, Slobodan (ur.). Opatija : Croatian Society for Information and Communication Technology, Electronics and Microelectronics - MIPRO, 2009. 293-296.

Podijeli članak