DETEKCIJA I PREPOZNAVANJE STATIČKIH I DINAMIČKIH GESTOVA RUKE

Zorana Marković

doi:10.24867/03SA01Markovic

Zorana Marković

DOI: https://doi.org/10.24867/03SA01Markovic

Ključne reči: Prepoznavanje gestova ruke, mašinsko učenje, konvolucione neuronske mreže

Apstrakt

U ovom radu opisan je postupak prepoznavanja gestova ruke na bazi RGBD slika i videa, gde je ideja bila da se istraže mogućnosti detekcije položaja ruke i šake, kao i odredjenih gestova vezanih za njih. Metode koje su razvijene i analizirane u ovom radu su bazirane na mašinskom učenju, ali su pored njih analizirane i neke metode koje se ne baziraju na mašinskom učenju, radi poređenja rezultata. Prvo je opisana metoda za prepoznavanje statističkih gestova šake, korišćenjem postojećih jednostavnih metoda iz OpenCV biblioteke. Potom je razvijena metoda detekcije položaja statičkih gestova šake korišćenjem konvolucionih mreža. Na kraju, kao glavni cilj rada, je implementirana metoda detekcije dinamickih gestova šake i ruke [1], korišćenjem mašinskog učenja na bazi 3D konolucionih mreža. Ta metoda je dalje adaptirana radi optimizacije rezultata na selektovanim podacima. U radu su dati eksperimentalni rezultati, gde su analizirane performanse implementiranih algoritama.

Reference

[1]P. Molchanov, S. Gupta, K. Kim and J. Kautz, “Hand gesture recognition with 3D convolutional neural networks”,IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 1-7., 2015.
[2] E. Ohn-Bar and M. M. Trivedi, “Hand Gesture Recognition in Real Time for Automotive Interfaces: A Multimodal Vision-Based Approach and Evaluations”,IEEE Transactions on Intelligent Transportation Systems, vol. 15, no. 6, 2014.
[3] Y. Zhu and B. Yuan, “Real-time hand gesture recognition with Kinect for playing racing video games”,International Joint Conference on Neural Networks (IJCNN), pp. 3240-3246., 2014.
[4] T. Starner, J. Weaver and A. Pentland, “Real-time American sign language recognition using desk and wearable computer based video”,IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 12, pp. 1371-1375, 1998.
[5] S. Loehmann, M. Knobel, M. Lamara, A. Butz, “Culturally Independent Gestures for in Car Interactionsm”,Kotzé P. et al. (eds) Human-Computer Interaction – INTERACT 2013. Lecture Notes in Computer Science, vol 8119., 2013.
[6]P. Molchanov, S. Gupta, K. Kim and K. Pulli, “Multi-sensor system for driver's hand-gesture recognition”,11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG), pp. 1-8.,2015.
[7]J. Gu, Z. Wang, J. Kuen, L. Ma, A. Shahroudy, B. Shuai, T. Liu, X. Wang, L. Wang, G. Wang, J. Cai, T. Chen,“Recent Advances in Convolutional Neural”, arXiv:1512.07108, 2017.
[8] S. U. Rahman, Z. Afroze, M. Tareq, “Hand Gesture Recognition Techniques For Human Computer Interaction Using OpenCv”, International Journal of Scientific and Research Publications, vol. 4, no. 12, 2014.
[9]Y. Hsiao, J. Sanchez-Riera, T. Lim, K. Hua, W. Cheng, “LaRED: A Large RGB-D Extensible Hand Gesture Dataset”, The 2014 ACM Multimedia Systems Conference, 2014.