МАПИРАЊЕ ТЕКСТУРЕ ЛИЦА ГЕНЕРИСАНЕ ПАМЕТНИМ ТЕЛЕФОНОМ НА ГЕНЕРИЧКИ МОДЕЛ ЛИЦА
Ključne reči:
Текстура, мапирање, лице, детекција, УВ мапе, 3Д
Apstrakt
Представљено је једноставно и универзално решење, које задовољава потребе корисника а ниво квалитета одговара уређају на ком се приказује, тј. паметном телефону. Основна идеја је могућност брзог креирања персонализованог анимираног аватара који би се користио на друштвеним мрежама, виртуелним конференцијама и слично. Користе се већ готови, усредњени модели главе, са добром топологијом, као и постављеним скелетом. Персонализација модела врши се помоћу текстуре, те она мора бити довољно уверљива. Текстура се добија употребом камере на мобилном телефону. Мапирање слике на модел врши се препознавањем значајних тачака лица помоћу Dlib библиотеке. Кључни алгоритам у овом раду је тзв. Thin Plate Spline алгоритам.
Reference
[1] Po-Han Lee, Jui-Wen Huang, Huei-Yung Lin, 2012, 3D Model reconstruction based on multiple view image capture, International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS 2012).
[2] Xian-Feng Han, Hamid Laga, Mohammed Bennamoun, 2019, Image-based 3D Object Reconstruction: State-of-the-Art and Trends in the Deep Learning Era. IEEE Transactions on Pattern Analysis and Machine Intelligence.
[3] Yasutaka Furukawa, Jean Ponce, 2007 Accurate, Dense, and Robust Multi-View Stereopsis, IEEE Transactions on Pattern Analysis and Machine Intelligence.
[4] Yao Feng, Fan Wu, Xiaohu Shao, Yanfeng Wang, Xi Zhou, 2018, Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network, ECCV 2018.
[5] Shu Liang, Linda G. Shapiro, Ira Kemelmacher-Shlizerman., 2016, Head Reconstruction from Internet Photos, ECCV 2016.
[6] Qi Zhao, Jiajun Bu, Mingli Song, 2004, Towards talking face on portable devices - A flexible and realistic approach, TENCON 2004.
[7] J. Riviere, P. Gotardo, D. Bradley, A. Ghosh, T. Beeler, 2020, Single-Shot High-Quality Facial Geometry and Skin Appearance Capture, ACM Trans. Graph., Vol. 39, No. 4, Article 81.
[8] T. Beeler, B. Bickel, P. Beardsley, B. Sumner, M. Gross, 2010, High-Quality Single-Shot Capture of Facial Geometry, ACM Transactions on Graphics 29(4).
[9] Shu-Fan Wang, Shang-Hong Lai, 2006, Efficient 3D Face Reconstruction from a Single 2D Image by Combining Statistical and Geometrical Information, Computer Vision - ACCV 2006.
[10] Laurent Balmelli, Gabriel Taubin, Fausto Bernardin, 2002, Space-Optimized Texture Maps, EUROGRAPHICS 2002
[11] Arun Ponnusamy, 2018, CNN based face detector from dlib, Elsevier Science, https://towardsdatascience.com/cnn-based-face-detector-from-dlib-c3696195e01c (приступљено, октобар 2020.)
[12] V.Kazemi, J.Sullivan, 2014, One millisecond face alignment with an ensemble of regression trees, 2014 IEEE Conference on Computer Vision and Pattern Recognition
[13] Facial point annotations, https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/, (приступљено, октобар 2020.)
[14] Herve Lombaert, Manual Registration with Thin Plates, https://profs.etsmtl.ca/hlombaert/thinplates/, (приступљено, октобар 2020.)
[2] Xian-Feng Han, Hamid Laga, Mohammed Bennamoun, 2019, Image-based 3D Object Reconstruction: State-of-the-Art and Trends in the Deep Learning Era. IEEE Transactions on Pattern Analysis and Machine Intelligence.
[3] Yasutaka Furukawa, Jean Ponce, 2007 Accurate, Dense, and Robust Multi-View Stereopsis, IEEE Transactions on Pattern Analysis and Machine Intelligence.
[4] Yao Feng, Fan Wu, Xiaohu Shao, Yanfeng Wang, Xi Zhou, 2018, Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network, ECCV 2018.
[5] Shu Liang, Linda G. Shapiro, Ira Kemelmacher-Shlizerman., 2016, Head Reconstruction from Internet Photos, ECCV 2016.
[6] Qi Zhao, Jiajun Bu, Mingli Song, 2004, Towards talking face on portable devices - A flexible and realistic approach, TENCON 2004.
[7] J. Riviere, P. Gotardo, D. Bradley, A. Ghosh, T. Beeler, 2020, Single-Shot High-Quality Facial Geometry and Skin Appearance Capture, ACM Trans. Graph., Vol. 39, No. 4, Article 81.
[8] T. Beeler, B. Bickel, P. Beardsley, B. Sumner, M. Gross, 2010, High-Quality Single-Shot Capture of Facial Geometry, ACM Transactions on Graphics 29(4).
[9] Shu-Fan Wang, Shang-Hong Lai, 2006, Efficient 3D Face Reconstruction from a Single 2D Image by Combining Statistical and Geometrical Information, Computer Vision - ACCV 2006.
[10] Laurent Balmelli, Gabriel Taubin, Fausto Bernardin, 2002, Space-Optimized Texture Maps, EUROGRAPHICS 2002
[11] Arun Ponnusamy, 2018, CNN based face detector from dlib, Elsevier Science, https://towardsdatascience.com/cnn-based-face-detector-from-dlib-c3696195e01c (приступљено, октобар 2020.)
[12] V.Kazemi, J.Sullivan, 2014, One millisecond face alignment with an ensemble of regression trees, 2014 IEEE Conference on Computer Vision and Pattern Recognition
[13] Facial point annotations, https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/, (приступљено, октобар 2020.)
[14] Herve Lombaert, Manual Registration with Thin Plates, https://profs.etsmtl.ca/hlombaert/thinplates/, (приступљено, октобар 2020.)
Objavljeno
2021-05-10
Sekcija
Animacija u inženjerstvu
