سامانه تشخیص ارقام فارسی در نوشتار هوایی مبتنی بر تصویر عمق
محورهای موضوعی : عمومى
رضا ملکی
1
(دانشگاه زنجان، سازمان تنظیم مقررات و ارتباطات رادیویی، تبریز، ایران)
شهرام محمدی
2
(-)
کلید واژه: حس‌گر کینکت, تصویر عمق, تغییرات علامت شیب‌خط, مدل مارکوف مخفی,
چکیده مقاله :
تشخیص دست‌نوشته از روی کاغذ، صفحه‌نمایش و یا در هوا از چالش‌هایی هستند که در بینایی ماشین وجود دارند. تشخیص نوشتار هوایی به خاطر سه‌بعدی بودن دارای چالش‌های زیادی است. در این کار تحقیقی تشخیص ارقام فارسی در نوشتار هوایی مدنظر است که در آن، کاربر ارقام صفر تا نه را در مقابل حس‌گر کینکت در هوا می‌نویسد و سامانه با استفاده از اطلاعات عمق حس‌گر قادر به تشخیص ارقام فوق است. در سامانه پیشنهادی، برای جداسازی دست و نوک انگشت از پس‌زمینه از روش خوشه‌بندی خودکار k-means، برای استخراج ویژگی از روش تغییر علامت شیب‌خط پیشنهادی و جهت تشخیص ویژگی و تعیین رقم از دسته‌بند مدل مارکوف مخفی (HMM) استفاده‌شده است. دقت تشخیص سامانه پیشنهادی برای ارقام فارسی با دیتابیس محلی و بااعتبار سنجی متقابل 10 برابری 98 درصد است. سامانه پیشنهادی با نتایج چندین کار مشابه مقایسه گردید، این مقایسه‌ها نشان می‌دهند که سامانه پیشنهادی به‌صورت نسبی بهتر از سامانه‌های تحت مقایسه کار می‌کند.
Recognizing handwriting on paper, screen or in the air are some of the challenges in machine vision. Recognizing aerial text has many challenges due to its three-dimensional nature. In this research work, Persian digit recognition is considered in aerial text in which the user writes the digits zero to nine in front of the Kinect sensor in the air and the system is able to detect the above digits using the sensor depth information. In the proposed system, the k-means automatic clustering method is used to separate the hand and fingertip from the background, the proposed linear slope change method is used to extract the feature, and the hidden Markov model (HMM) category is used to identify the feature and figure. The detection accuracy of the proposed system for Persian cultivars with local database and 10-fold cross-validation is 98%. The proposed system was compared with the results of several similar works, these comparisons show that the proposed system works relatively better than the systems under comparison.
1. Mitra, S., Acharya, T. 2007. Gesture recognition: a survey. IEEE Trans Syst Man Cybern (SMC)Part C Appl Rev 37(3), pp:311–324.
2. Karam, M. 2006. A framework for research and design of gesture-based human computer interactions. PhD Thesis, University of Southampton.
3. Stefan, A., Athitsos, V., Alon, J., Sclaroff, S. 2008. Translation and scale invariant gesture recognition in complex scenes. in Proc. 1st ACM Int. Conf. PErvasive Technol. Related Assist. Environ., Art. no. 7.
4. Stern, H., Shmueli, M., Berman, S. 2013. Most discriminating segment Longest common subsequence (MDSLCS) algorithm for dynamic hand gesture classification. Pattern Recognit. Lett., vol. 34, no. 15, pp:1980–1989.
5. Elmezain, M., AlHamadi, A., Michaelis, B. 2009. Hand trajectory-based gesture spotting and recognition using HMM. In using HMM. In Proc. 16th IEEE Int.Conf. Image Process., pp: 3577–3580.
6. Doliotis, P., Stefan, A., McMurrough, C., Eckhard, D., Athitsos, V. 2011. Comparing gesture recognition accuracy using color and depth information. in Proc. 4th ACM Int. Conf. Pervasive Technol. Related Assist. Environ., Art. no. 20.
7. Mackay, D. 2003. Information Theory, Inference and Learning Algorithms. Cambridge University Press. pp. 284–292. ISBN 0-52 64298-1.MR 2012999.
8. Liu, N., Lovell, B. C., Kootsookos, P. J. 2003. Evaluation of HMM training algorithms for letter hand gesture recognition. Proceedings of the 3rd IEEE International Symposium on Signal Processing and Information Technology.
9. Rabiner, LR. 1989. A Tutorial on Hidden Markov Models and Selected Application in Speech Recognition. Proc. of the IEEE, Vol.77, No.2, pp:257—286
10. Kane, L., Khanna, P. 2017. Vision-Based Mid-Air Unistroke Character Input Using Polar Signatures. IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS.
11.Based Mid-Air Unistroke Character Input Using Polar Signatures. IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS.
11. Feng, Z., Xu, S., Zhang, X., Jin, L., Ye, Z. 2012. Real-time Fingertip Tracking and Detection using Kinect Depth Sensor for a New Writing-in-the Air System. The 4th International Conference on Internet Multimedia Computing and Service (ICIMCS), China.
12. Elmezain, M., Alhamadi, A., Appenrodt, J., Michaelis, B. 2008. A Hidden Markov Model-Based Isolated and Meaningful Hand Gesture Recognition. PROCEEDINGS OF WORLD ACADEMY OF SCIENCE, ENGINEERING AND TECHNOLOGY.
13. Liu, N., Lovell, B. C., Kootsookos, P. J. 2003. Evaluation of HMM training algorithms for letter hand gesture recognition. Proceedings of the 3rd IEEE International Symposium on Signal Processing and Information Technology.
14. Liu, F., Du, B., Wang, Q., Wang, Y., Zeng, W. 2017. Hand Gesture Recognition Using via Deterministic Learning. 29th Chinese Control and Decision Conference (CCDC)
15. رضایی و ذهابی، 1389، اندازه‌گیری الکترونیکی، انتشارات دانش نگار، تهران