PENGENALAN GESTURE DAN KONVERSI TEKS KE SUARA REAL-TIME BERBASIS AUDIO-VISUAL
Abstract
Pengujian sistem dilakukan untuk mengevaluasi kemampuan deteksi gesture ketika pengguna mengenakan sarung tangan dengan fokus pada akurasi pembacaan jumlah jari serta kesesuaian output suara yang dihasilkan oleh modul Text-to-Speech. Hasil pengujian menunjukkan bahwa gesture satu jari terangkat tetap dapat terdeteksi dengan baik meskipun tangan tertutup sarung tangan, dan sistem mampu memberikan respons berupa sapaan otomatis sesuai pemetaan suara yang telah ditentukan. Pada gesture empat jari terangkat, sistem juga menampilkan akurasi yang stabil, di mana algoritma MediaPipe Hands dapat mengenali bentuk jari tanpa gangguan berarti sehingga output suara dapat dihasilkan secara konsisten. Selain itu, pada pengujian gesture lima jari terangkat, sistem mampu menghitung jumlah jari secara real-time dan mengeluarkan suara “terimakasih”, membuktikan bahwa penggunaan sarung tangan tidak menghambat proses pengenalan visual. Ketiga hasil uji tersebut menunjukkan bahwa MediaPipe Hands tetap bekerja efektif pada kondisi tangan tertutupi material non-transparan selama kontur jari masih tertangkap kamera. Temuan ini mengindikasikan bahwa sistem memiliki potensi untuk digunakan dalam situasi nyata, termasuk di lingkungan industri, fasilitas kesehatan, maupun area publik yang mewajibkan penggunaan sarung tangan, sehingga meningkatkan fleksibilitas serta peluang pengembangan interaksi manusia–komputer berbasis gesture.
References
Kendali, A., & Krtmi, R. (2025). Implementasi Hand Gesture Recognition Sebagai Pengembangan. 5(3), 31646–31655.
No Title. (2022).
Robet, A., Author, N., Putra, R. M. A., Seran, S. H., & Sahertian, J. (2025). Deteksi Kode Signal For Help Pada Gestur Tangan Menggunakan OpenCV. 4, 25–31.
Suki, S., Lubis, C., Pragantha, J., Convolutional, C., Network, N., Recognition, G., & Detection, H. L. (2025). IMPLEMENTASI VIRTUAL MOUSE BERBASIS HAND GESTURE RECOGNITION DENGAN MEDIAPIPE DAN CONVOLUTIONAL NEURAL NETWORK. 10(1). https://doi.org/10.5281/zenodo.10158688.
Triyanto, R. I. (2024). Tugas akhir sistem pengenalan suara dan gestur tangan sebagai sistem keamanan berbasis alexnet pada sistem cnn

