PENGENALAN GESTURE DAN KONVERSI TEKS KE SUARA REAL-TIME BERBASIS AUDIO-VISUAL

  • Zalfa Najwa Salsabila Universitas Bina Sarana Informatika
  • M. Mikail Adnan Universitas Bina Sarana Informatika
  • Brandon Dewa Rusli Universitas Bina Sarana Informatika
  • Dahlia Sihombing Universitas Bina Sarana Informatika
Keywords: Pengenalan Gesture, Konversi Teks, Suara, Real-Time Berbasis Audio-Visual

Abstract

Pengujian sistem dilakukan untuk mengevaluasi kemampuan deteksi gesture ketika pengguna mengenakan sarung tangan dengan fokus pada akurasi pembacaan jumlah jari serta kesesuaian output suara yang dihasilkan oleh modul Text-to-Speech. Hasil pengujian menunjukkan bahwa gesture satu jari terangkat tetap dapat terdeteksi dengan baik meskipun tangan tertutup sarung tangan, dan sistem mampu memberikan respons berupa sapaan otomatis sesuai pemetaan suara yang telah ditentukan. Pada gesture empat jari terangkat, sistem juga menampilkan akurasi yang stabil, di mana algoritma MediaPipe Hands dapat mengenali bentuk jari tanpa gangguan berarti sehingga output suara dapat dihasilkan secara konsisten. Selain itu, pada pengujian gesture lima jari terangkat, sistem mampu menghitung jumlah jari secara real-time dan mengeluarkan suara “terimakasih”, membuktikan bahwa penggunaan sarung tangan tidak menghambat proses pengenalan visual. Ketiga hasil uji tersebut menunjukkan bahwa MediaPipe Hands tetap bekerja efektif pada kondisi tangan tertutupi material non-transparan selama kontur jari masih tertangkap kamera. Temuan ini mengindikasikan bahwa sistem memiliki potensi untuk digunakan dalam situasi nyata, termasuk di lingkungan industri, fasilitas kesehatan, maupun area publik yang mewajibkan penggunaan sarung tangan, sehingga meningkatkan fleksibilitas serta peluang pengembangan interaksi manusia–komputer berbasis gesture.

References

Hartanto, R., Susanto, A., & Santosa, P. I. (n.d.). Real Time Static Hand Gesture Recognition System Prototype for Indonesian Sign Language. 2.
Kendali, A., & Krtmi, R. (2025). Implementasi Hand Gesture Recognition Sebagai Pengembangan. 5(3), 31646–31655.
No Title. (2022).
Robet, A., Author, N., Putra, R. M. A., Seran, S. H., & Sahertian, J. (2025). Deteksi Kode Signal For Help Pada Gestur Tangan Menggunakan OpenCV. 4, 25–31.
Suki, S., Lubis, C., Pragantha, J., Convolutional, C., Network, N., Recognition, G., & Detection, H. L. (2025). IMPLEMENTASI VIRTUAL MOUSE BERBASIS HAND GESTURE RECOGNITION DENGAN MEDIAPIPE DAN CONVOLUTIONAL NEURAL NETWORK. 10(1). https://doi.org/10.5281/zenodo.10158688.
Triyanto, R. I. (2024). Tugas akhir sistem pengenalan suara dan gestur tangan sebagai sistem keamanan berbasis alexnet pada sistem cnn
Published
2025-12-09
How to Cite
Zalfa Najwa Salsabila, M. Mikail Adnan, Brandon Dewa Rusli, & Dahlia Sihombing. (2025). PENGENALAN GESTURE DAN KONVERSI TEKS KE SUARA REAL-TIME BERBASIS AUDIO-VISUAL. EDU RESEARCH, 6(4), 552-566. https://doi.org/10.47827/jer.v6i4.1621
Section
Articles