Sistem Deteksi Simbol Isyarat Pada SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Mediapipe Berbasis Android

Rendra Soekarta; Suhardi Aras; Rezki Rezki; Nofryanti Ainun K.D.P

doi:10.33506/insect.v10i2.4079

Authors

Rendra Soekarta Universitas Muhammadiyah Sorong
Suhardi Aras Universitas Muhammadiyah Sorong
Rezki Rezki Universitas Muhammadiyah Sorong
Nofryanti Ainun K.D.P Universitas Muhammadiyah Sorong

DOI:

https://doi.org/10.33506/insect.v10i2.4079

Keywords:

Mediapipe, Deep Learning, Bahasa Isyarat, Android

Abstract

Penyandang disabilitas, khususnya tunarungu, menghadapi tantangan besar dalam berkomunikasi, terutama di perguruan tinggi yang seringkali belum sepenuhnya inklusif. Penelitian ini bertujuan untuk mengembangkan sistem deteksi Bahasa Isyarat Indonesia (SIBI) berbasis Android menggunakan framework MediaPipe dan teknologi deep learning. Dataset penelitian mencakup 24 kelas huruf abjad statis yang diambil menggunakan kamera smartphone dan sumber daring. Proses pengembangan melibatkan ekstraksi fitur menggunakan MediaPipe dan integrasi ke platform Android. Pengujian menunjukkan model mencapai akurasi 90,85%, meskipun terdapat tantangan pada kelas dengan pola isyarat yang mirip. Hasil usability testing dengan 60 pengguna mencatat rata-rata kepuasan 83,51%, menunjukkan respons positif terhadap kemudahan penggunaan dan manfaat aplikasi. Aplikasi ini memungkinkan deteksi isyarat secara akurat dan cepat, serta stabil di berbagai kondisi. Hasil penelitian ini penting untuk meningkatkan apksesibilitas komunikasi penyandang tunarungu melalui solusi teknologi yang mudah diakses dan aplikatif.

References

[1] D. D. Putra and H. Gunawan, “Pelaksanaan Pendidikan Tinggi bagi Penyandang Disabilitas di UIN Sulthan Thaha Saifuddin Jambi,” J. Disabil. Stud. Res., vol. 1, no. 1, pp. 37–46, 2022.

[2] M. Sulaeman, “Aksesbilitas Disabilitas Untuk Mewujudkan Pendidikan Yang Inklusif Di Lingkungan Pendidikan Tinggi,” vol. 1, no. 5, pp. 65–72, 2024.

[3] D. P. Lestari and F. Pribadi, “Aksebilitas dan Sikap Sosial Lingkungan Akademis Mendukung Kegiatan Belajar Mahasiswa Disabilitas,” J. Ilm. Profesi Pendidik., vol. 9, no. 2, pp. 975–980, 2024, doi: 10.29303/jipp.v9i2.2212.

[4] D. M. Vianti, “Efektivitas Penerapan Model Komunikasi Total Bagi Anak Tunarungu Di Bhakti Luhur,” J. Pelayanan Pastor., no. April, pp. 46–55, 2021.

[5] F. N. Rahmah, “Problematika Anak Tunarungu Dan Cara Mengatasinya,” Quality, vol. 6, no. 1, p. 1, 2018, doi: 10.21043/quality.v6i1.5744.

[6] M. A. Handayani, “Komunikasi Anak Tuna Rungu Dengan,” vol. 3, no. 2, pp. 213–230, 2018.

[7] I. Sari, Fivrenodi, E. Altiarika, and Sarwindah, “Sistem Pengembangan Bahasa Isyarat Untuk Berkomunikasi dengan Penyandang Disabilitas (Tunarungu),” J. Inf. Technol. Soc., vol. 1, no. 1, pp. 20–25, 2023, doi: 10.35438/jits.v1i1.21.

[8] Adam Nurmansyah, Nanda Rizqia Rhamadhani, Sabrina Alfarissy Nur Hakim, Sri Azhari Agustin, and Siti Hamidah, “Permasalahan Komunikasi Yang Kerap Terjadi Pada Penyandang Disabilitas,” J. Pendidikan, Bhs. dan Budaya, vol. 2, no. 2, pp. 200–210, 2023, doi: 10.55606/jpbb.v2i2.1515.

[9] Amanda Muchsin Chalik, Bilal Abdul Qowy, Faiz Hanafi, and Ahlijati Nuraminah, “Mouse Tracking Tangan dengan Klasifikasi Gestur Menggunakan OpenCV dan Mediapipe,” J. Ilm. Tek. Inform. dan Komun., vol. 1, no. 2, pp. 10–18, 2021, doi: 10.55606/juitik.v1i2.323.

[10] M. P. Putri et al., Algoritma Dan Struktur Data. 2022.

[11] Y. Efendi, R. Muzawi, U. Rio, and L. Lusiana, “Aplikasi 3D VR Class Sebagai Inovasi Media Pembelajaran Ditengah Pandemik,” J. Teknol. Dan Sist. Inf. Bisnis, vol. 3, no. 2, pp. 419–424, 2021, doi: 10.47233/jteksis.v3i2.304.

[12] P. E. Sudjiman and L. S. Sudjiman, “Analisis Sistem Informasi Manajemen Berbasis Komputer Dalam Proses Pengambilan Keputusan,” TeIKa, vol. 8, no. 2, pp. 55–66, Jun. 2020, doi: 10.36342/teika.v8i2.2327.