Reka Cipta ResNet-2D dalam Klasifikasi Bahasa Isyarat Indonesia (BISINDO) Berbasis Landmark MediaPipe
Bagaimana jika bahasa isyarat tidak dipandang sebagai rangkaian waktu, melainkan sebagai sebuah citra?
Tembok Eksklusivitas Teman Tuli
"Ketika bahasa menjadi penghubung, perbedaan cara berkomunikasi justru dapat menciptakan batas yang tidak terlihat."
Di Indonesia, terdapat sekitar 22,97 juta penyandang disabilitas pendengaran, atau sekitar 8,5% dari total populasi (Kemenko PMK, 2023). Meskipun BISINDO digunakan secara luas oleh komunitas Tuli sebagai bahasa komunikasi sehari-hari, pemahaman masyarakat umum terhadap bahasa isyarat masih terbatas. Kondisi ini mendorong pengembangan teknologi yang mampu memahami gerakan bahasa isyarat secara otomatis.
Mengenal BISINDO
BISINDO (Bahasa Isyarat Indonesia) merupakan bahasa alami yang berkembang di komunitas Tuli Indonesia. Berbeda dengan SIBI yang disusun secara formal, BISINDO tumbuh dari penggunaan sehari-hari dan memiliki variasi antar daerah. Dalam penelitian ini digunakan WL-BISINDO varian regional Banten yang terdiri dari sepuluh kelas gerakan dinamis.
Bagaimana Komputer "Melihat" Bahasa Isyarat?
Alih-alih membaca gerakan sebagai video, penelitian ini mengubah setiap gerakan bahasa isyarat menjadi representasi citra yang bisa dipahami oleh jaringan saraf tiruan.
Landmark Extraction
MediaPipe mengekstrak titik-titik kunci tangan, wajah, dan pose dari setiap frame video.
Pseudo-Image
Rangkaian landmark disusun ulang menjadi representasi citra 4-channel.
ResNet-2D
Jaringan residual membaca pseudo-image untuk mengklasifikasikan kelas gerakan.
Penasaran Bagaimana Hasilnya?
Coba langsung sistem klasifikasi bahasa isyarat BISINDO secara real-time lewat kamera kamu.