Dari Koordinat Menuju Makna
Transformasi representasi visual berbasis piksel menjadi data terstruktur berbasis landmark โ demi efisiensi komputasi dan ketahanan terhadap variasi latar belakang, pencahayaan, dan noise visual.
10
Kelas Gerakan Dinamis
500
Sampel Video
5
Penutur
122
Titik Landmark
88,12%
Akurasi Terbaik
Komputer Tidak Melihat Seperti Manusia
Bagi mesin, gerakan tangan yang membentuk isyarat bukanlah "gambar" melainkan barisan angka koordinat dalam ruang piksel.
Image
Sebuah frame video terlihat utuh oleh mata manusia.
Pixel
Komputer memecahnya jadi jutaan kotak kecil (piksel).
Number
Tiap piksel cuma angka intensitas warna itulah yang 'dilihat' komputer.
Kalau begitu, apakah cara terbaik merepresentasikan bahasa isyarat adalah dengan menyerahkan gambar mentah apa adanya ke komputer? MediaPipe Holistic sebenarnya mampu mengekstrak 543 titik landmark per frame tapi penelitian ini hanya mempertahankan 122 titik relevan.
12
Pose Atas
21
Tangan Kiri
21
Tangan Kanan
68
Wajah (subset)
Berbagai Cara Merepresentasikan Bahasa Isyarat
Sebelum masuk ke model deep learning, gerakan bahasa isyarat perlu diubah dulu jadi format yang bisa dibaca komputer.
RGB (Video Mentah)
Kaya warna, tapi berat komputasi & rentan variasi latar.
Skeleton
Ringkas jadi titik sendi, tapi kurang detail gestur tangan.
Optical Flow
Bagus tangkap dinamika gerak, sensitif noise kamera.
Landmark
Ringkas, tahan variasi visual, siap disusun terstruktur.
Kenapa Bukan Pendekatan Sekuensial?
Pendekatan umum SLR (LSTM/GRU, 3D-CNN) punya kompleksitas komputasi tinggi dan sulit diparalelkan. Landmark membuka jalan pendekatan spasial dua dimensi yang lebih ringkas dan tahan gangguan visual.
Ekstraksi Titik Kunci dengan MediaPipe
Ekstraksi landmark bukan hal baru โ ada banyak pustaka computer vision yang berkembang untuk domain masing-masing, tapi kebanyakan cuma fokus ke satu bagian tubuh.
Estimasi Pose Tubuh
OpenPose
Pustaka open-source dari Carnegie Mellon University, akurat & mendukung multi-person.
YOLOv7/v8 Pose
Single-stage detector, cepat dan presisi tinggi secara real-time.
AlphaPose
Multi-person pose estimation, tangguh terhadap kondisi oklusi.
Pelacakan Wajah
Dlib
Klasik, 68 titik wajah, stabil & sering dipadukan dengan OpenCV.
SeetaFace
Dari Tencent deteksi, alignment, dan pengenalan wajah.
Face-API.js
Deteksi & analisis wajah langsung di browser (JavaScript).
Pelacakan Tangan
Handtrack.js
Berbasis TensorFlow.js, ringan untuk deteksi telapak tangan real-time di web.
DeepLabCut
Deep learning untuk melacak fitur anatomis, cocok untuk analisis gerakan spesifik.
MediaPipe Holistic menggabungkan estimasi pose tubuh, wajah, dan tangan dalam satu pipeline tunggal tanpa perlu menjalankan tiga model terpisah seperti kombinasi pustaka di atas. Itulah alasan utama penelitian ini memilihnya.
MediaPipe Holistic mengeluarkan 543 titik koordinat di setiap frame. Tidak semuanya relevan untuk mengenali gerakan BISINDO, jadi penelitian ini menyaring titik-titik tersebut menjadi representasi yang lebih ringkas dan fokus.
543
Landmark Mentah
122
Landmark Terpilih
(x, y)
Koordinat Posisi
Kenapa tidak dipakai semua?
Sebagian besar dari 543 titik itu adalah detail mesh wajah yang sangat padat namun kurang relevan untuk membedakan gerakan isyarat. Menyertakan semuanya hanya menambah beban komputasi tanpa menambah informasi yang berarti.
Apa itu satu landmark?
Satu landmark adalah satu titik koordinat (x, y) pada tubuh, tangan, atau wajah โ posisi relatifnya berubah setiap frame mengikuti gerakan yang dilakukan.
Titik-Titik yang Mengikuti Gerakan
ilustrasi โ titik dan garis muncul mengikuti urutan pelacakan MediaPipe, bukan data sebenarnya
Dari Mana Angka 543 Berasal?
MediaPipe Holistic sebenarnya menjalankan tiga model sekaligus dalam satu pipeline, lalu menggabungkan hasilnya menjadi satu set landmark utuh.
33
Pose Tubuh
468
Mesh Wajah
21
Tangan Kiri
21
Tangan Kanan
543 total landmark
disaring menjadi 122 landmark yang paling relevan untuk gerakan BISINDO
Bagaimana Jika Tidak Dipandang Sebagai Urutan?
Setelah direpresentasikan sebagai landmark, data tidak lagi berbentuk gambar, melainkan urutan koordinat antar-frame โ bentuk yang biasanya diproses model sekuensial. Penelitian ini mengambil jalan berbeda.
Diproses satu per satu, berurutan
Disusun sekaligus jadi satu tensor
Rekayasa Fitur Temporal
Selain posisi (x, y), penelitian ini menghitung perubahan posisi antar-frame (ฮx, ฮy) untuk menangkap dinamika gerak โ bukan cuma di mana titik itu berada, tapi ke arah mana ia bergerak.
Contoh perhitungan satu titik landmark
Citra RGB: Cara Lama
Tensor Landmark: Penelitian Ini
ResNet tidak dirancang khusus untuk bahasa isyarat maupun landmark โ ia hanya memproses tensor berstruktur tinggi ร lebar ร kanal. Dengan menyusun ulang koordinat landmark menjadi tensor 60 ร 122 ร 4, data ini dapat langsung diproses oleh ResNet-2D tanpa mengubah arsitekturnya sama sekali.
Dari Tensor Menuju Prediksi Kelas
Tensor pseudo-image berukuran 60 ร 122 ร 4 diklasifikasikan menggunakan ResNet-2D. Penelitian ini mengevaluasi tiga variasi kedalaman arsitektur ResNet-18, ResNet-34, dan ResNet-50 untuk melihat pengaruh kedalaman terhadap performa.
Input
60ร122ร4
Conv 7ร7
64 filter
MaxPool
Block 1
64 filter
Block 2
128 filter
Block 3
256 filter
โฏ
Global Avg Pool
FC + Softmax
10 kelas
Blok residual berulang mengikuti kedalaman varian โ ResNet-18, ResNet-34, atau ResNet-50
Kenapa Disebut "Residual"?
Conv โ BN โ ReLU
Conv โ BN
ReLU
Selain jalur konvolusi biasa, tiap blok punya jalur pintas (shortcut) yang melompati sebagian lapisan. Struktur ini membantu jaringan tetap stabil dilatih meski dibuat semakin dalam. Tapi dalam penelitian ini, lebih dalam tidak selalu berarti lebih baik โ kemampuan generalisasi ResNet-18, ResNet-34, dan ResNet-50 justru menunjukkan hasil yang tidak linear terhadap kedalamannya.
Ilustrasi Output Softmax โ Bukan Hasil Inferensi Sebenarnya
Konfigurasi Mana yang Paling Rasional?
Delapan konfigurasi dievaluasi pada dataset uji eksternal dari delapan penutur baru yang tidak muncul saat pelatihan.
ResNet-18 + ฮ
88.13%
Akurasi Uji
0.8791
F1-Score Makro
Setara dengan ResNet-50 tanpa fitur delta, namun dengan jumlah parameter sekitar setengahnya dan kesenjangan validasi-uji yang lebih kecil โ menjadikannya konfigurasi paling rasional secara efisiensi maupun stabilitas.
| Konfigurasi | Delta | Akurasi Uji | F1-Macro |
|---|---|---|---|
| ResNet-18 + ฮ | โ | 88.13% | 0.8791 |
| ResNet-18 | โ | 86.88% | 0.8695 |
| ResNet-34 + ฮ | โ | 87.50% | 0.8774 |
| ResNet-34 | โ | 79.38% | 0.7905 |
| ResNet-50 + ฮ | โ | 84.38% | 0.8422 |
| ResNet-50 | โ | 88.13% | 0.8808 |
| EfficientNet-B0 + ฮ โ | โ | 88.75% | 0.8894 |
| EfficientNet-B0 | โ | 86.25% | 0.8643 |
6 konfigurasi ResNet-2D (3 kedalaman ร dengan/tanpa delta) + 2 konfigurasi EfficientNet-B0 sebagai pembanding arsitektur
Confusion Matrix ResNet-18 + ฮ
Baris = kelas sebenarnya, kolom = kelas prediksi
Performa per Kelas
Model menunjukkan generalisasi baik pada 8 dari 10 kelas โ "hari" dan "maaf" jadi kelas dengan recall paling rendah
Temuan Utama
- Kontribusi fitur delta tidak konsisten โ tergantung kedalaman arsitektur yang digunakan.
- Kedalaman arsitektur tidak berhubungan linear dengan kemampuan generalisasi.
- Satu sequence diproses dalam hitungan milidetik, jauh di bawah ambang 30 FPS untuk real-time.
Keterbatasan
- Pengujian multi-seed pada konfigurasi terpilih menunjukkan variasi akurasi ยฑ2,95%.
- Selisih performa antar-konfigurasi pada evaluasi tunggal perlu dimaknai sebagai indikasi tren, bukan perbandingan definitif.
- Dataset berskala kecil disarankan validasi Leave-One-Subject-Out yang lebih menyeluruh pada penelitian lanjutan.