Nico Alexander, seorang mahasiswa Program Studi Teknik Informatika Universitas Ma Chung, mengembangkan machine learning untuk mendeteksi dan mengklasifikasikan bahasa isyarat BISINDO. Penelitiannya yang berjudul “Penggunaan Machine Learning dalam Klasifikasi Bahasa Isyarat BISINDO menggunakan Kamera” ini menjadi sorotan karena potensinya dalam membantu komunitas yang membutuhkan serta menginspirasi pengembangan teknologi masa depan.

Nico memiliki motivasi yang kuat untuk menerapkan penelitiannya guna memberikan kontribusi nyata kepada masyarakat. Dalam upayanya ini, ia didampingi oleh kedua dosen pembimbingnya Prof. Dr.Eng. Romy Budhi Widodo dan Windra Swastika, Ph.D, berkolaborasi dengan tokoh bahasa isyarat yakni Bu Sumiati dari komunitas Gerkatin di Kota Malang. Kolaborasi ini dilakukan sebagai langkah awal dalam mengumpulkan dataset yang akurat.

Proses yang Nico lakukan dalam proyek ini tidaklah mudah. Dalam mengembangkan proyek ini ia perlu membuat dataset yang akurat dengan melibatkan konsultasi bersama tokoh bahasa isyarat Kota Malang. Dari konsultasi ini, ia kemudian mengajarkan gerakan bahasa isyarat kepada empat orang responden.

Nico kemudian mengumpulkan data berupa foto tangan gerakan bahasa isyarat lalu melakukan ekstraksi koordinat dari foto-foto tersebut. Dari koordinat tersebut, dihasilkan 21 landmarks pada setiap tangan dengan masing-masing landmark memiliki 3 subkoordinat (x, y, z), yang menghasilkan 63 subkoordinat untuk setiap tangan atau 126 subkoordinat secara keseluruhan.

Setelahnya, subkoordinat ini digunakan sebagai data acuan untuk pembelajaran machine learning. Hasil dari proses ini adalah data sebanyak 77.000 class, yang kemudian difilter untuk menyesuaikan dengan 127 parameter pada setiap baris data guna menjadi referensi pembelajaran AI. Total terdapat 77 kelas kata yang terdiri dari 10 gerakan numerik, 26 alphabet, dan kata-kata yang digunakan sehari-hari.

Salah satu tantangan utama yang dihadapi Nico adalah mengevaluasi perbandingan antara beberapa model classifier sekaligus mempertahankan kemampuan optimal dari masing-masing classifier tanpa pengurangan ataupun penambahan. Tantangan teknis lainnya adalah jumlah data yang cukup banyak. Namun, Nico berhasil mengatasi masalah ini dengan membuat program khusus yang otomatis sehingga dapat memudahkan dan tidak memakan waktu terlalu banyak dalam proses pengumpulan dan pengolahan data.

Nico juga sempat mengalami tantangan dalam gerakan bahasa isyarat yang mirip atau dinamis, namun hal ini juga berhasil diatasi dengan melakukan inisiatif untuk memodifikasi beberapa gerakan agar posisi tertentu dalam gerakan dinamis dapat terdeteksi dengan lebih baik.

Proyek pengembangan teknologi machine learning yang digarap oleh Nico saat ini masih dalam proses untuk pada akhirnya dapat benar-benar dimanfaatkan oleh masyarakat. Namun berkat kegigihannya, Nico berhasil menyelesaikan sekitar 70-80% dari tahap prototipe ini bahkan sebelum presentasi proyek. Dengan upaya keras dan inovasi yang terus menerus, proyek ini menjadi satu langkah penting dalam menghadirkan inovasi yang dapat membantu dan memperkaya komunitas bahasa isyarat.