Kamis, 11 Januari 2024, 23:12 WIB
Reporter : Muhammad Afnani Alifian

Malang (beritajatim.com) – Mahasiswa program studi (prodi) Teknik Informatika Universitas Ma Chung berhasil mengembangkan machine learning untuk mendeteksi dan mengklasifikasikan bahasa isyarat BISINDO. Alat ini berpotensi dalam membantu komunitas membutuhkan dan dapat dikembangkan untuk teknologi masa depan.

Mahasiswa tersebut bernama Nico yang tergabung dalam kelompok studi Human-Machine Interaction untuk proyek tugas akhirnya. Penelitiannya berjudul ‘Penggunaan Machine Learning dalam Klasifikasi Bahasa Isyarat BISINDO menggunakan Kamera’.

Nico menjelaskan bahwa motivasinya untuk menerapkan penelitian ini untuk memberi kontribusi nyata kepada masyarakat. Dalam upayanya, ia didampingi dua dosen pembimbing, yaitu Prof. Dr. Eng. Romy Budhi Widodo dan Windra Swastika, Ph.D. Prof Romy sebelumnya mengembangkan mouse untuk difabel.

Dalam pengembangan teknologi machine learning, Nico berkolaborasi dengan Sumiyati dari komunitas Gerkatin di Kota Malang. Kolaborasi ini dilakukan sebagai langkah awal dalam mengumpulkan dataset yang akurat.

“Proses penelitian yang saya lakukan dalam proyek ini tidaklah mudah. Dalam mengembangkan proyek ini dengan akurat saya yang belum pernah sama sekali belajar bahasa isyarat perlu membuat dataset yang akurat dengan melibatkan konsultasi bersama tokoh bahasa isyarat Kota Malang,” ujar Nico, Kamis (11/1/2024).

Dari konsultasi ini, ia kemudian mengajarkan gerakan bahasa isyarat kepada empat orang responden. Nico lalu mengumpulkan data berupa foto tangan gerakan bahasa isyarat lalu melakukan ekstraksi koordinat dari foto-foto tersebut.

“Dari koordinat tersebut, dihasilkan 21 landmarks pada setiap tangan dengan masing-masing landmark memiliki 3 sub koordinat (x, y, z), yang menghasilkan 63 sub koordinat untuk setiap tangan atau 126 sub koordinat secara keseluruhan,” ungkapnya.

Setelahnya, sub koordinat digunakan sebagai data acuan untuk pembelajaran machine learning. Hasil dari proses ini adalah data sebanyak 77.000 class, yang di filter untuk menyesuaikan dengan 127 parameter pada setiap baris data untuk l referensi pembelajaran AI. Terdapat 77 kelas kata yang terdiri atas gerakan numerik, abjad 26 huruf, dan kata sehari-hari yang dihasilkan.

Salah satu tantangan utama yang dihadapi Nico adalah evaluasi perbandingan antara beberapa model classifier sekaligus mempertahankan kemampuan optimal dari tiap classifier tanpa pengurangan ataupun penambahan. Tantangan teknis lainnya adalah jumlah data yang cukup banyak.

“Saya berhasil mengatasi masalah ini dengan membuat program khusus yang memungkinkan pengambilan foto dalam hitungan detik (dengan konsep FPS atau frame per second),” jelas Nico.

Nico sempat mengalami tantangan dalam gerakan bahasa isyarat yang mirip atau dinamis. Namun hal itu berhasil diatasi dengan melakukan inisiatif untuk memodifikasi gerakan agar posisi tertentu dalam gerakan dinamis dapat terdeteksi dengan lebih baik.

Nico juga berhasil menyelesaikan 70-80% dari tahap prototipe ini bahkan sebelum presentasi proyek. Dengan upaya keras dan inovasi yang terus menerus, proyek ini menjadi langkah penting menghadirkan inovasi yang dapat membantu pemberdayaan masyarakat disabilitas dan memperkaya komunitas bahasa isyarat.

Sebagai informasi, kelompok studi Human-Machine Interaction mempelajari lebih dalam mengenai komunikasi dan interaksi manusia dengan mesin melalui user interface. Bidang ini menjadi tren di dunia teknologi informasi karena manusia bisa mengontrol mesin melalui perilaku natural dan intuitif.

Dr. Eng. Romy Budhi Widodo, M.T selaku dosen sekaligus Dekan Fakultas Teknologi dan Desa menjelaskan bahwa kelompok studi Human-Machine Interaction memfokuskan diri pada human welfare atau kesejahteraan manusia. Itu meliputi siapapun – termasuk penyandang disabilitas dan manual, agar mereka dapat menjalankan fungsi kehidupan dengan baik walaupun memiliki keterbatasan.

“Dengan demikian, kami mewujudkan semangat kami melalui Tri Dharma Perguruan Tinggi untuk memberikan kontribusi untuk Masyarakat,” katanya. (dan/ian)