Rabu, 17 Januari 2024 14:46 WIB
Penulis: Sylvianita Widyawati | Editor: Eko Darmoko

SURYAMALANG.COM, MALANG – Mahasiswa Universitas Ma Chung Malang, Nico Alexander, mengembangkan maching learning untuk mendeteksi dan mengklasifikasikan bahasa isyarat Bisindo untuk tugas akhirnya.

Ia adalah mahasiswa prodi Teknik Informatika yang mengangkat judul ‘Penggunaan Machine Learning dalam Klasifikasi Bahasa Isyarat Bisindo Menggunakan Kamera’.

Yang dilakukan ini berpotensi membantu komunitas yang membutuhkan serta menginspirasi pengembangan teknologi masa depan.

Ia dibimbing oleh dosennya Prof Dr Eng Romy Budhi Widodo yang sebelumnya mengembangkan mouse untuk difabel serta Windra Swastika PhD. Serta berkolaborasi dengan tokoh bahasa isyarat yakni Sumiyati dari komunitas Gerkatin di Kota Malang.

Dikatakannya kolaborasi ini sebagai langkah awal dalam mengumpulkan dataset yang akurat.

“Proses penelitian yang saya lakukan dalam proyek ini tidaklah mudah,” kata Nico Alexander beberapa waktu lalu.

Hal ini karena ia belum pernah sama sekali belajar bahasa isyarat. Maka perlu membuat dataset yang akurat dengan melibatkan konsultasi bersama tokoh bahasa isyarat Kota Malang.

Dari konsultasi ini, ia kemudian mengajarkan gerakan bahasa isyarat kepada empat orang responden. Ia lalu mengumpulkan data berupa foto tangan gerakan bahasa isyarat dan melakukan ekstraksi koordinat dari foto-foto tersebut.

Dari koordinat tersebut, dihasilkan 21 landmarks pada setiap tangan dengan masing-masing landmark memiliki 3 subkoordinat (x, y, z). Hal ini menghasilkan 63 subkoordinat untuk setiap tangan atau 126 subkoordinat secara keseluruhan.

Setelahnya, subkoordinat ini digunakan sebagai data acuan untuk pembelajaran machine learning.

Hasil dari proses ini ada data sebanyak 77.000 class yang kemudian difilter untuk menyesuaikan dengan 127 parameter pada setiap baris data guna menjadi referensi pembelajaran AI.

Total terdapat 77 kelas kata yang terdiri dari gerakan numerik, abjad 26 huruf, dan kata-kata sehari-hari yang dihasilkan.

Tantangan utama yang dihadapinya adalah mengevaluasi perbandingan antara beberapa model classifier sekaligus mempertahankan kemampuan optimal dari masing-masing classifier tanpa pengurangan ataupun penambahan.

Tantangan teknis lainnya adalah jumlah data yang cukup banyak. Akhirnya ia mengatasi masalah ini dengan membuat program khusus yang memungkinkan pengambilan foto dalam hitungan detik.

Ia menyatakan juga bahwa gerakan bahasa isyarat yang mirip atau dinamis sempat membuatnya tertantang. Namun akhirnya berhasil diatasi dengan memodifikasi beberapa gerakan agar posisi tertentu dalam gerakan dinamis dapat terdeteksi dengan lebih baik.

Akhirnya ia menyelesaikan sekitar 70-80 persen dari tahap prototipe ini bahkan sebelum presentasi proyek.

Di kampus, Nico tergabung dalam kelompok studi Human-Machine Interaction, yang mempelajari lebih dalam mengenai komunikasi dan interaksi manusia dengan sebuah mesin melalui user interface.

Bidang ini menjadi sebuah tren di dunia teknologi informasi karena melalui bidang ini, manusia bisa mengontrol mesin melalui perilaku natural dan intuitif.

“Kelompok studi ini memfokuskan diri pada human welfare atau kesejahteraan manusia. Siapapun termasuk penyandang disabilitas dan manual, agar mereka dapat menjalankan fungsi kehidupan dengan baik walaupun memiliki keterbatasan,” terang Dr Eng Romy Budhi Widodo MT, dosen sekaligus Dekan Fakultas Teknologi dan Desain Universitas Ma Chung.

Link berita asli di sini.