Shintiya Yulia Frantika – Kamis, 11 Januari 2024 | 14:47 WIB

AboutMalang.com, 11 Januari 2024 – Nico Alexander, mahasiswa Teknik Informatika Universitas Ma Chung, membuat prototipe aplikasi machine learning untuk menerjemahkan bahasa isyarat BISINDO sebagai Tugas Akhirnya.

Studi yang berjudul ‘Penerapan Machine Learning untuk Klasifikasi Bahasa Isyarat BISINDO melalui Kamera’ menarik perhatian karena kemampuannya untuk memberikan dukungan kepada komunitas yang memerlukan dan memberikan inspirasi bagi perkembangan teknologi mendatang.

Nico sangat termotivasi untuk menerapkan hasil penelitiannya dengan tujuan memberikan kontribusi nyata kepada masyarakat.

Dalam usahanya tersebut, Nico dibimbing oleh dua dosen pembimbingnya, yaitu Prof. Dr. Eng. Romy Budhi Widodo yang sebelumnya telah menciptakan mouse untuk difabel, dan Windra Swastika, Ph.D. Mereka bekerja sama dengan Bu Sumiyati, seorang tokoh bahasa isyarat dari komunitas Gerkatin di Kota Malang.

Kolaborasi ini dilakukan sebagai langkah awal dalam mengumpulkan dataset yang akurat.

“Proses penelitian yang saya lakukan dalam proyek ini tidaklah mudah,” jelasnya.

“Dalam mengembangkan proyek ini dengan akurat saya yang belum pernah sama sekali belajar bahasa isyarat perlu membuat dataset yang akurat dengan melibatkan konsultasi bersama tokoh bahasa isyarat Kota Malang,” lanjutnya.

Dari konsultasi ini, ia kemudian mengajarkan gerakan bahasa isyarat kepada empat orang responden.

Nico kemudian mengumpulkan data berupa foto tangan gerakan bahasa isyarat lalu melakukan ekstraksi koordinat dari foto-foto tersebut.

Dari koordinat tersebut, dihasilkan 21 landmarks pada setiap tangan dengan masing-masing landmark memiliki 3 subkoordinat (x, y, z), yang menghasilkan 63 subkoordinat untuk setiap tangan atau 126 subkoordinat secara keseluruhan.

Setelahnya, subkoordinat ini digunakan sebagai data acuan untuk pembelajaran machine learning.

Hasil dari proses ini adalah data sebanyak 77.000 class, yang kemudian difilter untuk menyesuaikan dengan 127 parameter pada setiap baris data guna menjadi referensi pembelajaran AI.

Total terdapat 77 kelas kata yang terdiri dari gerakan numerik, abjad 26 huruf, dan kata-kata sehari-hari yang dihasilkan.

Salah satu tantangan utama yang dihadapi Nico adalah mengevaluasi perbandingan antara beberapa model classifier sekaligus mempertahankan kemampuan optimal dari masing-masing classifier tanpa pengurangan ataupun penambahan. Tantangan teknis lainnya adalah jumlah data yang cukup banyak.

“Saya berhasil mengatasi masalah ini dengan membuat program khusus yang memungkinkan pengambilan foto dalam hitungan detik (dengan konsep FPS atau frame per second),” jelasnya.

Nico menghadapi tantangan dalam mengenali gerakan bahasa isyarat yang mirip atau dinamis, namun dia berhasil mengatasi hal tersebut dengan mengambil inisiatif untuk memodifikasi beberapa gerakan. Modifikasi tersebut bertujuan agar posisi tertentu dalam gerakan dinamis dapat dideteksi lebih efektif.

Berkat kegigihannya, Nico berhasil menyelesaikan sekitar 70-80% dari tahap prototipe ini bahkan sebelum presentasi proyek.

Dengan upaya keras dan inovasi yang terus menerus, proyek ini menjadi satu langkah penting dalam menghadirkan inovasi yang dapat membantu pemberdayaan Masyarakat dengan disabilitas dan memperkaya komunitas bahasa isyarat.

Nico tergabung dalam kelompok studi Human-Machine Interaction, yang mempelajari lebih dalam mengenai komunikasi dan interaksi manusia dengan sebuah mesin melalui user interface.

Bidang ini menjadi sebuah tren di dunia teknologi informasi karena melalui bidang ini, manusia bisa mengontrol mesin melalui perilaku natural dan intuitif.

“Kelompok studi ini memfokuskan diri pada human welfare atau kesejahteraan manusia – siapapun – termasuk penyandang disabilitas dan manual, agar mereka dapat menjalankan fungsi kehidupan dengan baik walaupun memiliki keterbatasan,” terang Dr. Eng. Romy Budhi Widodo, M.T – dosen sekaligus Dekan Fakultas Teknologi dan Desain.

“Dengan demikian, kami mewujudkan semangat kami melalui Tri Darma Perguruan Tinggi untuk memberikan kontribusi untuk Masyarakat,” pungkasnya.

(***)