Klasifikasi Gerakan Bahasa Isyarat Indonesia (BISINDO) menggunakan Arsitektur Transfer Learning Xception

Amelia, Meisya Vira (2025) Klasifikasi Gerakan Bahasa Isyarat Indonesia (BISINDO) menggunakan Arsitektur Transfer Learning Xception. Undergraduate thesis, Universitas Pembangunan Nasional Veteran Jawa TImur.

	Text (COVER) COVER.pdf Download (1MB)
	Text (BAB I) BAB I.pdf Download (282kB)
	Text (BAB II) BAB II.pdf Restricted to Repository staff only until 19 June 2028. Download (566kB)
	Text (BAB III) BAB III.pdf Restricted to Repository staff only until 19 June 2028. Download (532kB)
	Text (BAB IV) BAB IV.pdf Restricted to Repository staff only until 19 June 2028. Download (4MB)
	Text (BAB V) BAB V.pdf Download (214kB)
	Text (DAFTAR PUSTAKA) DAFTAR PUSTAKA.pdf Download (190kB)
	Text (LAMPIRAN) LAMPIRAN.pdf Restricted to Repository staff only until 19 June 2028. Download (401kB)

Abstract

Komunikasi sehari-hari bagi teman Tuli sangat bergantung pada bahasa isyarat sebagai media utama dalam menyampaikan informasi. Namun, pemahaman terhadap bahasa isyarat seperti Bahasa Isyarat Indonesia (BISINDO), masih terbatas di berbagai lingkungan, termasuk di Perguruan Tinggi. Minimnya pemahaman ini dapat menimbulkan ketimpangan komunikasi dan hambatan dalam proses belajar-mengajar, terutama bagi mahasiswa penyandang disabilitas tunarungu. Untuk mengatasi permasalahan tersebut, penelitian ini bertujuan mengembangkan model machine learning yang mampu mengklasifikasikan gerakan tangan dari abjad BISINDO. Model dibangun menggunakan arsitektur transfer learning Xception dari Convolutional Neural Network (CNN), yang dikenal memiliki performa tinggi dalam tugas klasifikasi citra. Penelitian ini berfokus pada eksplorasi penerapan transfer learning Xception dengan jumlah data yang minim yang belum pernah dilakukan pada penelitian-penelitian terdahulu. Xception juga dipilih karena merupakan peningkatan dari arsitektur yang pernah digunakan pada penelitian sebelumnya, yaitu InceptionV3. Data yang digunakan terdiri dari 650 gambar dan terdapat 26 kelas, mewakili setiap huruf abjad BISINDO, yang diperoleh dari data publik Kaggle serta dibuat secara manual oleh penulis. Proses pengembangan model mencakup enam tahapan utama, yaitu pengumpulan data, pra-pemrosesan data, pelatihan model menggunakan teknik K-Fold cross-validation, evaluasi akhir menggunakan metrik performa confusion matrix dan classification report, dan integrasi model ke dalam sistem berbasis kamera untuk pengujian real-time dan pengunggahan gambar dengan bantuan Streamlit. Model terbaik yang didapatkan memiliki akurasi 96% dan F1-score 98% pada fase pelatihan dengan menggunakan rasio pembagian data 80:20 dan pelatihan fine-tuning sebanyak 26 layers. Hasil evaluasi model akhir menunjukkan performa yang sangat baik, dengan nilai akurasi dan F1-score mencapai 94% pada fase pengujian.

Item Type:

Thesis (Undergraduate)

Contributors:

Contribution	Contributors	NIDN/NIDK	Email
Thesis advisor	Saputra, Wahyu Syaifullah Jauharis	0725088601	wahyu.s.j.saputra.if@upnjatim.ac.id
Thesis advisor	Hindrayani, Kartika Maulida	0009099205	kartika.maulida.ds@upnjatim.ac.id

Subjects:

Q Science > QA Mathematics > QA76.6 Computer Programming

Divisions:

Faculty of Computer Science > Departemen of Data Science

Depositing User:

Meisya Vira Amelia

Date Deposited:

19 Jun 2025 01:37

Last Modified:

19 Jun 2025 01:46

URI:

https://repository.upnjatim.ac.id/id/eprint/38401