Analisis Klasifikasi Saran pada Evaluasi Pelatihan ASN Berbasis FastText Embedding dan Convolutional Neural Network

Abstract

Peningkatan kualitas pelayanan pelatihan ASN sangat bergantung pada analisis umpan balik peserta. Evaluasi numerik belum mampu mengungkap masalah spesifik, sementara analisis manual terhadap volume saran yang besar kurang efisien dan rentan subjektivitas. Pemanfaatan Natural Language Processing (NLP) dapat digunakan sebagai salah satu solusi untuk mengatasi masalah tersebut. Pemanfaatan NLP dilakukan dengan mengintegrasikan FastText sebagai word embedding dan arsitektur Deep Learning Convolutional Neural Network (CNN) sebagai classifier saran peserta ke dalam empat aspek layanan  yaitu materi, pengajar, tata laksana, dan sarana prasarana. Dataset berjumlah 418 baris saran dari akun sistem informasi pengelolaan pelatihan Bapekom PU Wilayah V Yogyakarta selama tahun 2021-2024 dengan prapemrosesan dan sampling secara berjenjang (80% data latih, 20% data uji). Hasil pelatihan menunjukkan training accuracy sebesar 90,28%, validation accuracy sebesar 80,08% dan test accuracy keseluruhan sebesar 73,0%. Model menunjukkan kemampuan klasifikasi dasar yang memadai, meskipun terdapat indikasi overfitting. Analisis metrik rinci mengungkap kinerja yang bervariasi antar kelas dan misklasifikasi yang terjadi pada kelas dengan variasi kosakata yang cukup besar. Kinerja model cukup baik dan dapat berfungsi sebagai baseline, serta  membuka peluang pengembangan lebih lanjut dalam otomasi analisis umpan balik di bidang pelatihan ASN. Hasil klasifikasi dapat menjadi alat bantu pendukung pengambilan keputusan manajemen dalam mengidentifikasi area yang perlu segera ditangani