Optimalisasi Evaluasi Pelaksanaan Pelatihan Melalui Analisis Sentimen Otomatis Dengan Model Text Classification

Abstract

Lembaga pelatihan sering menghadapi tantangan dalam mengumpulkan dan menganalisis umpan balik peserta secara akurat, karena metode konvensional seperti kuesioner sering kali tidak mencerminkan pengalaman peserta yang sebenarnya. Peningkatan volume data dari platform evaluasi online memperumit analisis manual, dan komentar teks peserta sering diabaikan meskipun tersimpan secara digital. Oleh karena itu, inovasi teknologi diperlukan untuk memahami pengalaman peserta dengan lebih baik. Salah satu solusi inovatif adalah penerapan analisis sentimen menggunakan model klasifikasi teks berbasis machine learning. Proses analisis ini dimulai dengan pembersihan dan pemrosesan awal data teks untuk mendapatkan data yang bersih dan siap diekstraksi fiturnya. Mengingat distribusi data yang tidak seimbang antara kelas sentimen, metode BERT digunakan untuk menyeimbangkan data tersebut, sementara model klasifikasi Naïve Bayes digunakan untuk memprediksi sentimen dari data teks peserta. Dari penelitian ini diperoleh hasil prediksi sentimen komentar peserta dengan akurasi terbaik sebesar 95,7% dalam skenario pembagian data uji dan latih 70:30, yang diterapkan pada data hasil augmentasi. Ini menunjukkan bahwa model klasifikasi sentimen berbasis machine learning dapat diandalkan untuk membantu lembaga pelatihan memahami sentimen peserta secara otomatis. Selain itu, visualisasi word cloud dari hasil penelitian ini memberikan gambaran yang lebih jelas bagi penyelenggara pelatihan untuk menindaklanjuti evaluasi yang dilakukan.