Program pema'hadan bagi mahasiswa UIN merupakan program mandatori dari Kementerian Agama melalui Keputusan Direktur Jenderal Pendidikan Islam Nomor 7272 Tahun 2019 tentang Pedoman Implementasi Moderasi Beragama pada Pendidikan Islam. Sejak diumumkannya pada tanggal 17 April 2023 kebijakan tersebut menuai beragam komentar baik dukungan maupun tidak mendukung yang disampaikan melalui kolom komentar Instagram @uinwalisongosemarang.
Komentar yang masuk dari Instagram tersebut dapat dimanfaatkan untuk dilakukan analisis sentimen. Pada penelitian ini peneliti melakukan analisis sentimen yang diklasifikasikan menjadi positif dan negatif dari opini publik terhadap Kebijakan Program Pema’hadan Tahun 2023 UIN Walisongo Semarang dengan algoritma Naïve Bayes Classifier dan dengan metode CRISP-DM serta dilakukan perbandingan teknik oversampling antara SMOTE dengan ADASYN.
Hasil analisis sentimen terhadap data komentar Instagram tersebut yaitu dengan algoritma Naïve Bayes yang menggunakan SMOTE mendapatkan nilai akurasi sebesar 70%, precission sebesar 73%, recall sebesar 70% serta f1 score sebesar 71%. Sedangkan dengan algoritma Naïve Bayes yang menggunakan ADASYN mendapatkan nilai akurasi sebesar 68%, presisi sebesar 72%, recall sebesar 68%, f1-score sebesar 68%. Sehingga diperoleh kesimpulan bahwa penggunaan SMOTE dapat meningkatkan performa Naïve Bayes lebih tinggi dibandingkan dengan ADASYN dalam analisis sentimen.