Ketertarikan penulis untuk mengangkat topik ini dilatarbelakangi oleh kurangnya perhatian terhadap kualitas butir soal dalam evaluasi pembelajaran serta minimnya praktik analisis soal yang dilakukan oleh guru. Penelitian ini bertujuan untuk menganalisis kualitas butir soal Penilaian Akhir Semester (PAS) pada mata pelajaran Pendidikan Agama Islam (PAI) kelas VIII di SMP Negeri 23 Semarang. Sebanyak 50 butir soal pilihan ganda dianalisis berdasarkan tiga aspek utama: tingkat kesukaran, daya pembeda, dan efektivitas pengecoh. Data dikumpulkan melalui teknik dokumentasi untuk memperoleh soal ujian, lembar jawaban, serta kunci jawaban dari seluruh peserta ujian.
Penelitian ini mengadopsi teknik total sampling, di mana seluruh populasi yang berjumlah 248 siswa dijadikan sampel. Proses analisis data dilakukan dengan menggunakan aplikasi Jamovi, yang memungkinkan evaluasi soal berdasarkan tingkat kesukaran, daya pembeda, dan efektivitas pengecoh, guna menilai sejauh mana kualitas butir soal dalam mengukur kompetensi siswa.
Berdasarkan analisis terhadap 50 butir soal, dapat disimpulkan: dilihat dari segi tingkat kesukaran 19 soal (38%) tergolong sangat mudah, 13 soal (26%) termasuk kategori mudah, 12 soal (24%) sedang, 3 soal (6%) masuk kategori sulit, dan 3 soal (6%) tergolong sangat sulit. Dilihat dari segi daya beda, hasil analisis menunjukkan bahwa 16 soal (32%) memiliki daya pembeda yang jelek, 28 soal (56%) masuk kategori cukup, 6 soal (12%) termasuk kategori baik, dan tidak ada soal (0%) yang tergolong sangat baik. Sementara itu, dilihat dari efektivitas pengecoh menunjukkan bahwa dari 50 butir soal, 12 soal (24%) tergolong efektif, sedangkan 38 soal (76%) tidak efektif. Temuan ini menunjukkan bahwa butir soal tersebut belum sepenuhnya memenuhi kriteria soal yang baik, dengan tingkat kesukaran yang didominasi oleh soal yang terlalu mudah, daya beda yang sebagian besar hanya cukup, serta banyak pengecoh yang tidak efektif.