Penelitian ini mempunyai tujuan untuk mengetahui validitas, reliabilitas, tingkat kesukaran, daya pembeda dan fungsi distraktor butir soal tes objektif bentuk multiple choice buatan guru penilaian akhir semester I mata pelajaran Pendidikan Agama Islam dan Budi Pekerti (PAI & BP) kelas X Tahun Pelajaran 2018/2019 di SMAN 2 Pemalang dan SMA PGRI 1 Taman Pemalang.
Sumber data primer dalam penelitian ini yaitu tes atau butir-butir soal objektif tes bentuk multiple choice buatan guru penilaian akhir semester I mata pelajaran Pendidikan Agama Islam kelas X SMA Negeri 2 Pemalang dan SMA PGRI 1 Taman Pemalang, lembar hasil jawaban tes 90 siswa kelas X. Pengumpulan data dilakukan dengan menggunakan metode dokumentasi yang datanya diperoleh secara langsung dari guru pengampu mata pelajaran Pendidikan Agama Islam dan Budi Pekerti.
Data penelitian yang telah terkumpul selanjutnya dianalisis dengan menggunakan teknik analisis kuantitatif. Korelasi point biseral (r_pbi) digunakan untuk menganalisis validitas butir soal, formula Kuder-Ricardson (K-R 20) untuk analisis reliabilitas, dan untuk tingkat kesukaran, daya pembeda serta fungsi distraktor analisis menggunakan ANATES.
Hasil analisis penelitian menunjukkan bahwa: 1) SMA Negeri 2 Pemalang; validitas; 30 soal atau sebesar 60% butir soal valid dan 20 soal atau sekitar 40% butir soal invalid. Reliabilitas;r_11 = 0,5035 yakni lebih kecil dari 0,600, sehingga reliabilitas tes tersebut dapat dikategorikan tes yang mempunyai reliabilitas sedang; Tingkat kesukaran; 9 soal atau sekitar 18% butir soal tergolong sangat mudah, 4 soal atau sekitar 8% butir soal tergolong mudah, 21 soal atau sekitar 42% butir soal tergolong sedang, 9 soal atau sekitar 18% butir soal tergolong sukar, dan 7 soal atau sekitar 14% butir soal tergolong sangat sukar. Daya Pembeda; 6 soal atau sekitar 12% butir soal memiliki daya pembeda baik, 20 atau sekitar 40% butir soal memiliki daya pembeda cukup, 19 atau sekitar 38% butir soal memiliki daya pembeda buruk, dan terdapat 5 atau sekitar 10% butir soal yang memiliki daya pembeda sangat buruk. fungsi distraktor; 49 atau sekitar 24,5% dari seluruh option yang ditampilkan telah dapat berfungsi dengan sangat baik, sebesar 43 atau sekitar 21,5% berfungsi baik, sebesar 48 atau sekitar 24% berfungsi kurang baik atau sedang, sebesar 44 atau sekitar 22% berfungsi buruk dan sebesar 16 atau sekitar 8% berfungsi sangat buruk. 2) SMA PGRI 1 Taman Pemalang, validitas soal; 30 soal atau sekitar 60% butir soal valid dan 20 soal atau sekitar 40% butir soal invalid. Reliabilitas;r_11 = 0,7549 lebih besar dari 0,600, sehingga reliabilitas tes tersebut dapat dikategorikan tes yang mempunyai reliabilitas baik/tinggi. Tingkat kesukaran; 5 soal atau sekitar 10% butir soal tergolong sangat mudah, 6 soal atau sekitar 12% butir soal tergolong mudah, 24 soal atau sekitar 48% butir soal tergolong sedang, 8 soal atau sekitar 16% butir soal tergolong sukar, dan 7 soal atau sekitar 14% butir soal tergolong sangat sukar. Daya pembeda; 9 soal atau sekitar 18% memiliki daya pembeda yang sangat baik, 15 soal atau sekitar 30% butir soal memiliki daya pembeda baik, 5 atau sekitar 10% butir soal memiliki daya pembeda cukup, 7 atau sekitar 14% butir soal memiliki daya pembeda buruk, dan terdapat 14 atau sekitar 28% butir soal yang memiliki daya pembeda sangat buruk. Fungsi distraktor; 27 atau sekitar 9% dari seluruh option yang ditampilkan telah dapat berfungsi dengan sangat baik, sebesar 38 atau sekitar 20% berfungsi baik, sebesar 41 atau sekitar 21% berfungsi kurang baik, sebesar 64 atau sekitar 33% berfungsi buruk dan sebesar 33 atau sekitar 17% berfungsi sangat buruk.