Penelitian ini bertujuan untuk mengetahui kualitias butir soal Penilaian Tengah Semester bentuk multiple choice mata pelajaran PAI&BP kelas VII semester genap buatan guru di SMP N 18 dan SMP N 44 Semarang tahun pelajaran 2019/2020 dalam segi kuantitatif dan distribusi jenjang ranah kognitif.
Sumber data primer dalam penelitian ini yaitu tes atau butir soal Penilaian Tengah Semester bentuk multiple choice mata pelajaran PAI&BP kelas VII buatan guru dari SMP N 18 dan SMP N 44 Semarang tahun pelajaran 2019/2020 dan lembar hasil jawaban tes 90 siswa dari masing-masing sekolah. Pengumpulan data dilakukan dengan menggunakan metode dokumentasi yang diperoleh langsung dari guru pengampu mata pelajaran Pendidikan Agama Islam dan Budi Pekerti.
Data penelitian yang telah terkumpul selanjutnya dianalisis dengan menggunakan teknik analisis kuantitatif. Korelasi point biseral (rpbi) digunakan untuk menganalisis validitas butir soal, formula Kuder-Ricardson (K-R 20) untuk analisis reliabilitas, untuk tingkat kesukaran, daya pembeda serta fungsi distraktor analisis menggunakan ANATES V4, dan pencocokkan jenjang ranah kognitif dengan taksonomi bloom.
Hasil analisis dari penelitian menunjukkan bahwa : 1) SMP N 18 Semarang ; validitas; 22 soal atau sekitar 55% butir soal valid dan 18 atau sekitar 45% butir soal invalid. Reliabilitas r11 = 0,2973 dengan kriteria reliabilitasrendah. Tingkat kesukaran; 21 (52,5%) butir soal tergolong sangat mudah, 7 (17,5%) butir soal tergolong mudah, 5 (12,5%) butir soal tergolong sedang, 4 (10%) butir soal tergolong sukar, dan 3 (7,5%) butir soal tergolong sangat sukar. Daya Pembeda ; 1 (2,5%) butir soal memiliki daya pembeda sangat baik, 8 (20%) butir soal memiliki daya pembeda baik, 6 (15%) butir soal memiliki daya pembeda cukup, 22 (55%) butir soal yang memiliki daya pembeda yang buruk, dan terdapat 3 (7,5%) butir soal yang memiliki daya pembeda yang sangat buruk. Fungsi distraktor; 12 (10,26%) dari seluruh option yang ditampilkan telah dapat berfungsi dengan sangat baik, 18 (15,38%) berfungsi baik, 17 (14,53%) berfungsi kurang baik, 47 (40,17%) berfun gsi buruk, dan terdapat 23 atau sekitar 19,66% berfungsi sangat buruk. 2) SMP N 44 Semarang ; validitas; 15 (50%) butir soal valid dan 15 (50%) butir soal invalid. Reliabilitas r11 = 0,2356 dengan kriteria reliabilitas yang rendah. Tingkat kesukaran; 14 (46,67%) butir soal tergolong sangat mudah, 6 (20%) butir soal tergolong mudah, 8 (26,67%) butir soal tergolong sedang, 1 (3,33%) butir soal tergolong sukar, dan 1 (3,33%) butir soal tergolong sangat sukar. Daya pembeda; 3 (10%) butir soal memiliki daya pembeda baik, 8 (26,67%) butir soal memiliki daya pembeda cukup, 18 (60%) butir soal memiliki daya pembeda buruk, dan terdapat 1 (3,33%) butir soal yang memiliki daya pembeda yang sangat buruk.Fungsi distractor; 18 (20%) dari seluruh option yang ditampilkan telah dapat berfungsi dengan sangat baik, 18 (20%) berfungsi baik, 22 (24,44%) berfungsi kurang baik, 24 (26,67%) berfungsi buruk dan 8 (8,89%) berfungsi sangat buruk. 3) Analisis distribusi jenjang ranah kognitif; SMP N 18 Semarang; 7 (17,5%) butir soal termasuk C1, 9 (22,5%) butir soal termasuk C2, 16 (40%) butir soal termasuk C3, 7 (17,5%) butir soal termasuk C4, dan 1 (2,5%) butir soal termasuk C5. SMP N 44 Semaran g; 5 (16,67%) butir soal termasuk C1, 8 (26,67%) butir soal termasuk C2, 10 (33,33%) butir soal termasuk C3, 6 (20%) butir soal termasuk C4, dan 1 (3,33%) butir soal termasuk C5.