Penelitian ini membahas tentang kualitas instrumen soal yang dibuat oleh tim Musyawarah Guru Mata Pelajaran (MGMP) Pendidikan Agama Islam (PAI) Kota Semarang. Kajian ini dilatar belakangi tidak dilaksanakannya uji analisis kualitas soal baik secara teoritik maupun empirik oleh beberapa guru mata pelajaran. Penelitian ini bertujuan untuk menjawab permasalahan: (1) Apakah butir soal Ulangan Akhir Semester mata pelajaran Pendidikan Agama Islam (PAI) kelas VIII semester genap Sekolah Menengah Pertama (SMP) kota Semarang Tahun Pelajaran 2016/ 2017 kualitasnya baik jika ditinjau berdasarkan analisis teoritik yang melingkupi isi dan kaidah penulisan soal? (2) Apakah butir soal Ulangan Akhir Semester mata pelajaran Pendidikan Agama Islam (PAI) kelas VIII semester genap Sekolah Menengah Pertama (SMP) kota Semarang Tahun Pelajaran 2016/ 2017 kualitasnya baik jika ditinjau berdasarkan analisis empirik yang melingkupi daya pembeda, tingkat kesukaran, reliabilitas, validitas dan distraktor/ pengecoh?. Permasalahan tersebut dibahas melalui studi lapangan yang mana datanya diambil dari 3 Sekolah Menengah Pertama (SMP) di Kota Semarang yaitu SMP Hj. Isriati Semarang, SMP Negeri 35 Semarang, dan SMP Ashabul Kahfi Semarang. Ketiga sekolah tersebut dijadikan sebagai tempat penelitian yang diambil datanya berupa butir-butir soal pilihan ganda beserta lembar jawabnya. Data yang diambil dari tempat penelitian dijadikan sampel untuk mendapatkan hasil analisis kualitas instrumen soal. Data yang diperoleh menggunakan teknik dokumentasi. Semua data dianalisis secara teoritik yang mencakup isi dan kaidah penulisan soal, dan analisis secara empirik yang mencakup tingkat kesukaran, daya pembeda, validitas, reliabilitas, dan distraktor/ pengecoh.
Hasil penelitian ini berupa: (1) Kesesuaian isi soal dengan standar kompetensi dan kompetensi dasar pada butir soal pilihan ganda soal tes Ulangan Akhir Semester Genap mata pelajaran Pendidikan Agama Islam (PAI) kelas VIII yang dibuat oleh tim Musyawarah Guru Mata Pelajaran (MGMP) PAI Kota Semarang tahun pelajaran 2016/ 2017 memiliki 47 butir soal sebesar 94% kategori sesuai, dan 3 soal sebesar 6% kategori tidak sesuai, dan kaidah penulisan soal pilihan ganda soal tes ulangan Akhir Semester Genap mata pelajaran Pendidikan Agama Islam (PAI) kelas VIII yang dibuat oleh tim Musyawarah Guru Mata Pelajaran (MGMP) PAI Kota Semarang tahun pelajaran 2016/ 2017 telah sesuai dengan kaidah yang ada, yakni aspek materi, aspek konstruksi dan aspek bahasa. (2) Instrumen tes berupa pilihan ganda sebanyak 50 butir soal mempunyai tingkat kesukaran 5 butir soal kategori sukar dengan persentase 10%, 16 butir soal kategori sedang dengan persentase 32%, dan 29 butir soal kategori mudah dengan pesentase 58%, daya beda soal sebesar 74% kategori jelek, dan 26% kategori cukup, validitas soal sebesar 90% dinyatakan valid, dan 5 butir soal sebesar 10% dinyatakan tidak valid, reliabilitas soal menunjukan kurang reliabel dengan koofisien korelasi 0,721088662, dan efektifitas pengecoh sebesar 30% termasuk kategori sangat baik, 25% kategori baik, 24% kategori kurang baik, 16% kategori jelek, 5% kategori sangat jelek.