Penelitian ini dilatarbelakangi oleh soal ujian madrasah yang belum diuji kualitasnya oleh pembuat soal. Seharusnya soal yang digunakan untuk ujian madrasah sudah diuji kualitasnya terlebih dahulu agar soal tersebut mampu menjadi alat ukur yang baik. Dari keadaan tersebut, peneliti melakukan penelitian terhadap kualitas soal yang digunakan dalam ujian madrasah tersebut. Kualitas soal yang diteliti pada penelitian ini meliputi tingkat kesukaran, daya beda, fungsi pengecoh, validitas butir, validitas isi, serta reliabilitas soal ujian madrasah tersebut.
Analisis kualitas tes berfungsi untuk mengukur kemampuan peserta didik. Tes yang digunakan haruslah tes yang berkualitas baik sehingga mampu menjadi tolok ukur yang baik untuk mengukur kemampuan peserta didik. Analisis kualitas tes yang dilakukan dalam penelitian ini adalah analisis butir soal untuk menguji bagaimana keadaan butir pada suatu tes, validitas isi dan reliabilitas tes.
Penelitian ini menggunakan pendekatan kuantitatif untuk menentukan kualitas butir soal dan reliabilitas tes. Sedangkan untuk menentukan validitas isi digunakan pendekatan kualitatif. Kualitas butir soal ditentukan dengan teori klasik. Validitas isi ditentukan dengan mencari kesesuaian soal berdasarkan Standar Kompetensi dan Kompetensi Dasar yang digunakan. Sedangkan reliabilitas tes ditentukan dengan metode pengujian reliabilitas Kuder Richardson-20.
 
Dalam penelitian ini, diteliti dua peket soal, yaitu paket soal IPA dan paket soal IPS/Agama. Berdasarkan data yang diperoleh diketahui bahwa soal dengan tingkat kesukaran sedang, daya beda baik, pengecohnya berfungsi baik pada paket soal IPA ada 11 soal pada nomor 4, 8, 10, 11, 13, 16, 23, 26, 30, 39, dan 40. Sedangkan pada paket soal IPS/Agama ada 4 soal meliputi soal nomor 4, 14, 31, 38. Pada soal-soal yang berkualitas baik tersebut dapat digunakan di ujian madrasah tahun-tahun berikutnya, sedangkan pada soal-soal yang kualitasnya belum baik agar dapat diperbaiki sesuai dengan kekurangannya. Penelitian tersebut semoga dapat dimanfaatkan berbagai pihak, khususnya pada MGMP Karesidenan Kedu selaku pembuat naskah soal.