Beberapa tujuan dari penelitian ini adalah untuk mengetahui tingkat validitas butir soal objektif ujian akhir semester akhir mata pelajaran bahasa Arab di Madrasah Tsanawiyah Negeri Brangsong Kendal tahun pelajaran 2010-2011 M, tingkat reliabilitasnya, tingkat kesukarannya, tingkat daya bedanya dan tingkat fungsi distraktornya.
Berdasarkan tujuannya, penelitian ini termasuk dalam penelitian aplikasi, dan berdasarkan metode yang digunakan penelitian ini termasuk penelitian deskriptif. Adapun metode sampling yang digunakan dalam memilih sample penelitian adalah purposive sampling, jumlah samplenya 148 siswa kelas IX (A, C, E, G). Dan metode yang digunakan penulis dalam mengumpulkan data penelitian menggunakan metode dokumentasi, sedangkan dalam menganalisis data penelitian penulis menggunakan metode kuantitatif deskriptif.
Adapun hasil penelitiannya adalah : Pertama dari segi koefisien validitas butir tes, bahwa (38) butir soal atau sekitar (76%) dinyatakan valid, dan (12) butir soal atau sekitar (24%) dinyatakan tidak valid. Kedua, dari segi koefisien reliabilitas tes, diketahui bahwa r11 = 0,731945 atau lebih besar dari 0,70, sehingga dapat dikatakan tingkat reliabilitas tesnya tinggi. Ketiga, dari segi tingkat kesukaran butir tes, bahwa (2) butir soal atau sekitar (4%) dinyatakan sulit, dan (31) butir soal atau sekitar (62%) dinyatakan sedang atau baik, dan (17) butir soal atau sekitar (34%) dinyatakan mudah. Oleh karena itu, dapat disimpulkan bahwa tingakat kesukaran butir tesnya sedang atau baik. Keempat, dari segi daya beda butir tesnya, diketahui (6) butir soal atau sekitar (12%) dinyatakan bagus, dan (34) atau sekitar (48%) sedang, dan (18) butir soal atau sekitar (36%) dinyatakan jelek, dan (2) butir soal atau sekitar (4%) dinyatakan sangat jelek. Oleh karena itu dapat disimpulkan bahwa tingkat daya pembedanya sedang. Kelima, dari segi fungsi distraktor dari masing-masing pilihan jawaban, diketahui bahwa (121) butir soal atau sekitar (80,7%) berfungsi baik dan (29) butir soal atau sekitar (19,3%) tidak berfungsi.
Berdasarkan hasil-hasil yang telah dikemukakan di depan dapat disimpulkan secara umum bahwa (15) butir soal atau sekitar (30%) kualitasnya baik,dan (35) butir soal atau sekitar (70%) kualitasnya tidak baik atau jelek.