Penelitian ini bertujuan untuk mengetahui: validitas, reliabilitas, taraf kesukaran, daya pembeda, kualitas fungsi distraktor, butir soal ujian sekolah berstandar nasional mata pelajaran PAI pada siswa kelas IX SMP N 2 Petarukan tahun 2011/2012.
Data dalam penelitian ini berupa lembar jawaban dari 93 siswa kelas IX yang mengikuti ujian sekolah tahun 2011/2012, yang diambil menggunakan teknik random sampling. Pengumpulan data menggunakan metode dokumentasi yang datanya diperoleh secara langsung dari guru yang mengampu mata pelajaran Pendidikan Agama Islam yang berupa lembar jawaban soal tes ujian sekolah berstandar nasional mata pelajaran PAI yang mengikuti ujian sekolah pada tahun 2011/2012 .
Data penelitian yang telah terkumpul dianalisis dengan menggunakan teknik analisis deskriptif kuantitatif. Pengujian penelitian dengan menggunakan korelasi point biserial (rpbis) untuk pengujian validitas butir tes dan formula Kuder-Ricardson (K-R 20) untuk pengujian reliabilitas tes.
Hasil analisis penelitian menunjukkan bahwa: pertama, untuk validitas butir tes mata pelajaran PAI dalam ujian sekolah berstandar nasional tahun 2011/2012 memiliki validitas rendah yaitu dari jumlah soal, butir soal yang berjumlah 50 butir soal multiple choice terdapat 14 butir soal yang valid. Kedua, pada uji reliabilitas tes mata pelajaran PAI dalam ujian sekolah berstandar nasional tahun 2011/2012 ini mempunyai reliabilitas cukup yaitu dengan koefisien koelasi r11= 0,396. Ketiga, dilihat dari tingkat kesukaran, terdapat 90% butir soal termasuk dalam katagori mudah, 8% termasuk dalam katagori cukup/sedang dan 2% butir soal termasuk dalam katagori sukar. Keempat, dilihat dari daya pembedanya menunjukan 6% butir soal termasuk dalam katagori memiliki daya pembeda sangat baik, 2% butir soal termasuk dalam katagori memiliki daya pembeda baik, 46% butir soal termasuk dalam katagori memiliki daya pembeda cukup, 38% butir soal termasuk dalam katagori memiliki daya pembeda jelek, dan 10% butir soal termasuk dalam katagori memiliki daya pembeda sangat jelek. Kelima, dilihat dari fungsi distraktornya termasuk memiliki distraktor termasuk memiliki distraktor yang kurang baik, yaitu 62,7% .