Penelitian ini bertujuan untuk mengetahui kualitas soal Tes Pilihan Ganda Ujian Tengah Semester Mata Pelajaran Akidah Akhlak Kelas VIII MTs Sultan Hadlirin Mantingan Tahunan Jepara Tahun Pelajaran 2012/2013 berdasarkan analisis empiris yang meliputi validitas, reliabilitas, taraf kesukaran, daya pembeda soal dan fungsi distraktor.
Data dalam penelitian ini berupa lembar jawaban dari 90 siswa kelas VIII pada ujian tengah semester gasal tahun ajaran 2012/2013. Pengumpulan data menggunakan metode dokumentasi yang diperoleh secara langsung dari guru yang mengampu mata pelajaran Akidah Akhlak.
Data penelitian yang telah terkumpul dianalisis dengan menggunakan teknik analisis deskriptif. Pengujian penelitian dengan menggunakan korelasi point biserial (rpbi) untuk m enguji validitas butir tes dan formula Kuder- Ricardson (KR-20) untuk menguji reliabilitas tes.
Hasil penelitian ini menunjukkan bahwa: (a) Dari segi validitas, soal ujian tengah semester mata pelajaran akidah akhlak kelas VIII MTs Sultan Hadlirin Mantingan Tahunan Jepara tahun pelajaran 2012/2013 yang digolongkan valid adalah 9 item soal (30%) dan yang tidak valid 21 item soal (70%) dengan besar rtabel 0,339 dan taraf kepercayaan 5%. (b) Reliabilitas soal ujian tengah semester mata pelajaran akidah akhlak kelas VIII MTs Sultan Hadlirin Mantingan Tahunan Jepara tahun pelajaran 2012/2013 digolongkan mempunyai reliabilitas rendah yaitu dengan koefisien korelasi r11 0,3325. (c) Untuk taraf kesukaran butir soal ujian tengah semester mata pelajaran akidah akhlak kelas VIII MTs Sultan Hadlirin Mantingan Tahunan Jepara tahun pelajaran 2012/2013 terdapat 3 item soal (10%) kategori sukar, 9 item soal (30%) kategori sedang, dan 18 item soal (60%) kategori mudah. (d) Daya pembeda soal ujian tengah semester mata pelajaran akidah akhlak kelas VIII MTs Sultan Hadlirin Mantingan Tahunan Jepara tahun pelajaran 2012/2013 terdapat lima kriteria yaitu baik sekali, baik, sedang, jelek dan sangat jelek. Soal ujian madrasah dengan kriteria jelek sekali ada 4 soal (13,3%), kriteria jelek 12 soal (40%), kriteria sedang 7 soal (23,3%), kriteria baik 6 soal (20%) dan kriteria baik sekali 1 soal (3,3%). (e) fungsi distraktor soal ujian tengah semester mata pelajaran akidah akhlak kelas VIII MTs Sultan Hadlirin Mantingan Tahunan Jepara tahun pelajaran 2012/2013 belum berfungsi dengan baik. Hal tersebut dikarenakan sekitar 58% pilihan (option) distraktor yang dipilih oleh peserta didik belum berfungsi dengan baik dan hanya 42% pilihan (option) distraktor yang dipilih oleh peserta didik telah berfungsi dengan baik.
Dari hasil penelitian ini diharapkan menjadi bahan informasi dan masukan bagi para guru khususnya evaluator dalam bidang pendidikan dan civitas akademika, para pembuat soal, mahasiswa, para pakar pendidikan agar senantiasa meningkatkan profesionalismenya dalam melaksanakan evaluasi pendidikan agar betul-betul dapat memberikan masukan yang dibutuhkan secara akurat.