Penelitian ini bertujuan untuk mengetahui kualitas instrumen tes hasil belajar Pendidikan Agama Islam kelas VII buatan guru MGMP Pendidikan Agama Islam di SMPN 39 Semarang dengan menguji tingkat Validitas, Reliabilitas, Tingkat Kesukaran Item (TK), Daya Beda (DB), dan Efektifitas Fungsi Distraktor (pengecoh).
Jenis penelitian ini adalah penelitian kuantitatif diskriptif. Penelitian ini menggunakan metode dokumentasi. Data penelitian berupa jawaban dari 72 siswa kelas VII yang mengikuti tes akhir semester pada tanggal 9 Juni 2008, data selanjutnya dianalisis dengan teknik analisis item tes. Untuk validitas butir tes pengujian penelitian dengan menggunakan korelasi biserial, dan untuk pengujian reliabilitas tesnya menggunakan rumus Cronbach Alpa dengan program SPSS versi 15.
.Hasil analisis tes pada penelitian ini menunjukkan bahwa : Pertama, analisis Validitas Tes Pendidikan Agama Islam dalam tes akhir semester kelas VII menggunakan rumus Korelasi Point Biserial dengan bantuan program SPSS versi 15 dan mempunyai validitas “sedang” yaitu dengan 63% dari keseluruhan soal termasuk dalam kategori valid. Kedua, analisis Reliabilias Tes Pendidikan Agama Islam dalam tes akhir semester ini menggunakan rumus Alpa Cronbach dengan bantuan program SPSS versi 15 dan memiliki reliabilitas “tinggi” yaitu dengan koefisien korelasi r11=0,711. Ketiga, Tingkat Kesukaran Tes Pendidikan Agama Islam dalam tes akhir semester ini menggunakan rumus Indeks Kesukaran dan memiliki tingkat kesukaran “mudah” yaitu sebesar 63,4%. Keempat, Daya Pembeda dalam tes akhir semester ini menggunakan rumus Indeks Diskriminasi dan hasilnya “kurang memadai” yaitu sebesar 58,3% , dan Kelima, Fungsi Distraktor dalam tes akhir semester ini yang telah berfungsi dengan baik yaitu sebesar 52,8%.
Dalam penelitian ini ditemukan bahwa tes PAI yang telah diujikan mempunyai banyak kelemahan diantaranya soal tes PAI banyak yang tidak valid dan terlalu mudah. Hal ini disebabkan oleh tidak dilibatkannya guru mata pelajaran PAI pada penyusunan tes PAI. Soal diperoleh dengan cara pihak sekolah membeli kepada MGMP, tanpa disertakan kisi-kisi soalnya. Selain itu, soal tes tidak diujicobakan terlebih dahulu. Sehingga kualitas soal tes tidak dapat diketahui, dan pada akhirnya soal tes tersebut kurang bisa sempurna sebagai alat pengukur hasil belajar siswa.
Berdasarkan hasil penelitian ini diharapkan akan menjadi bahan informasi dan masukan bagi para tenaga pengajar dalam bidang pendidikan dan civitas akademika, para mahasiswa, guru, ataupun dosen agar senantiasa meningkatkan profesionalismenya dan melaksanakan evaluasi pendidikan agar betul-betul dapat memberikan informasi yang dibutuhkan secara akurat.