Penelitian ini membahas kemampuan guru rumpun PAI dalam menyusun soal ulangan dalam bentuk esai. Penelitian ini dimaksudkan untuk menjawab permasalahan: (1) Apakah materi yang digunakan dalam membuat instrumen tes esai hasil buatan guru PAI kelas XI MAN Kendal sudah sesuai?, (2) Apakah konstruksi yang digunakan dalam membuat instrument tes esai hasil buatan guru rumpun PAI kelas XI MAN Kendal sesuai dengan kaidah penulisan soal?, (3) Apakah bahasa yang digunakan dalam instrumen tes esai hasil buatan guru rumpun PAI kelas XI MAN Kendal sesuai dengan kaidah penulisan soal? Permasalahan tersebut dibahas melalui studi analisis deskriptif kualitatif. Datanya diperoleh dengan metode observasi, metode dokumentasi, dan metode wawancara bebas. Semua data dianalisis dengan analisis dokumentasi. Kajian ini menunjukkan bahwa: (1) Instrumen tes esai hasil buatan guru rumpun PAI mata pelajaran Fiqih, Aqidah Ahlak, Al-qur’an Hadits, dan SKI kelas XI M drasah Aliyah Negeri Kendal pada segi materi termasuk dalam soal tes yang s mua butir soalnya termasuk dalam katagori yang memiliki tingkat kesesuaian yang rendah terhadap kaidah penyusunan instrument tes esai karena soal dari masing-masing mata pelajaran mengalami kesalahan pada batasan pertanyaan dan jawaban yang diharapkan.
Tidak adanya revisi dalam pembuatan soal sering kali membuat guru melakukan kesalalahan pembuatan soal sehingga soal tidak sesuai dengan tujuan pengukuran dimana soal tidak menunjukkan batasan pertanyaan yang jelas. Adapun pembuatan soal dilakukan secara mandiri oleh masing-masing guru mata pelajaran. Dalam pembuatan soal ini guru menyusun soal baru tidak merujuk pada soal tahun sebelumnya karena tidak memiliki bank soal, tapi untuk mata pelajaran Fikih guru memiliki bank soal dari tahun-tahun sebelumnya yang dijadikan rujukan dalam pembuatan soal selanjutnya. (2) Dilihat dari segi konstruksi instrumen tes esai hasil buatan guru rumpun PAI mata pelajaran Fiqih, Aqidah Ahlak, Al-qur’an Hadits, dan SKI kelas XI Madrasah Aliyah Negeri Kendal dalam soal tes ini yang semua butir soalnya termasuk dalam katagori yang memiliki tingkat kesesuaian yang baik terhadap kaidah penyusunan instrument tes esai. Karena hampir keempat mata pelajaran dalam pembuatan soal benar dan sesuai dengan konstruksi penulisan butir soal.
Hanya saja perlu adanya perbaikan soal tes pada mata pelajaran AL-Qur’an Hadits pada soal no. 1 yaitu “Apabila umat muslim konsekuen dalam mengamalkan perintah Allah sebagaimana yang disebutkan dalam QS. AL-Isro’ 26-27, maka?” karena tidak mengunakan kata tanya atau perintah yang menuntut jawaban uraian dan tidak ada petunjuk yang jelas tentang cara mengerjakan soal, untuk lebih tepatnya sehingga pertanyaan diganti dengan “Apabila umat muslim konsekuen vii dalam mengamalkan perintah Allah sebagaimana yang disebutkan dalam QS. Al- Isra’ 26-27 maka masyarakan akan saling menghormati. Jelaskan apa isi kandungan dari QS. Al-Isra’ 26-27!” (3) Sedangkan dilihat dari segi bahasa dalam dalam proses penulisan butir soal uraian yang dibuat guru rumpun PAI mata pelajaran PAI mata pelajaran Fiqih, Aqidah Ahlak, Al-qur’an Hadits, dan SKI kelas XI Madrasah Aliyah Negeri Kendal dalam soal tes yang semua butir soalnya termasuk dalam katagori yang memiliki tingkat kesesuaian yang sedang karena tidak semua mata pelajaran sudah mencakup dari segi bahasa atau budaya.
Pada soal mata pelajaran Fikih soal no. 1 dan 3 kurang tepat karena soalnya dirasa kurang komunikatif dan bahasa yang digunakan kurang baku. Pada soal mata pelajaran Aqidah Ahlak pada soal no.4 perlu adanya perbaikan karena dalam soal ini menggunakan kata “mengindahkan” yang tidak semua peserta didik mengetahui maksut dari kata tersebut sehingga dapat menimbulkan salah pengertian. Kata “mengindahkan” bisa diganti dengan “mematuhi” yang lebih mudah dipahami peserta didik agar soal lebih jelas. Pada soal AL-Qur’an Hadits juga perlu adanya perbaikan karena soal dirasa kurang komunikatif yaitu pada soal no.1. Berdasarkan hasil penelitian ini diharapkan kepada guru PAI kelas XI di Madrasah Aliyah Negeri Kendal agar terus mengembangkan kemampuan dalam menyusun tes agar tes yang disusun resuai dengan kaidah penyusunan instrument tes yang mencakup tiga ranah yaitu ranah materi, ranah konstruksi, dan ranah bahasa sehingga dapat mengukur sejauh mana tingkat keberhasilan guru dalam pencapaian tujuan pendidikan.