Soal HOTS harus dikembangkan untuk memecahkan persoalan-persoalan yang ada pada peserta didik. Cara berfikir kritis sangat diperlukan ditengah-tengah perkembagan zaman yang semakin maju. Untuk mengantisipasi pengaruh buruk yang datang dari berbagai arah maka peserta didik harus memiliki kematangan berfikir. Maka berangkat dari persoalan ini guru PAI harus melakukan perubahan dan merubah mindset mereka. analisis butir soal merupakan kegiatan menganalisis tiap-tiap butir soal secara mendetail menggunakan metode pengujian tertentu. Tujuan penelitian ini yaitu untuk mengetahui bagaimana proses penyusunan tes essay berbasis HOTS dan mengetahui kualitas butir soal. Penelitian ini dilaksankana pada bulan Agustus 2022, bertampat di MA Al Asror Semarang. Metode yang digunakan pada penelitian ini yaitu kualitatif deskriptif. Alat bantu yang digunakan dalam menganalisis soal yaitu menggunakan aplikasi AnBuso. Hasil penelitan menggambarkan 10 Soal yang dibuat oleh guru tidak semuanya HOTS, melainkan 5 butir soal HOTS dan 5 butir soal LOTS. Soal yang bertipe HOTS yaitu soal nomor 1,2,3,4,6 dan soal yang bertipe LOTS yaitu nomor 5,7,8,9,10. Level kognitif pada soal HOTS hanya ditemukan C4 (menganalisis) dan C5 (mengevaluasi) tidak ditemukan C6 (mengkreasi). Dari soal HOTS buatan guru Mata Pelajaran Al Qur’an Hadist diperoleh tingkat kesukarannya yaitu 2 soal (40%) kategori mudah dan 3 soal (60%) kategori sedang. Dan diperoleh daya pembeda sebanyak 2 butir soal (40%) baik, 1 butir soal (20%) cukup baik dan 2 butir soal (40%) lemah. Keterbatasan dalam penelitian ini yaitu pada desain soal yang hanya berjumlah 10 soal yang mana ada 5 soal HOTS dan 5 soal LOTS, hanya 1 mata pelajaran yang diambil, dan hanya 1 KD yang diteliti. Hal ini mempengaruhi perkembangan penelitian penulis dan belum maksimal untuk mengukur kemampuan berfikir tingkat tinggi pada siswa.