Penelitian ini bertujuan mengetahui kualitas butir soal Penilaian Akhir Tahun (PAT) mata Pelajaran Pendidikan Agama Islam dan Budi Pekerti pada kelas IX di SMP kota Semarang Tahun Ajaran 2022/2023 ditinjau dari segi tingkat kesukaran, daya pembeda, efektifitas pengecoh dan reliabilitas. Penelitian ini adalah penelitian deskriptif kuantitatif, memiliki subjek penelitian yaitu pesera didik kelas IX tahun pelajaran 2022/2023 di SMP N 16 dan SMP Islam Al-azhar 29 Semarang dengan jumlah subjek 90 peserta didik dari masing-masing sekolah. Teknik pengumpulan data yang digunakan adalah menggunakan teknik observasi, dokumentasi dan tes, kemudian data yang diperoleh dianalisis dengan menggunakan Software Anates versi 4. Hasil dari penelitian ini mengemukakan bahwa hasil analisis kualitas butir soal Penilaian Akhir Tahun (PAT) mata pelajaran PAI dan BP kelas IX diperoleh: Pada SMP Negeri 16 Semarang, 20 butir soal adalah butir soal yang valid dan bisa disimpan di bank soal sekolah tersebut untuk dapat dipergunakan dalam tes-tes lain yang relevan dengan mata pelajaran PAI dan BP, sedangkan 20 butir soal adalah butir soal yang tidak valid dan perlu adanya peningkatan melalui perbaikan agar dapat digunakan dalam tes selanjutnya. Pada SMP Islam Al-Azhar 29 Semarang, 15 butir soal adalah butir soal yang baik dan bisa disimpan di bank soal sekolah tersebut agar dapat digunakan pada tes-tes lainnya yang relevan dengan mata pelajaran PAI dan BP, sedangkan 15 butir soal adalah butir soal yang tidak valid dan perlu adanya peningkatan melalui perbaikan agar butir soal tersebut dapat digunakan dalam tes selanjutnya.