Penelitian ini mempunyai tujuan untuk mengetahui validitas isi, validitas konstruksi, reliabilitas, tingkat kesukaran dan daya pembeda butir soal Penilaian Akhir Semester SMK Adi Bangsa Temuroso Kabupaten Demak yang disusun sendiri oleh guru SMK Adi Bangsa dan soal tersebut belum pernah diujicoba dan dianalisis sebelumnya. Penelitian ini mengambil fokus permasalahan: 1) Bagaimanakah validitas isi tes Penilaian Akhir Semester I kelas X SMK Adi Bangsa Temuroso mata pelajaran matematika tahun pelajaran 2019/2020? 2) Bagaimanakah validitas konstruksi tes Penilaian Akhir Semester I kelas X SMK Adi Bangsa Temuroso mata pelajaran matematika tahun pelajaran 2019/2020? ) Bagaimanakah reliabilitas tes Penilaian Akhir Semester I kelas X SMK Adi Bangsa Temuroso mata pelajaran matematika tahun pelajaran 2019/2020? 4) Bagaimanakah tingkat kesukaran tes Penilaian Akhir Semester I kelas X SMK Adi Bangsa Temuroso mata pelajaran matematika tahun pelajaran 2019/2020?
Jenis penelitian ini adalah penelitian kualitatif. Penelitian ini menggunakan dua analisis yaitu deskriptif kualitatif dan kuantitatif. Metode pengumpulan data dengan dokumentasi dan wawancara. Dokumentasi digunakan untuk memperoleh silabus kelas X , kisi-kisi soal Penilaian Akhir Semester I SMK Adi Bangsa, soal-soal Penilaian Akhir Semester I, lembar jawab peserta didik mata pelajaran matematika kelas X SMK Adi Bangsa tahun pelajaran 2019/2020.
Hasil penelitian ini menunjukkan soal Penilaian Akhir Semester I Kelas X SMK Adi Bangsa Temuroso Kabupaten Demak memiliki validitas isi dan validitas konstruksi yang baik, tetapi terdapat empat soal yang tidak sesuai dengan kisi-kisi soal Penilaian Akhir Semester I. Soal Penilaian Akhir Semester I matematika ini reliabel dengan hasil perhitungan 0.67 untuk taraf kepercayaan 0.05. Proporsi distribusi tingkat kesukaran adalah sangat sukar, sukar dan mudah sebesar 5.71%, dan sedang sebesar 88.6% . Sedangkan daya pembeda soal adalah jelek sebesar 20%, cukup sebesar 54.2% dan baik sebesar 22.8% dan sangat baik sebesar 2.9%.