Latar belakang penelitian ini adalah soal ulangan akhir semester (UAS) I Kelas X SMA Negeri Banyumas Mata Pelajaran Matematika Tahun Pelajaran 2011/2012 yang disusun sendiri oleh guru SMA Negeri Banyumas dan soal tersebut belum pernah diujicoba dan dianalisis. Penelitian ini bertujuan untuk mengetahui validitas soal termasuk di dalamnya validitas isi dan validitas konstruksi. Tujuan selanjutnya adalah untuk mengetahui reliabilitas soal, tingkat kesukaran (TK) dan daya pembeda (DP) soal khusus untuk mata pelajaran matematika. Jenis penelitian ini adalah penelitian kualitatif. Penelitian ini menggunakan dua analisis yaitu deskriptif kualitatif dan kuantitatif. Metode pengumpulan data dengan dokumentasi dan wawancara. Dokumentasi digunakan untuk memperoleh soal-soal ulangan akhir semester I mata pelajaran matematika kelas X, silabus dan lembar jawab peserta. Sedangkan wawancara dilakukan kepada guru matematika SMA N Banyumas untuk mendapatkan informasi tentang soal UAS I mata pelajaran matematika kelas X. Sumber datanya diambil dari SMA Negeri Banyumas. Data yang digunakan adalah soal, silabus dan skor jawaban UAS I mata pelajaran matematika peserta didik kelas X SMA Negeri Banyumas tahun pelajaran 2011/2012.
Hasil penelitian menunjukkan soal UAS I Kelas X SMA Negeri Banyumas Mata Pelajaran Matematika Tahun Pelajaran 2011/2012 memiliki validitas isi dan validitas konstruksi yang baik, tetapi terdapat satu soal yang tidak diajarkan dalam kurikulum. Soal UAS 1 matematika ini reliabel dengan hasil perhitungan 0,679 untuk taraf kepercayaan 0,05. Proporsi distribusi tingkat kesukaran soal matematika adalah sukar sebesar 8%, sedang sebesar 60% dan mudah sebesar 32%. Sedangkan daya pembeda soal adalah jelek sebesar 16%, cukup sebesar 68% dan baik sebesar 16%. Dari hasil penelitian ini disarankan agar guru melakukan telaah soal terlebih dahulu sebelum soal diujikan agar dipenuhinya standar soal yang valid atau bisa juga dalam pembuatan soal mengambil soal yang sudah tervalidasi. Bagi kepala sekolah, disarankan untuk lebih memperhatikan guru dalam melakukan validasi soal ujian baik harian dan semester. Bagi peneliti lebih lanjut, hendaknya hasil penelitian ini dapat dipakai sebagai bahan pertimbangan, rujukan, dan perbandingan untuk melakukan penelitian lebih lanjut dengan masalah yang serupa.