Kerusakan jalan aspal, seperti retak halus, retak kulit buaya, dan lubang, dapat menimbulkan resiko keselamatan bagi penggunanya. Penelitian ini bertujuan untuk mengembangkan sistem deteksi dan klasifikasi kerusakan jalan menggunakan algoritma You Only Look Once (YOLO)v5 berbasis deep learning. Dataset terdiri dari 580 gambar yang mencakup tiga jenis kerusakan utama, yaitu retak halus, retak kulit buaya, dan lubang. Dataset ini kemudian diproses dengan teknik augmentasi, dilabeli, dan dilatih menggunakan Google Colab. Model terbaik yang dihasilkan pada proses pelatihan akan diimplementasikan dalam sistem berbasis web dengan framework Flask. Sistem deteksi ini dirancang untuk memberikan antarmuka yang sederhana namun tetap efektif, yang memungkinkan pengguna untuk mengunggah gambar jalan dan mendapatkan hasil deteksi secara langsung. Hasil pengujian menunjukkan akurasi deteksi yang tinggi dengan mean Average Precision (mAP) sebesar 0,797 dan F1-Score 0,79. Sistem ini mampu mendeteksi kerusakan secara cepat dan akurat dengan rata-rata waktu deteksi sekitar 0.43 detik, sehingga dapat mendukung efisiensi pemeliharaan jalan serta pengembangan teknologi deteksi berbasis deep learning.