Play Store sebagai salah satu platform penyedia mengalami penurunan jumlah aplikasi sebesar 45,9% hingga awal tahun 2025 yang menandakan persaingan semakin ketat antara aplikasi yang mengharuskan pengembang untuk terus meningkatkan kualitas dan daya saing produknya. Melalui ulasan pengembang dapat mengukur kepuasan pelanggan dan memantau persaingan pada produk atau layanan serupa. Peningkatan jumlah pengguna suatu aplikasi akan berdampak pada volume ulasan yang mayoritasnya berupa data tidak terstruktur. Untuk dapat mengekstrak informasi penting diperlukan pendekatan yang secara otomatis, yaitu dengan analisis sentimen. Pada studi ini akan membandingkan performa dari dua algoritma klasifikasi yakni SVM dan NB dengan tahapan meliputi pengumpulan data, persiapan data, preprocessing, modeling, evaluasi model, visualisasi dan analisis. Data ulasan yang digunakan adalah ulasan dari aplikasi MyPertamina dengan jumlah 14.000 ulasan. Berdasarkan studi, didapatkan data ulasan hasil preprocessing didominasi oleh sentimen negatif sebesar 66%. Adapun model klasifikasi SVM lebih unggul dibandingkan NB di dua skenario data. Dari dua skenario tersebut model dengan kombinasi metode SMOTE memiliki akurasi yang lebih baik dibandingkan model awal. Model SVM memiliki performa tertinggi dengan akurasi 88,11%, precision 88%, recall 88% dan f1-score 88%, sedangkan model NB mendapat akurasi 86,52%, precision 86%, recall 87% dan f1-score 86%. Perbedaan akurasi sebesar 1,59%, precision 2%, recall 1% dan f1-score 2% membuat model SVM lebih unggul dibandingkan model NB. Integrasi sistem analisis sentimen kedalam aplikasi berbasis web telah berhasil dengan hasil 100% pada pengujian Black Box Testing.