Rancang Bangun Sistem Informasi Chatbot Customer Service Akademik Berbasis Enhanced Retrieval Question Answering (ERQA) (Studi Kasus: Universitas Wiraraja)

Abstract

Perkembangan teknologi informasi menuntut perguruan tinggi menyediakan layanan informasi akademik yang cepat, mudah diakses, dan konsisten. Universitas Wiraraja telah menyediakan berbagai media informasi akademik, namun penyebaran informasi pada beberapa kanal menyebabkan pengguna mengalami kesulitan memperoleh jawaban secara cepat dan akurat. Penelitian ini bertujuan merancang dan membangun Sistem Informasi Chatbot Customer Service Akademik berbasis Enhanced Retrieval Question Answering (ERQA) sebagai media layanan informasi akademik berbasis web. Metode yang diterapkan meliputi pengelolaan knowledge base, text preprocessing, pembobotan Term Frequency–Inverse Document Frequency (TF-IDF), serta perhitungan Cosine Similarity untuk menentukan jawaban yang paling relevan terhadap pertanyaan pengguna. Pengujian sistem dilakukan menggunakan Black Box Testing, Confusion Matrix, Response Time, kuesioner penerimaan pengguna, serta validasi oleh PMB dan BAAK Universitas Wiraraja. Hasil pengujian menunjukkan seluruh fungsi sistem berjalan sesuai kebutuhan. Evaluasi menggunakan 333 data uji menghasilkan Accuracy sebesar 74,17%, Precision sebesar 94,08%, Recall sebesar 71,49%, dan F1-Score sebesar 81,16%. Selain itu, sistem memperoleh rata-rata Response Time sebesar 292,86 milidetik dan tingkat penerimaan pengguna sebesar 90,47% berdasarkan hasil kuesioner terhadap 102 responden. Hasil validasi PMB dan BAAK menunjukkan bahwa sistem mampu mendukung penyampaian informasi akademik secara lebih efektif. Dengan demikian, sistem berhasil diimplementasikan sebagai media layanan informasi akademik, meskipun peningkatan akurasi masih diperlukan untuk mengoptimalkan kualitas jawaban yang diberikan.