Metode SVM dan Naive Bayes untuk Analisis Sentimen ChatGPT di Twitter

Abstract

Pertumbuhan pesat platform media sosial telah memberikan jalur baru bagi individu untuk mengungkapkan pendapat dan sentimen mereka. Analisis sentimen dari konten yang dibuat oleh pengguna di platform seperti Twitter menjadi semakin penting dalam memahami opini publik dan tren sosial. Penelitian ini bertujuan untuk membandingkan kinerja dua algoritma machine learning, Support Vector Machine (SVM) dan Naive Bayes, dalam menganalisis sentimen pengguna Twitter mengenai ChatGPT, sebuah model bahasa canggih. Sentimen akan diberi label menggunakan dua alat analisis sentimen yang terkenal, Vader dan Roberta. Penelitian ini menggunakan data Twitter sebanyak 1000 dataset yang terkait dengan ChatGPT dan mengevaluasi akurasi, presisi, dan recall dari model SVM dan Naive Bayes. Hasil penelitian ini menunjukkan perbedaan yang jelas dalam kinerja model: SVM yang digabungkan dengan Vader mencapai tingkat akurasi, presisi, dan recall sebesar 59%, dengan F1-score sebesar 55%. Secara signifikan lebih unggul dibandingkan dengan model sebaliknya, dimana SVM dengan label RoBERTa menghasilkan akurasi sebesar 55%, presisi sebesar 58%, recall sebesar 55%, dan F1-score sebesar 52%. Naive Bayes menunjukkan kinerja yang relatif lebih rendah. Dengan menggunakan Vader, Naïve Bayes mencapai tingkat akurasi dan recall sebesar 47%, presisi sebesar 46%, dan F1-score yang lebih rendah sebesar 32%. Sedangkan, menggunakan RoBERTa dengan Naive Bayes menunjukkan penurunan akurasi menjadi 43%, recall sebesar 43%, presisi sebesar 18%, dan F1-score sebesar 26%. Pengendalian SVM dinilai memiliki kinerja yang lebih unggul dalam mengolah analisis sentimen pengguna Twitter mengenai opini tentang ChatGPT.